Нейросетевые методы обнаружения возгораний в лесных массивах

Обложка

Цитировать

Полный текст

Аннотация

В работе выполнен аналитический обзор, рассмотрены, доработаны и протестированы актуальные нейросетевые методы, алгоритмы и подходы для решения задачи раннего выявления возгораний в лесных массивах по изображениям и видеопотокам с беспилотных летательных аппаратов. Предлагаемая схема решения задачи основана на выделении признаков и использовании машинного обучения для классификации кадров, выделения прямоугольных областей с целевыми источниками огня и точной семантической сегментации очагов огня с применением нейронных сетей сверточного типа. Описаны выполненные модификации архитектур нейронных сетей, позволившие улучшить достигаемые ими F1-меры на 20%.

Полный текст

Доступ закрыт

Об авторах

Виталий Петрович Фраленко

Институт программных систем им. А.К. Айламазяна РАН

Автор, ответственный за переписку.
Email: alarmod@pereslavl.ru

Кандидат технических наук. Ведущий научный сотрудник

Россия, Ярославская область, с. Веськово

Список литературы

  1. Vision Based Fire Detection Techniques: A Survey. Fire Technology. 2021. Vol.57. Р.591-623.
  2. Ciprián-Sánchez J.F., Ochoa-Ruiz G., Rossi L. and etc. Assessing the Impact of the Loss Function, Architecture and Image Type for Deep Learning-Based Wildfire Segmentation. Appl. Sci. 2021, Vol. 11(15).
  3. Cruz H., Gualotuña T., Pinillos M. and etc. Machine Learning and Color Treatment for the Forest Fire and Smoke Detection Systems and Algorithms, a Recent Literature Review. In: Botto-Tobar. M. Cruz. H. Díaz Cadena. (eds) Artificial Intelligence, Computer and Software Engineering Advances. CIT 2020. Advances in Intelligent Systems and Computing. 2021. Vol.1326. Springer. Cham.
  4. Shubhangi Chaturvedi, Pritee Khanna, Aparajita Ojha. A Survey on Vision-Based Outdoor Smoke Detection Techniques for Environmental Safety”. ISPRS Journal of Photogrammetry and Remote Sensing. 2022. Vol.185. Р.158-187.
  5. Favorskaya M.N. Early Smoke Detection in Outdoor Space: State-of-the-Art, Challenges and Methods. In: Virvou, M., Tsihrintzis, G.A., Jain, L.C. (eds). Advances in Selected Artificial Intelligence Areas. Learning and Analytics in Intelligent Systems. 2022. Vol.24. Springer.Cham.
  6. Cheng Y., Chen K., Bai H. and etc. An Efficient Fire Detection Algorithm Based on Multi-Scale Convolutional Neural Network. Fire and Materials. 2021. 12 p.
  7. Huo Y., Zhang Q., Jia Y. and etc. A Deep Separable Convolutional Neural Network for Multiscale Image-Based Smoke Detection // Fire Technology, 2022.
  8. Miao J., Zhao G., Gao Y. and etc. Fire Detection Algorithm Based on Improved YOLOv5 // International Conference on Control, Automation and Information Sciences (ICCAIS). 2021. Р. 776-781.
  9. Li Y., Zhang W., Liu Y. and etc. A Visualized Fire Detection Method Based on Convolutional Neural Network Beyond Anchor. Applied Intelligence. 2022.
  10. Wang S., Zhao J., Ta N. and etc. A Real-Time Deep Learning Forest Fire Monitoring Algorithm Based on an Improved Pruned + Kd Model. J Real-TimeImage Proc 18. 2021, Р. 2319-2329.
  11. Wang S. and etc. Forest Fire Detection Based on Light-weight Yolo. 2021 33rd Chinese Control and Decision Conference (CCDC). 2021. Р.1560-1565.
  12. Yiheng Cai, Yajun Guo, Yuanyuan Li and etc. Fire Detection Method Based on Improved Deep Convolution Neural Network. In Proceedings of the 2019 8th International Conference on Computing and Pattern Recognition (ICCPR '19). 2019. Association for Computing Machinery, New York, NY. USA. Р.466-470.
  13. Athanasis N., Themistocleous M., Kalabokidis K. and etc. Big Data Analysis in UAV Surveillance for Wildfire Prevention and Management. Themistocleous. M., Rupinoda Cunha, P. (eds) Information Systems. EMCIS 2018. Lecture Notes in Business Information Processing. 2019, Vol.341. Springer. Cham.
  14. Ghali R., Akhloufi M.A., Mseddi W.S. Deep Learning and Transformer Approaches for UAV-Based Wildfire Detection and Segmentation. Sensors. 2022. Vol. 22(5). 1977.
  15. Wu B., Xu C., Dai X. and etc. Visual Transformers: Token-based Image Representation and Processing for Computer Vision. 2020. https://arxiv.org/abs/2006.03677 (дата обращения: 27.10.2022).
  16. Shamsoshoara A., Afghah F., Razi A. and etc. The Flame Dataset: Aerial Imagery Pile Burn Detection Using Drones (UAVS). 2021. URL: https://ieee-dataport.org/open-access/flame-dataset-aerial-imagery-pile-burn-detection-using-drones-uavs (дата обращения: 27.10.2022).
  17. GitHub – WongKinYiu/PyTorch_YOLOv4: PyTorch implementation of YOLOv4, 2021. URL: https://github.com/WongKinYiu/PyTorch_YOLOv4 (дата обращения: 27.10.2022).
  18. GitHub – ultralytics/yolov5: YOLOv5 in PyTorch > ONNX > CoreML > TFLite, 2022. URL: https://github.com/ultralytics/yolov5/ (дата обращения: 27.10.2022).
  19. GitHub – meituan/YOLOv6: YOLOv6: a single-stage object detection framework dedicated to industrial applications, 2022. URL: https://github.com/meituan/YOLOv6 (дата обращения: 27.10.2022).
  20. GitHub – WongKinYiu/yolov7: Implementation of paper – YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors, 2022. URL: https://github.com/WongKinYiu/yolov7 (дата обращения: 27.10.2022).
  21. Image classification from scratch, 2020. URL: https://keras.io/examples/vision/image_classification_fro m_scratch/ (дата обращения: 27.10.2022).
  22. Thomson W., Bhowmik N., Breckon T.P. Efficient and Compact Convolutional Neural Network Architectures for Non-temporal Real-time Fire Detection. 2020. URL: https://arxiv.org/pdf/2010.08833.pdf (дата обращения: 27.10.2022).
  23. Akagic A., Buza E. LW-FIRE: A Lightweight Wildfire Image Classification with a Deep Convolutional Neural Network. Appl. Sci. 2022, Vol. 12(5).2646.
  24. Public API for tf.keras.applications namespace, 2022. URL: https://www.tensorflow.org/api_docs/python/tf/keras/applicati ons (дата обращения: 27.10.2022).
  25. Фраленко В.П. Экспериментальное исследование возможностей нейронной сети типа «Darknet» на задаче обработки снимков дистанционного зондирования // Авиа-космическое приборостроение. 2017. №6. С.44-52.
  26. Yaowen Hu, Jialei Zhan, Guoxiong Zhou and etc. “Fast Forest Fire Smoke Detection Using MVMNet”. Knowledge-Based Systems. 2022. Vol.241. 20 p.
  27. Ronneberger O., Fischer P., Brox T. U-Net: Convolutional Networks for Biomedical Image Segmentation. 2015.
  28. Vahit Bugra Yesilkaynak, Yusuf H. Sahin, Gozde Unal. EfficientSeg: An Efficient Semantic Segmentation Network. 2020.
  29. Hu Cao, Yueyue Wang, Joy Chen and etc. Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation. 2021.
  30. Bhakti Baheti, Shubham Innani, Suhas Gajre and etc. Eff-UNet: A Novel Architecture for Semantic Segmentation in Unstructured Environment. 2020. URL: https://openaccess.thecvf.com/content_CVPRW_2020/pap ers/w22/Baheti_Eff-UNet_A_Novel_Architecture_for_Semantic_Segmentatio n_in_Unstructured_Environment_CVPRW_2020_paper.p df (дата обращения: 27.10.2022).
  31. Abhishek Chaurasia, Eugenio Culurciello. LinkNet: Exploiting Encoder Representations for Efficient Semantic Segmentation. 2017.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
2. Рис. 1. Общая схема решения задачи обнаружения источников огня

Скачать (171KB)
3. Рис. 2. Пример кадра из датасета FLAME (камера сбоку)

Скачать (547KB)
4. Рис. 3. Пример кадра из датасета FLAME (камера сверху)

Скачать (376KB)

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».