Algorithm for analysis of multispectral aerial images from uav for identification of water pollution using analytical methods and neural network approaches

封面

如何引用文章

全文:

详细

The article is devoted to the development of algorithms for the analysis of pollution on the surface of water bodies based on visual information obtained using a multispectral camera mounted on the body of a UAV. The structure of the algorithmic complex for the analysis of multispectral aerial photographs is proposed. Within the framework of the developed approach, each of the analyzed images undergoes a preprocessing procedure that ensures the alignment and alignment of its spectral channels into a single multidimensional raster. The developed analytical algorithm makes it possible to process and convolve the channels of a multispectral image using three mathematical operators - bandpass filtering, contrast change, and brightness change. At the same time, the choice of parameters for identifying pollution on the surface of water bodies is based on a preliminary stage associated with maximizing the contrast excess index for the reference area. The proposed neural network pollution analysis algorithm is based on the application of the sliding window method in combination with the convolutional architecture of the neural network classifier for the analysis of image fragments located on a rectangular grid. The software implementation of these algorithms, as well as the development of a graphical user interface, made it possible to confirm the assumption about the effectiveness of each of the considered approaches. Experimental studies have shown that the neural network algorithm wins in accuracy, and the analytical approach is easier to interpret from the point of view of an expert.

作者简介

Sekou Diane

V.A. Trapeznikov Institute of Control Sciences of RAS

Email: diane1990@yandex.ru
Moscow

Konstantin Vytovtov

V.A. Trapeznikov Institute of Control Sciences of RAS

Email: vytovtov_konstan@mail.ru
Moscow

Elizaveta Barabanova

V.A. Trapeznikov Institute of Control Sciences of RAS

Email: elizavetaalexb@yandex.ru
Moscow

参考

  1. ХАЙКИН С. Нейронные сети: полный курс. – М.: Виль-ямс, 2008.  1103 с.
  2. ALI N.M., KARIS M.S., SOBRAN N.M.M., BAHAR M.B. et al. Detection of multiple mangoes using histogram of ori-ented gradient technique in aerial monitoring // ARPN Journal of Engineering and Applied Sciences.  2017.  Vol. 12 (8).  P. 2730–2736.
  3. BARRIENTOS Z., NÁJERA J.M., ZÚÑIGA M. A Satellite and Ground Evaluation of Urban Vegetation and Infrastruc-ture in the Landscape of a Tropical City: Heredia, Costa Ri-ca // Cities and the environment. – 2013.
  4. CONG Z., YAN G., SHENGHUI F., KAILI Y. et al. Com-bining spectral and wavelet texture features for unmanned aerial vehicles remote estimation of rice leaf area index // Frontiers in Plant Science.  2022.  Vol. 13. – doi: 10.3389/fpls.2022.957870.
  5. KANTH P.C., GUPTA N., ARI S. Change Detection in Mul-tispectral Satellite Images using Histogram based Thresh-olding Technique // Proc. of 2019 IEEE Int. Conf. on Elec-trical, Computer and Communication Technologies (ICECCT), Coimbatore, India.  2019.  P. 1–5. – doi: 10.1109/ICECCT.2019.8869500.
  6. MENG L., ZHOU J., LIU S., DING L. et al. Investigation and evaluation of algorithms for unmanned aerial vehicle multispectral image registration, International // Journal of Applied Earth Observation and Geoinformation.  2021. – Vol. 102, 102403. – doi: 10.1016/j.jag.2021.102403.
  7. MOGHIMI A., YANG C., ANDERSON J.A. Aerial hyper-spectral imagery and deep neural networks for high-throughput yield phenotyping in wheat // Computers and Electronics in Agriculture.  2020.  Vol. 172. – doi: 10.1016/j.compag.2020.105299.
  8. PYKA K. Wavelet-Based Local Contrast Enhancement for Satellite, Aerial and Close Range Images // Remote Sens. – 2017. – Vol. 9. – P. 25. – doi: 10.3390/rs9010025.
  9. RODRIGUES R.B., PELLEGRINO S., PISTORI H. Combin-ing Color and Haar Wavelet Responses for Aerial Image Classification // In: Artificial Intelligence and Soft Compu-ting / Eds. – Springer Berlin Heidelberg, 2012.  Vol. 7267.  P. 583–591. – doi: 10.1007/978-3-642-29347-4_68.
  10. RUBLEE E., RABAUD V., KONOLIGE K., BRADSKI G. ORB: an efficient alternative to SIFT or SURF // Proc. of the IEEE Int. Conf. on Computer Vision.  2011.  P. 2564–2571.
  11. VASILYEV A.V., MELNIKOVA I.N., POBEROV-SKAYA L.N., TOVSTENKO I.A. Spectral brightness coeffi-cient of natural ground surfaces in spectral ranges 0.35 to 0.85 μm based on airborne measurements // Proc. SPIE 3237, 23rd European Meeting on Atmospheric Studies by Optical Methods.  1997. – doi: 10.1117/12.284763.
  12. VYTOVTOV K.A., BARABANOVA E.A., GLAD-KIKH T.Y., KULINA A.L. et al. Remote Monitoring of Wa-ter Pollution With Oil Products in the Visible Range by Us-ing UAV Multispectral Camera // Proc. 2022 Int. Conf. on Information, Control, and Communication Technologies (ICCT-2022), Astrakhan, Russian Federation, 2022.  P. 1–5. – doi: 10.1109/ICCT56057.2022.9976826.
  13. XIANG T.-Z., XIA G.-S., ZHANG L. Mini-Unmanned Aeri-al Vehicle-Based Remote Sensing: Techniques, applications, and prospects // IEEE Geoscience and Remote Sensing Magazine.  2019.  Vol. 7, No. 3.  P. 29–63. – doi: 10.1109/MGRS.2019.2918840.
  14. ZAMPIERI A., CHARPIAT G., GIRARD N., TARABAL-KA Y. Multimodal image alignment through a multiscale chain of neural networks with application to remote sensing // The European Conference on Computer Vision (ECCV).  2018.  P. 657–673. – doi: 10.1007/978-3-030-01270-0_40.
  15. ZHANG Z., HANSON A.R. 3D Reconstruction based on homography mapping // Proc. ARPA96.  1996.  P. 1007–1012.

补充文件

附件文件
动作
1. JATS XML


Creative Commons License
此作品已接受知识共享署名-非商业性使用 4.0国际许可协议的许可。

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».