Глубокое трансферное обучение на основе спутниковых изображений для классификации землепользования и земного покрова

Обложка

Цитировать

Полный текст

Аннотация

Алгоритмы глубокого обучения сыграли важную роль в решении многих комплексных задач, за счет автоматического изучения правил (алгоритмов) на основе выборочных данных, которые затем сопоставляют входные данные с соответствующими выходными данными. Цель работы: выполнить классификацию земных покровов (LULC) спутниковых снимков Московской области на основе обучающих данных и сравнить точность классификации, полученной с применением ряда моделей глубокого обучения. Методы: точность, достигаемая при классификации земных покровов с использованием алгоритмов глубокого обучения и данных космической съёмки, зависит как от конкретной модели глубокого обучения, так и от используемой обучающей выборки. Мы использовали наиболее современные модели глубокого обучения и обучения с подкреплением вкупе с релевантным набором обучающих данных. Для тонкой корректировки параметров моделей и подготовки обучающего набора данных применялись разливные методы, в том числе аугментация данных. Результаты: Применены четыре модели глубокого обучения на основе архитектур Residual Network (ResNet) и Visual Geometry Group (VGG) на основе обучения с подкреплением: ResNet50, ResNet152, VGG16 и VGG19. Последующее до-обучение моделей выполнялось с использованием обучающих данных, собранных спутником ДЗЗ Sentinel-2 на территории Московской области. На основе оценки результатов, архитектура ResNet50 дала наиболее высокую точность классификации земных покровов на территории выбранного региона. Практическая значимость: авторы разработали алгоритм обучения четырёх моделей глубокого обучения с последующей классификацией фрагментов входного космического снимка с присвоением одного из 10 классов (однолетние культуры, лесной покров, травянистая растительность, автодороги и шоссе, промышленная застройка, пастбища, многолетние культуры, жилая застройка, реки и озера).

Об авторах

Т. Т Уифтер

Российский университет дружбы народов

Автор, ответственный за переписку.
Email: teklay_ty@pfur.ru
улица Миклухо-Маклая 6

Ю. Н Разумный

Российский университет дружбы народов

Email: razoumny-yun@rudn.ru
улица Миклухо-Маклая 6

В. К Лобанов

Российский университет дружбы народов

Email: lobanov-vk@rudn.ru
улица Миклухо-Маклая 6

Список литературы

  1. Y. Lecun, Y. Bengio, and G. Hinton, “Deep learning,” Nature, vol. 521, no. 7553. Nature Publishing Group, pp. 436–444, Mar. 2015. doi: 10.1038/nature14539.
  2. A. Vali, S. Comai, and M. Matteucci, “Deep learning for land use and land cover classification based on hyperspectral and multispectral earth observation data: A review,” Remote Sensing, vol. 12, no. 15. Multidisciplinary Digital Publishing Institute, p. 2495, Aug. 03, 2020. doi: 10.3390/RS12152495.
  3. N. Gorelick, M. Hancher, M. Dixon, S. Ilyushchenko, D. Thau, and R. Moore, “Google Earth Engine: Planetary-scale geospatial analysis for everyone,” Remote Sens. Environ., vol. 202, pp. 18–27, Mar. 2017, doi: 10.1016/j.rse.2017.06.031.
  4. L. Kumar and O. Mutanga, “Google Earth Engine applications since inception: Usage, trends, and potential,” Remote Sens., vol. 10, no. 10, 2018, doi: 10.3390/rs10101509.
  5. L. Parente, E. Taquary, A.P. Silva, C. Souza, and L. Ferreira, “Next generation mapping: Combining deep learning, cloud computing, and big remote sensing data,” Remote Sens., vol. 11, no. 23, 2019, doi: 10.3390/rs11232881.
  6. H. Li et al., “A Google Earth Engine-enabled software for efficiently generating high-quality user-ready Landsat mosaic images,” Environ. Model. Softw., vol. 112, pp. 16–22, 2019, doi: 10.1016/j.envsoft.2018.11.004.
  7. C. Tan, F. Sun, T. Kong, W. Zhang, C. Yang, and C. Liu, “A survey on deep transfer learning,” Lect. Notes Comput. Sci. (including Subser. Lect. Notes Artif. Intell. Lect. Notes Bioinformatics), vol. 11141 LNCS, pp. 270–279, 2018, doi: 10.1007/978-3-030-01424-7_27.
  8. X.X. Zhu et al., “Deep Learning in Remote Sensing: A Comprehensive Review and List of Resources,” IEEE Geoscience and Remote Sensing Magazine, vol. 5, no. 4. Institute of Electrical and Electronics Engineers Inc., pp. 8–36, Mar. 2017. doi: 10.1109/MGRS.2017.2762307.
  9. J. Song, S. Gao, Y. Zhu, and C. Ma, “A survey of remote sensing image classification based on CNNs,” Big Earth Data, vol. 3, no. 3, pp. 232–254, Mar. 2019, doi: 10.1080/20964471.2019.1657720.
  10. S.E. Whang et al., “Data Collection and Quality Challenges in Deep Learning: A Data-Centric AI Perspective,” Dec. 2021, doi: 10.48550/arxiv.2112.06409.
  11. C. Henry, S.M. Azimi, and N. Merkle, “Road segmentation in SAR satellite images with deep fully convolutional neural networks,” IEEE Geosci. Remote Sens. Lett., vol. 15, no. 12, pp. 1867–1871, 2018, doi: 10.1109/LGRS.2018.2864342.
  12. Q.J.C. Cheng, “Deep neural networks-based vehicle detection in satellite images”.
  13. X. Chen, S. Xiang, C.L. Liu, and C.H. Pan, “Vehicle detection in satellite images by hybrid deep convolutional neural networks,” IEEE Geosci. Remote Sens. Lett., vol. 11, no. 10, pp. 1797–1801, 2014, doi: 10.1109/LGRS.2014.2309695.
  14. H. Wu, H. Zhang, J. Zhang, and F. Xu, “Fast aircraft detection in satellite images based on convolutional neural networks,” Proc. - Int. Conf. Image Process. ICIP, vol. 2015-December, pp. 4210–4214, Mar. 2015, doi: 10.1109/ICIP.2015.7351599.
  15. P. Zhang, X. Niu, Y. Dou, and F. Xia, “Airport detection on optical satellite images using deep convolutional neural networks,” IEEE Geosci. Remote Sens. Lett., vol. 14, no. 8, pp. 1183–1187, Mar. 2017, doi: 10.1109/LGRS.2017.2673118.
  16. Q. Yao, X. Hu, and H. Lei, “Multiscale Convolutional Neural Networks for Geospatial Object Detection in VHR Satellite Images,” IEEE Geosci. Remote Sens. Lett., vol. 18, no. 1, pp. 23–27, Mar. 2021, doi: 10.1109/LGRS.2020.2967819.
  17. Y.H. Robinson, S. Vimal, M. Khari, F.C.L. Hernández, and R.G. Crespo, “Tree-based convolutional neural networks for object classification in segmented satellite images:,” https://doi.org/10.1177/1094342020945026, Mar. 2020, doi: 10.1177/1094342020945026.
  18. M. Mohammadi and A. Sharifi, “Evaluation of Convolutional Neural Networks for Urban Mapping Using Satellite Images,” J. Indian Soc. Remote Sens. 2021 499, vol. 49, no. 9, pp. 2125–2131, Mar. 2021, doi: 10.1007/S12524-021-01382-X.
  19. M. Hamouda and M.S. Bouhlel, “Dual Convolutional Neural Networks for Hyperspectral Satellite Images Classification (DCNN-HSI),” Commun. Comput. Inf. Sci., vol. 1332, pp. 369–376, 2020, doi: 10.1007/978-3-030-63820-7_42.
  20. A. Okaidat, S. Melhem, H. Alenezi, and R. Duwairi, “Using Convolutional Neural Networks on Satellite Images to Predict Poverty,” 2021 12th Int. Conf. Inf. Commun. Syst. ICICS 2021, pp. 164–170, Mar. 2021, doi: 10.1109/ICICS52457.2021.9464598.
  21. K.A. Korznikov, D.E. Kislov, J. Altman, J. Doležal, A.S. Vozmishcheva, and P.V. Krestov, “Using U-Net-Like Deep Convolutional Neural Networks for Precise Tree Recognition in Very High Resolution RGB (Red, Green, Blue) Satellite Images,” For. 2021, Vol. 12, Page 66, vol. 12, no. 1, p. 66, Mar. 2021, doi: 10.3390/F12010066.
  22. C. Xiao, R. Qin, and X. Huang, “Treetop detection using convolutional neural networks trained through automatically generated pseudo labels,” https://doi.org/10.1080/01431161.2019.1698075, vol. 41, no. 8, pp. 3010–3030, Mar. 2019, doi: 10.1080/01431161.2019.1698075.
  23. B. Yang et al., “Extraction of road blockage information for the Jiuzhaigou earthquake based on a convolution neural network and very-high-resolution satellite images,” Earth Sci. Informatics, vol. 13, no. 1, pp. 115–127, Mar. 2020, doi: 10.1007/S12145-019-00413-Z.
  24. M.A. Shafaey, M.A.-M. Salem, M.N. Al-Berry, H.M. Ebied, and M.F. Tolba, “Remote Sensing Image Classification Based on Convolutional Neural Networks,” Adv. Intell. Syst. Comput., vol. 1153 AISC, pp. 353–361, Mar. 2020, doi: 10.1007/978-3-030-44289-7_33.
  25. F. Oriani, M.F. McCabe, and G. Mariethoz, “Downscaling Multispectral Satellite Images without Colocated High-Resolution Data: A Stochastic Approach Based on Training Images,” IEEE Trans. Geosci. Remote Sens., vol. 59, no. 4, pp. 3209–3225, Mar. 2021, doi: 10.1109/TGRS.2020.3008015.
  26. S.S. Dymkova, “Conjunction and synchronization methods of earth satellite images with local cartographic data,” 2020 Syst. Signals Gener. Process. F. Board Commun., Mar. 2020, doi: 10.1109/IEEECONF48371.2020.9078561.
  27. P. Helber, B. Bischke, A. Dengel, and D. Borth, “Eurosat: A novel dataset and deep learning benchmark for land use and land cover classification,” IEEE J. Sel. Top. Appl. Earth Obs. Remote Sens., vol. 12, no. 7, pp. 2217–2226, 2019, doi: 10.1109/JSTARS.2019.2918242.
  28. Y. Yang and S. Newsam, “Bag-of-visual-words and spatial extensions for land-use classification,” GIS Proc. ACM Int. Symp. Adv. Geogr. Inf. Syst., no. January 2010, pp. 270–279, 2010, doi: 10.1145/1869790.1869829.
  29. M.E.D. Chaves, M.C.A. Picoli, and I.D. Sanches, “Recent Applications of Landsat 8/OLI and Sentinel-2/MSI for Land Use and Land Cover Mapping: A Systematic Review,” Remote Sens., vol. 12, no. 18, p. 3062, 2020, doi: 10.3390/rs12183062.
  30. C. Gómez, J.C. White, and M.A. Wulder, “Optical remotely sensed time series data for land cover classification: A review,” ISPRS J. Photogramm. Remote Sens., vol. 116, pp. 55–72, 2016, doi: 10.1016/j.isprsjprs.2016.03.008.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».