Using the Mask R-CNN model for segmentation of real estate objects in aerial photographs

Cover Page

Cite item

Full Text

Abstract

The mass appearance of illegal and unregistered in the Unified State Register of Real Estate (USRRE) real estate objects complicates cadastral registration for many entities at the territorial and administrative levels. Traditional methods of identifying objects of this type, based on manual analysis of geospatial data, are labor-intensive and time-consuming.To improve the efficiency of this process, it is proposed to automate the detection of objects in aerial photographs by solving the instance segmentation problem using the Mask R-CNN deep learning model. The article describes the preparation of a dataset for this model, examines the main quality metrics, and analyzes the results obtained. The efficiency of the Mask R-CNN model in practice is shown for solving the problem of detecting construction projects that are not registered in the USRRE.

About the authors

Igor Victorovich Vinokurov

Financial University under the Government of the Russian Federation

Email: igvvinokurov@fa.ru
Candidate of Technical Sciences (PhD), Associate Professor at the Financial University under the Government of the Russian Federation. Research interests: information systems, information technologies, data processing technologies

References

  1. T.-Y. Lin, P. Goyal, R. B. Girshick, K. He, P. Dollár. Focal loss for dense object detection, Computing Research Repository (CoRR), 2017, 10 pp.
  2. X. Wang, T. Kong, Ch. Shen, Y. Jiang, L. Li. SOLO: Segmenting objects by locations, Computing Research Repository (CoRR), 2019, 19 pp.
  3. K. Duda, A. Ivanov. „On decidability of amenability in computable groups“, Archive for Mathematical Logic, 61 (2022), pp. 891–902.
  4. K. He, G. Gkioxari, P. Dollár, R. B. Girshick. Mask R-CNN, Computing Research Repository (CoRR), 2017, 12 pp.
  5. S. Ren, K. He, R. B. Girshick, J. Sun. Faster R-CNN: Towards real-time object detection with region proposal networks, Computing Research Repository (CoRR), 2015, 14 pp.
  6. K. He, X. Zhang, S. Ren, J. Sun. Identity mappings in deep residual networks, Computing Research Repository (CoRR), 2016, 15 pp.
  7. T.-Y. Lin, M. Maire, S. J. Belongie, L. D. Bourdev, R. B. Girshick, J. Hays, P. Perona, D. Ramanan, P. Dollár, C. L. Zitnick. Microsoft COCO: Common objects in context, Computing Research Repository (CoRR), 2014, 15 pp.
  8. Y. Xu, L. Wu, Z. Xie, Z. Chen. „Building extraction in very high resolution remote sensing imagery using deep learning and guided filters“, Remote. Sens., 10:1 (2018), 144, 18 pp.
  9. Q. Han, Q. Yin, X. Zheng, Z. Chen. „Remote sensing image building detection method based on Mask R-CNN“, Complex Intell. Syst., 8 (2022), pp. 1847—1855.
  10. K. Zhao, J. Kang, J. Jung, G. Sohn. „Building extraction from satellite images using Mask R-CNN with building boundary regularization“, 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW) (18–22 June 2018, Salt Lake City, UT, USA), IEEE, 4 pp.
  11. X. Nie, M. Duan, H. Ding, B. Hu, E. K. Wong. „Attention Mask R-CNN for ship detection and segmentation from remote sensing images“, IEEE Access, 8 (2020), pp. 9325–9334.
  12. M. Jenila Vincent, P. Varalakshmi. „Extraction of building footprint using MASK-RCNN for high resolution aerial imagery“, Environmental Research Communications, 6:7 (2024), 075015, 17 pp.
  13. X. Zhu, L. Hu, J. Wang. „Urban modern architecture recognition based on Mask-RCNN and ECA attention mechanism“, Fifth International Conference on Geoscience and Remote Sensing Mapping (ICGRSM 2023) (13–15 October 2023, Lianyungang, China), Proc. SPIE, vol. 12980, 2024, ISBN 9781510672789.
  14. R. Raghavan, D. Chander Verma, D. Pandey, R. Anand, B. Kumar Pandey, H. Singh. „Optimized building extraction from high-resolution satellite imagery using deep learning“, Multimedia Tools and Applications, 81:29 (2022), pp. 42309–42323.
  15. D. Ulanov, A. Syrov. „Building footprint extraction based on RGBD satellite imagery“, CS230 Deep Learning (Winter 2020, Stanford University, CA), 2020, 11 pp.
  16. A. Solanki, R. K. Singh, B. Demeneze. „Aerial pictures semantic segmentation applying deep learning“, International Journal of Trendy Research in Engineering and Technology, 5:1 (2021), pp. 42–48.
  17. A. NourEldeen, M. E. Wahed. „Enhanced building footprint extraction from satellite imagery using Mask R-CNN and PointRend“, Bulletin of Electrical Engineering and Informatics, 5:13 (2024), pp. 3601–3608.
  18. K. He, X. Zhang, S. Ren, J. Sun. Deep residual learning for image recognition, Computing Research Repository (CoRR), 2015, 12 pp.
  19. Ch. J. Mills. PyTorch Mask R-CNN tutorial, GitHub repository, 2023 URL https://github.com/cj-mills/pytorch-mask-rcnn-tutorial-code.
  20. J. Redmon, S. Divvala, R. B. Girshick, A. Farhadi. You Only Look Once: Unified, real-time object detection, Computing Research Repository (CoRR), 2015, 10 pp.
  21. R. Khanam, M. Hussain. YOLOv11: An overview of the key architectural enhancements, 2024, 9 pp.
  22. T.-Y. Lin, P. Dollár, R. B. Girshick, K. He, B. Hariharan, S. J. Belongie. Feature pyramid networks for object detection, Computing Research Repository (CoRR), 2016, 10 pp.
  23. A. Waleed. Mask R-CNN for object detection and instance segmentation on Keras and TensorFlow, GitHub repository, 2017 URL https://github.com/matterport/Mask_RCNN.
  24. E. Stevens, L. Antiga, T. Viehmann. Deep Learning with PyTorch, Manning Publications, New York, 2020, ISBN 9781617295263, 520 pp.
  25. R. Sapkota, A. Dawood, M. Karkee. „Comparing YOLOv8 and Mask R-CNN for instance segmentation in complex orchard environments“, Artificial Intelligence in Agriculture, 13:1 (2024), pp. 84–99.
  26. V. F. Bulavitsky. „Use of drones to obtain aerial photographas terrain“, Elektronnoe nauchnoe izdanie «Uchyonye zametki TOGU», 4:4 (2013), pp. 1747–1755 (in Russian).

Supplementary files

Supplementary Files
Action
1. JATS XML
Download


Creative Commons License
This work is licensed under a Creative Commons Attribution 4.0 International License.

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».