Analysis of object detection problems in autonomous driving systems based on radar dat

Cover Page


Cite item

Full Text

Abstract

Background: Modern autonomous driving systems impose high demands on the quality of object detection and classification in the surrounding environment. Radar systems, due to their resilience to adverse weather conditions and ability to measure velocity, play a crucial role among the object and obstacle detection systems used in autonomous vehicles. However, various technical issues related to noise, incorrect classification, and errors in determining object characteristics can hinder the operation of these systems.

Objective: Identification and analysis of the main problems of object detection and classification based on radar data, and assessment of their impact on the safety and performance of autonomous driving systems.

Methods: In this study, experimental data collection was carried out in city traffic conditions using the ARS 408 automotive radar. Modern software tools including the Robot Operating System (ROS) were used to analyze and process the data. Detection quality evaluation metrics such as IoU, Precision, Recall and F1-score were applied in the study.

Results: Within the study, the methodology for radar system data analysis and identification of the main problems encountered during object detection, including the effects of noise, classification errors and object size biases, is developed. Approaches to assessment of quality of the detection algorithms are proposed and a comparative analysis of the convergence of object detection data under various conditions is carried out.

Conclusions: The results highlight the main problems of object detection by radar systems and help to assess the quality of current algorithms. The practical significance of the study lies in analyzing the weaknesses of object detection systems and providing data for algorithm improvement, which can enhance the safety of autonomous vehicles.

About the authors

Anton D. Kuzin

Moscow Polytechnic University; Central Research Automobile and Automotive Engines Institute “NAMI”; Moscow University of Finance and Law

Author for correspondence.
Email: anton.kuzin@nami.ru
ORCID iD: 0009-0005-3342-8526
SPIN-code: 6493-7201

Engineer of the Electronic Devices Center

Russian Federation, 38 Bolshaya Semenovskaya st, Moscow, 107023; 2 Avtomotornaya st, Moscow, 125438; Moscow

Vladimir V. Debelov

Moscow Polytechnic University; Central Research Automobile and Automotive Engines Institute “NAMI”

Email: vladimir.debelov@nami.ru
ORCID iD: 0000-0001-6050-0419
SPIN-code: 8701-7410

Head of the Software Technology Department of the Software Center

Russian Federation, 38 Bolshaya Semenovskaya st, Moscow, 107023; 2 Avtomotornaya st, Moscow, 125438

Denis V. Endachev

Moscow Polytechnic University; Central Research Automobile and Automotive Engines Institute “NAMI”

Email: denis.endachev@nami.ru
ORCID iD: 0000-0003-3547-7928
SPIN-code: 6514-7752

Executive Director for Information and Intelligent Systems

Russian Federation, 38 Bolshaya Semenovskaya st, Moscow, 107023; 2 Avtomotornaya st, Moscow, 125438

References

  1. Bashtannik NA. Assessment of the Impact of Weather Conditions on the Accuracy Characteristics of Radar Stations. National Association of Scientists. 2015;7(2–3):18–19. EDN: YMGPRF
  2. Bobrovskaya OP, Gavrilenko TV. Unmanned Vehicle: Approaches to Implementation, Problems. Advances in Cybernetics. 2022;3(2):86–96. doi: 10.51790/2712-9942-2022-3-2-10 EDN: WEMZQL
  3. Debelov VV, Ivanov VV, Kozlovsky VN, et al. Modeling of an electronic speed control system for a passenger car in speed maintenance and limit modes. Electronics and electrical equipment of transport. 2013;(6):2–7. EDN: RTPZM
  4. Debelov VV, Ivanov VV, Kozlovsky VN, et al. Electronic speed control system for a car in speed maintenance and limit modes. Truck. 2013;(12):19–23. EDN: RUINER
  5. Debelov VV., Endachev DV, Evgrafov VV, et al. Ways to implement vehicle motion control systems based on the development of autonomous motion technology. Safety of wheeled vehicles under operating conditions. 2017:504–512. EDN: ZFNVAZ
  6. Debelov VV. Vehicle motion control systems: A tutorial within the framework of the curriculum for the compulsory discipline: "Designs of cars with combined power plants" (B1.V.DV2). Moscow: Central Order of the Red Banner of Labor Research Automobile and Automotive Engine Institute "NAMI". 2021. EDN: JXSIMD
  7. Endachev DV, Bakhmutov SV, Evgrafov VV, et al. Electronic systems of intelligent vehicles. Mechanics of machines, mechanisms and materials. 2020;(4):5–10. doi: 10.46864/1995-0470-2020-4-53-5-10 EDN: IGEFKA
  8. Kuznetsova AA. Precision — Recall Statistical Curves for Object Detection Quality Analysis. Applied Informatics. 2020;15(6):42–57. doi: 10.37791/2687-0649-2020-15-6-42-57 EDN: VEPVNN
  9. Mikhailovsky AE, Makhov AA, Khizbullin AR. Radar Systems of an Unmanned Vehicle as a Basic Technology for Safe Autopilot. In: XXV All-Russian Postgraduate and Master's Scientific Seminar Dedicated to the Power Engineer's Day: Conference Proceedings. In 3 volumes, Kazan, December 7–8, 2021 / Edited by E.Yu. Abdullazyanov. Kazan: Kazan State Power Engineering University. 2022;1:242–244. EDN: GYLYBY
  10. Mukhortov MV, Evgrafov VV. Real-time road marking recognition algorithm for embedded systems. Proceedings of NAMI. 2019;(1):45–54. EDN: CWEPPN
  11. Barbanera F, Dezaniciancaglini M, Deliguoro U. Intersection and union types: syntax and semantics. Information and Computation. 1995;119(2):202–230. doi: 10.1006/inco.1995.1086
  12. Feng D, Haase-Schutz Ch, Rosenbaum L., et al. Deep Multi-Modal Object Detection and Semantic Segmentation for Autonomous Driving: Datasets, Methods, and Challenges. In: IEEE Transactions on Intelligent Transportation Systems. 2020;22(3):1341–1360. doi: 10.1109/TITS.2020.2972974
  13. Standardized ARS Interface Technical documentation [internet] github.com: [accessed: 06/07/2024] Available from: https://github.com/lf2653/myrepository/blob/master/documentation/Short-Description_2017_07_09-06_ARS404-21%2BARS408-21_en_V1.06.pdf
  14. How do drones drive and are they as reliable as they say [internet] trends.rbc.ru: [accessed: 05/29/2024] Available from: https://trends.rbc.ru/trends/industry/5e54e8019a7947f8ae1d65b1?from=copy
  15. Radar part 1 [internet] cirspb.ru: (date of access: 08.06.2024)https://cirspb.ru/blog/info-navigation/radiolokacija1/

Supplementary files

Supplementary Files
Action
1. JATS XML
Download
2. Fig 1. Example of an autonomous motion map: 1 — Lidar data; 2 — Radar data in the form of objects.

Download (192KB)
Indexing metadata
3. Fig. 2. Example of time series of an object with stable object detection.

Download (163KB)
Indexing metadata
4. Fig. 3. Example of time series of an object with unstable object detection.

Download (143KB)
Indexing metadata
5. Fig. 4. Examples of incorrect classification and inaccurate object size estimation: a — example of object detection in RViz ROS2; b — illustrative example of incorrect detection; 1 — misclassification of a curb as a vehicle; 2 — misclassification of a curb as a motorcycle; 3 — misclassification of a traffic sign as a vehicle; 4 — radar scanning area.

Download (184KB)
Indexing metadata
6. Fig. 5. Example of the behavior of an unmanned transport system in case of incorrect detection of objects by a radar: 1 — incorrect obstacle avoidance maneuver of autonomous vehicle; 2 — object size according to the marked data; 3 — object size according to the radar data.

Download (208KB)
Indexing metadata
7. Fig. 6. Example of spatial scanning in the object mode: a — coordinate system in which the radar is scanning; b — waveform of the RCS signal strength; 1, 2 and 3 — scan signals from the first-, second- and third-time steps; c — example of object formation in the radar’s object mode.

Download (226KB)
Indexing metadata
8. Fig. 7. Example of calculating the overlap degree: a — example of vehicle detection in the radar data; 1 — object’s position based on the radar data; 2 — object’s position in the labeled data; b — Computation of Intersection over Union (IoU) between bounding boxes.

Download (192KB)
Indexing metadata
9. Fig. 8. A dependence graph of Precision and Recall on the time step; Precision is a metric that determines the number of true positive outcomes out of the entire set of positive labels; Recall is a metric that determines the number of true positives among all the class labels that were identified as “positive”.

Download (240KB)
Indexing metadata

Copyright (c) 2024 Eco-Vector

Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».