Methods for Solving Some Problems of Air Traffic Planning and Regulation. Part II: Application of Deep Reinforcement Learning

Capa

Citar

Texto integral

Resumo

Following part I of the survey, this paper considers the problems of improving the safety and efficiency of air traffic flows. The main challenge in conflict detection and resolution by traditional optimization methods is computation time: tens and even hundreds of seconds are required. However, this is not so much for response in real situations. Deep reinforcement learning has recently become widespread due to solving high-dimensional decision problems with nonlinearity in an acceptable time. Research works on the use of deep reinforcement learning in air traffic management have appeared in the last few years. Part II focuses on the application of this promising approach to the following problems: detecting and resolving aircraft conflicts, reducing the complexity of air traffic at the national or continental level (a large-scale problem), and increasing the efficiency of airport runways through the improved planning of aircraft landings.

Sobre autores

E. Kulida

Trapeznikov Institute of Control Sciences, Russian Academy of Sciences

Moscow, Russia

V. Lebedev

Trapeznikov Institute of Control Sciences, Russian Academy of Sciences

Moscow, Russia

Bibliografia

  1. Кулида Е.Л., Лебедев В.Г. Методы решения задач планирования и регулирования потоков воздушного движения. Ч. 1. Стратегическое планирование четырехмерных траекторий // Проблемы управления. – 2023. – № 1. – С. 3–14. [Kulida, E.L. and Lebedev, V.G. Methods for Solving Some Problems of Air Traffic Planning and Regulation. Part I: Strategic Planning of 4D Trajectories // Control Sciences. – 2023. – No. 1. – P. 2–11.]
  2. Degas, A., Islam, M.R., Hurter, C., et al. A Survey on Artificial Intelligence (AI) and eXplainable AI in Air Traffic Management: Current Trends and Development with Future Research Trajectory // Applied Sciences. – 2022. – Vol. 12, no. 3. – Art. no. 1295. – doi: 10.3390/app12031295.
  3. Wang, Z., Pan, W., Li, H., et al. Review of Deep Reinforcement Learning Approaches for Conflict Resolution in Air Traffic Control // Aerospace. – 2022. – Vol. 9, no. 6. – Art. no. 294. – doi: 10.3390/aerospace9060294.
  4. Brittain, M., Wei, P. Autonomous Aircraft Sequencing and Separation with Hierarchical Deep Reinforcement Learning // Proceedings of the 8th International Conference on Research in Air Transportation. – Barcelona, Spain, 2018. – URL: https://www.reseachgate.net/publication/327287314.
  5. Pham, D.T., Tran, N.P., Alam, S., et al. A Machine Learning Approach for Conflict Resolution in Dense Traffic Scenarios with Uncertainties // ATM 2019, 13th USA/Europe Air Traffic Management Research and Development Seminar. – Vienne, 2019.
  6. Pham, D.T., Tran, N.P., Alam, S., et. al. Deep Reinforcement Learning based Path Stretch Vector Resolution in Dense Trac with Uncertainties // Transportation Research. Part C. Emerging Technologies. – 2021. – Vol. 135. – Art. no. 103463. – doi: 10.1016/j.trc.2021.103463.
  7. Tran, P.N., Pham, D.T., Goh, S.K., et al. An Interactive Conflict Solver for Learning Air Traffic Conflict Resolutions // Journal of Aerospace Information Systems. – 2020. – Vol. 17, no. 6. – P. 271–277.
  8. Ribeiro, M., Ellerbroek, J., Hoekstra J. Improvement of Conflict Detection and Resolution at High Densities through Reinforcement Learning // Proceedings of the International Conference on Research in Air Transportation. – Tampa, USA, 2020.
  9. Brittain, M., Wei, P. Autonomous Separation Assurance in an High-Density en Route Sector: A Deep Multi-Agent Reinforcement Learning Approach // IEEE Intelligent Transportation Systems Conference (ITSC). – Aukland, New Zealand, 2019. – P. 3256–3262.
  10. Brittain, M., Yang, X., Wei, P. A Deep Multi-Agent Reinforcement Learning Approach to Autonomous Separation Assurance // Arxiv:2003.08353v2. – 2020. – DOI: https://doi.org/10.48550/arXiv.2003.08353.
  11. Brittain, M., Wei, P. One to Any: Distributed Conflict Resolution with Deep Multi-Agent Reinforcement Learning and Long Short-Term Memory // AIAA Scitech 2021 Forum. – Nashville, 2021. – P. 1952.
  12. Zhao, P., Liu, Y. Physics Informed Deep Reinforcement Learning for Aircraft Conflict Resolution // IEEE Transactions on Intelligent Transportation Systems. – 2021. –Vol. 23, iss. 7. – P. 8288–8301. – doi: 10.1109/TITS.2021.3077572.
  13. Mollinga, J.; Hoof, H. An Autonomous Free Airspace En-route Controller Using Deep Reinforcement Learning Techniques // Arxiv:2007.01599. – 2020. – DOI: https://doi.org/10.48550/arXiv.2007.01599.
  14. Khan, N.A., Brohi, S.N., Jhanjhi, N. UAV’s Applications, Architecture, Security Issues and Attack Scenarios: A Survey // Intelligent Computing and Innovation on Data Science. – 2020. – Vol. 183. – P. 753–760. – doi: 10.1007/978-981-15-3284-9_86.
  15. Szegedy, C., Zaremba, W., Sutskever, I., et al. Intriguing Properties of Neural Networks // Arxiv:1312.6199v3. – 2013. – DOI: https://doi.org/10.48550/arXiv.1312.6199.
  16. Athalye, A., Engstrom, L., Ilyas, A., Kwok, K. Synthesizing Robust Adversarial Examples // International Conference on Machine Learning. – Stockholm, 2018. – P. 284–293.
  17. Wang, L., Yang, H., Lin, Y., et al. Explainable and Safe Reinforcement Learning for Autonomous Air Mobility // arXiv:2211.13474v1. – 2022. – DOI: https://doi.org/10.48550/arXiv.2211.13474.
  18. Messaoud, M. A Thorough Review of Aircraft Landing Operation from Practical and Theoretical Standpoints at an Airport Which May Include a Single or Multiple Runways // Applied Soft Computing. – 2020. – Vol. 98, no. 12. – Art. no. 106853. – doi: 10.1016/j.asoc.2020.106853.
  19. Sutton, R.S., Barto, A.G. Reinforcement Learning: An Introduction. – London, UK: MIT Press, 2017.
  20. Degris, T., Pilarski, P.M., Sutton, R.S. Model-Free Reinforcement Learning with Continuous Action in Practice // American Control Conf., Fairmont Queen. – Elizabeth, Montréal, Canada, 2012. – P. 2177–2182.
  21. LeCun, Y., Bengio, Y., Hinton, G. Deep Learning // Nature. – 2015. – Vol. 521. – P. 436–444.
  22. Sutton, R.S., McAllester, D.A., Singh, S.P., et al. Policy Gradient Methods for Reinforcement Learning with Function Approximation // Advances in Neural Information Processing Systems. – USA, Denver, MIT Press, 1999. – P. 1057–1063.
  23. Wang, Z., Li, H., Wang, J., Shen, F. Deep Reinforcement Learning Based Conflict Detection and Resolution in Air Traffic Control // IET Intelligent Transport System. – 2019. – Vol. 13. – P. 1041–1047.
  24. Juntama, P., Delahaye, D., Chaimatanan, S., Alam, S. Hyperheuristic Approach Based on Reinforcement Learning for Air Traffic Complexity Mitigation // Journal of Aerospace Information Systems. – 2022. – Vol. 19, no. 9. – doi: 10.2514/1.i011048.
  25. Вишнякова Л.В., Попов А.С. Выбор структуры воздушного пространства и инфраструктуры аэродромов при их модернизации методами математического моделирования // Известия РАН. Теория и системы управления. – 2021. – № 6. – С. 66 – 105. [Vishnyakova, L.V., Popov, A.S. Vybor struktury vozdushnogo prostranstva i infrastruktury aerodromov pri ih moder-nizacii metodami matematicheskogo modelirovaniya // Izve-stiya RAN. Teoriya i sistemy upravleniya. – 2021. – No. 6. – P. 66 – 105. (In Russian)]
  26. Bennell, J.A. Mesgarpour, M. Potts, C.N. Airport Runway Scheduling // Semantic Scholar. – 2011. – Vol. 4OR. – P. 115–138. – doi: 10.1007/s10288-011-0172-x .
  27. Prakash, R. Piplani, R. Desai, J. An Optimal Data-Splitting Algorithm for Aircraft Scheduling on a Single Runway to Maximize Throughput // Transportation Research, Part C: Emerging Technologies. – 2018. – Vol. 95. – P. 570– 581.
  28. Dear, R.G. The Dynamic Scheduling of Aircraft in the Near Terminal Area // Technical Report, R76-9, Flight Transportation Laboratory. – MIT, Cambridge, MA, USA, 1976.
  29. Кулида Е.Л. Генетический алгоритм решения задачи оптимизации последовательности и времен посадок воздушных судов // Автоматика и телемеханика. – 2022. – № 3. – С. 156–168. [Kulida, E.L. Genetic Algorithm for Solving the Problem of Optimizing Aircraft Landing Sequence and Times // Automation and Remote Control. – 2022. – Vol. 83, no. 3. – P. 426–436.]
  30. Кулида Е.Л., Лебедев В.Г., Егоров Н.А. Сравнение двух алгоритмов решения задачи оптимизации последовательности и времен посадок воздушных судов // В сборнике: Управление развитием крупномасштабных систем (MLSD'2021). Труды Четырнадцатой международной конференции. – Москва. – 2021. – С. 1438–1444. [Kulida E., Egorov N., Lebedev V. Comparison of Two Algorithms for Solving the Problem Aircraft Arrival Sequencing and Scheduling / Proceedings of the 14th International Conference «Management of Large-Scale System Development» (MLSD). – IEEE, 2021. – URL: https://ieeexplore.ieee.org/document/9600243.]
  31. Вересников Г.С., Кулида Е.Л., Егоров Н.А., Лебедев В.Г. Методы построения оптимальных очередей воздушных судов на посадку. Ч. 1. Методы точного решения // Проблемы управления. – 2018. – № 4. – С. 2–14. [Veresnikov, G.S., Egorov, N.A. Kulida, E.L., Lebedev, V.G. Methods for Solving of the Aircraft Landing Problem. I. Exact Solution Methods. // Automation and Remote Control. – 2019. – Vol. 80. – P. 1317–1334.]
  32. Вересников Г.С., Егоров Н.А., Кулида Е.Л., Лебедев В.Г. Методы построения оптимальных очередей воздушных судов на посадку [1]. Ч. 2. Методы приближенного решения // Проблемы управления. – 2018. – № 5. – С. 2–13. [Veresnikov, G.S., Egorov, N.A. Kulida, E.L., Lebedev, V.G. Methods for Solving of the Aircraft Landing Problem. II. Approximate Solution Methods // Automation and Remote Control. – 2019. – Vol. 80. – P. 1502–1518.]
  33. Soares, I. B., De Hauwere, Y.M., Januarius, K., et al. Departure Management with a Reinforcement Learning Approach: Respecting CFMU Slots // IEEE 18th International Conference on Intelligent Transportation Systems. – Las Palmas de Gran Canaria, Spain. 2015.
  34. Watkins, C. J. Dayan, P. Q-learning // Machine Learning. – 1992. – Vol. 8. – P. 279–292.
  35. Brittain, M. Wei, P. Autonomous Aircraft Sequencing and Separation with Hierarchical Deep Reinforcement Learning // Proceedings of the International Conference for Research in Air Transportation. – Barcelona, Spain. 2018.
  36. Colen, J. NASA sector 33 application. – 2013. – URL: https://www.nasa.gov/ centers/ames/Sector33/iOS/index.html.
  37. Henry, A., Delahaye, D., Valenzuela, A. Conflict Resolution with Time Constraints in the Terminal Maneuvering Area Using a Distributed Q-learning Algorithm // International Conference on Research in Air Transportation (ICRAT 2022). – 2022. – Tampa, USA. – Hal-03701660.
  38. Ma, J., Delahaye, D., Sbihi, M., Mongeau, M. Integrated Optimization of Terminal Manoeuvring Area and Airport // 6th SESAR Innovation Days. – Delft, Netherlands, 2016.

Arquivos suplementares

Arquivos suplementares
Ação
1. JATS XML
Baixar


Creative Commons License
Este artigo é disponível sob a Licença Creative Commons Atribuição 4.0 Internacional.

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».