Применение llm-моделей на одноплатных компьютерах для реализации автономного полёта бпла

Обложка

Цитировать

Полный текст

Аннотация

Рассматривается применение больших языковых моделей (LLM) для управления беспилотными летательными аппаратами (БПЛА) с помощью естественно-языковых команд. Исследование направлено на решение ключевой проблемы – несоответствия между высокими вычислительными требованиями LLM и ограниченными ресурсами бортовых компьютеров. Основное внимание уделено оптимизации LLM для работы на энергоэффективных одноплатных компьютерах с нейропроцессорами, таких как OrangePi 5B на базе Rockchip RK3588S. В работе представлены результаты тестирования квантованных моделей Qwen2.5-Coder, демонстрирующих сохранение качества генерации кода при скорости обработки до 17,8 токенов/с. Разработан специализированный тест (бенчмарк) для оценки эффективности интеграции LLM в архитектуру автономного управления БПЛА и корректности генерации кода, включающий 125 сценариев. Результаты подтверждают возможность практического применения LLM в автономных системах управления дронами, хотя и выявляют типичные ошибки, связанные с обработкой данных датчиков и системами координат. Работа предлагает перспективное направление для развития интеллектуальных систем управления БПЛА с естественно-языковым интерфейсом (NLP). В рамках исследования были реализованы как научная – создание специализированного теста, так и технологическая новизна – проведение анализа производительности на одноплатных компьютерах, направленные на интеграцию LLM в архитектуру автономного управления БПЛА.

Об авторах

Родион Олегович Анисимов

ФГБУН Институт проблем управления им. В.А. Трапезникова РАН

Email: rodion_anisimov@mail.ru
Москва

Алексей Дмитриевич Дворников

ФГБУН Институт проблем управления им. В.А. Трапезникова РАН

Email: applskyp@gmail.com
Москва

Константин Александрович Кулагин

ФГБУН Институт проблем управления им. В.А. Трапезникова РАН

Email: kka8686@mail.ru
Москва

Софья Алексеевна Титова

Московский Политехнический Университет

Email: titovas63059@gmail.com
Москва

Константин Владимирович Петров

Московский Политехнический Университет

Email: r.92rab@gmail.com
Москва

Список литературы

  1. 1. ARIZA J.A., BAEZ H. Understanding the role of single-board computers in engineering and computer science edu-cation: a systematic literature review // Computer Applica-tions in Engineering Education. – 2022. – Vol. 30(1). – P. 304–329. – doi: 10.1002/cae.22439.2. AUSTIN J., OZI A., DRAZNER S. Program synthesis with large language models // Journal of Artificial Intelligence Research. – 2021. – Vol. 71. – P. 355–420.3. BROWN T.B. et al. Language models are few-shot learners // arXiv:2005.14165. – 2020. – 75 p.4. CHEN K., WILLIAMS D., TAYLOR M. SparseGPT: prun-ing large language models for embedded applications // Journal of Artificial Intelligence Research. – 2024. – Vol. 55. – P. 213–229.5. CHEN M., TWIGHT B., LEWIS M. Evaluating large lan-guage models trained on code // arXiv:2107.03374. – 2021.6. DETTMERS T., ZETTLEMOYER L., LEWIS M. LLM.int8(): 8-bit matrix multiplication for transformers at scale // arXiv:2208.07339. – 2022.7. JOHNSON T., LEE M., CARTER P. Autonomous aerial ex-ploration using compact language models. MIT computer science and artificial intelligence laboratory // Technical Report MIT-CSAIL-TR-2024-03. – 2024.8. KIM S., PAK D., LEE J. Energy consumption analysis of LLM-powered UAVs // Journal of Unmanned Aerial Systems. – 2024. – Vol. 12, No. 3. – P. 178–192.9. KIM Y., PARK J., SHIN J. PQK: practical quantization and pruning for on-device vision transformers // arXiv:2106.14681. – 2021.10. LEE D., SMITH R., PARKER A. MiniLLM: extreme quanti-zation for large language models on resource-constrained platforms // Proc. of the Conf. on Machine Learning and Systems. – 2024. – P. 1243–1255.11. LIU D., LI H., SHEN Y., et al. KeepEdge: lightweight real-time detection for UAV applications // IEEE Trans. on Indus-trial Informatics. – 2023. – Vol. 19(4). – P. 2873–2885.12. MULLER A., SCHMIDT K., WEBER R. Emergency re-sponse drone system with on-board decision making // ETH Zurich Robotics and Perception Group Research Reports. – 2023.13. RAMIREZ M., AL-HADITI F., NEIM S. DroneGPT: natural language control for unmanned aerial vehicles // Stanford AI Lab Technical Report, SAIL-TR-2023-04. – 2023.14. SU J. et al. RoFormer: enhanced transformer with rotary position embedding // arXiv:2104.09864. – 2021.15. TING L., JOHNSON M., CHEN K. Performance evaluation of edge computing platforms for AI applications in UAVs // IEEE Trans. on Robotics and Automation. – 2023. – Vol. 38, No. 2. – P. 112–127.16. VAN X., BROWN T., ANDERSON J. DistilLLM: knowledge distillation methods for efficient deployment of language models in UAVs // Int. Conf. on Robotics and Automation (ICRA). – 2023. – P. 775–782.17. VASWANI A. et al. Attention is all you need // 31st Conf. on Neural Information Processing Systems (NIPS–2017), Long Beach, CA, USA. – arXiv:1706.03762v7. – 2 Aug 2023. – P. 1–15.18. ZHANG Y., LI W., MARTINEZ K. Hybrid LLM-traditional architectures for autonomous UAV navigation // Robotics and Autonomous Systems Journal. – 2024. – Vol. 152. – P. 45–62.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML


Creative Commons License
Эта статья доступна по лицензии Creative Commons Attribution-NonCommercial 4.0 International License.

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».