РАЗРАБОТКА АППАРАТНО-ПРОГРАММНОГО КОМПЛЕКСА ПО УПРАВЛЕНИЮ РОБОТИЗИРОВАННЫМИ УСТРОЙСТВАМИ ПОСРЕДСТВОМ БИОЭЛЕКТРИЧЕСКИХ СИГНАЛОВ МОЗГА И МЫШЦ


Цитировать

Полный текст

Аннотация

Цель - разработка аппаратно-программного комплекса совмещенного командно-пропорционального ЭМГ и командного ЭЭГ управления внешними исполнительными устройствами. Материалы и методы. Запись ЭЭГ и ЭМГ производится с помощью разработанных регистрирующих модулей. Комплекс также поддерживает ряд коммерческих электроэнцефалографов и электромиографов: NVX52 (ООО «МКС», Россия), DELSYS Trigno (Delsys Inc, США), MYO Thalmic (Thalmic Labs, Канада). Из регистрируемых сигналов после предобработки извлекаются характерные признаки, поступающие на вход классификаторов. На основе распознанных ЭЭГ- и ЭМГ-паттернов и оценки степени усилия мышц в блоке интерпретации и контроля вырабатываются сигналы внешнему исполнительному роботизированному устройству. Комплекс поддерживает управление мобильным роботом ЛЕГО (ЛЕГО, Дания), антропоморфным роботом NAO (Aldebaran, Франция), экзоскелетом «Илья Муромец» (ННГУ, Россия). Результаты. Был разработан и протестирован команднопропорциональный ЭМГ интерфейс управления с эффективным алгоритмом декодирования, построенном на основе оценки степени напряжения мышц. Реализован и протестирован ИМК командного управления исполнитель- ными устройствами с классификатором команд на основе моторно-воображаемых паттернов. Разработанные интерфейсы представлены в аппаратнопрограммном комплексе, интегрирующим команднопропорциональное ЭМГ управление и независимый моторно-воображаемый ИМК. Заключение. Создан и апробирован аппаратнопрограммный комплекс на основе совмещенного команднопропорционального ЭМГ и командного ЭЭГ управления внешними исполнительными устройствами.

Об авторах

С Ю Гордлеева

Федеральное государственное автономное образовательное учреждение высшего образования «Национальный исследовательский Нижегородский государственный университет им. Н.И. Лобачевского»

Email: gordleeva@neuro.nnov.ru
к.ф.-м.н., научный сотрудник лаборатории математического моделирования в нейронауках Центра Трансляционных Технологий ННГУ.

С А Лобов

Федеральное государственное автономное образовательное учреждение высшего образования «Национальный исследовательский Нижегородский государственный университет им. Н.И. Лобачевского»

Email: lobov@neuro.nnov.ru
к.б.н., научный сотрудник лаборатории нейросетевых технологий Центра Трансляционных Технологий ННГУ. проспект Гагарина, 23б, г. Нижний Новгород, 603950.

В И Миронов

Федеральное государственное автономное образовательное учреждение высшего образования «Национальный исследовательский Нижегородский государственный университет им. Н.И. Лобачевского»

Email: mironov@neuro.nnov.ru
научный сотрудник, зам. руководителя лаборатории разработки интеллектуальных биомехатронных технологий Центра Трансляционных Технологий ННГУ.

И А Кастальский

Федеральное государственное автономное образовательное учреждение высшего образования «Национальный исследовательский Нижегородский государственный университет им. Н.И. Лобачевского»

Email: kastalskiy@neuro.nnov.ru
научный сотрудник лаборатории разработки интеллектуальных биомехатронных технологий Центра Трансляционных Технологий ННГУ

М В Лукоянов

Федеральное государственное автономное образовательное учреждение высшего образования «Национальный исследовательский Нижегородский государственный университет им. Н.И. Лобачевского»

Email: sviter33@gmail.com
младший научный сотрудник лаборатории разработки мозго-машинных интерфейсов Центра Трансляционных Технологий ННГУ.

Н П Крылова

Федеральное государственное автономное образовательное учреждение высшего образования «Национальный исследовательский Нижегородский государственный университет им. Н.И. Лобачевского»

младший научный сотрудник лаборатории нейросетевых технологий Центра Трансляционных Технологий ННГУ.

И В Мухина

Федеральное государственное автономное образовательное учреждение высшего образования «Национальный исследовательский Нижегородский государственный университет им. Н.И. Лобачевского»

Email: mukhinaiv@mail.ru
д.б.н., профессор, зав. ЦНИЛ; зав. кафедрой нормальной физиологии им. Н.Ю. Беленкова НижГМА; руководитель Центра Трансляционных Технологий ННГУ.

А Я Каплан

Федеральное государственное автономное образовательное учреждение высшего образования «Национальный исследовательский Нижегородский государственный университет им. Н.И. Лобачевского»

Email: akaplan@mail.ru
д.б.н., профессор, зав. лаб. нейрофизиологии и нейрокомпьютерных интерфейсов биологического факультета МГУ им. М.В. Ломоносова; зав. лаб. разработки мозгомашинных интерфейсов Центра Трансляционных Технологий ННГУ.

В Б Казанцев

Федеральное государственное автономное образовательное учреждение высшего образования «Национальный исследовательский Нижегородский государственный университет им. Н.И. Лобачевского»

ф-м.н., зав. кафедрой нейротехнологий Института биологии и биомедицины, проректор по научной работе.

Список литературы

  1. Delsys® Trigno™ Wireless Systems and Smart Sensors. URL: http://www.delsys.com/products/wireless-emg/
  2. Lobov S, Mironov V, Kastalskiy I, Kazantsev V. A Spiking Neural Network in sEMG Feature Extraction. Sensors. 2015;15(11):27894-27904. doi: 10.3390/s151127894.
  3. Chowdhury RH, Reaz MB, Ali MABM, Bakar AA, Chellappan K, Chang TG. Surface electromyography signal processing and classification techniques. Sensors 2013; 13(9): 12431-12466, doi: 10.3390/s130912431
  4. Lyons KR, Joshi SS. A case study on classification of foot gestures via surface electromyography. Proceedings of the RESNA Annual Conference; 2015 June 10-14; Denver, USA; 2015
  5. Aszmann OC, Roche AD, Salminger S, Paternostro-Sluga T, Herceg M, Sturma A, Christian H, Farina D. Bionic reconstruction to restore hand function after brachial plexus injury: a case series of three patients. Lancet 2015; 385(9983): 2183-2189, doi: 10.1016/S0140-6736(14)61776-1
  6. Nicolelis M.A. Brain-machine interfaces to restore motor function and probe neural circuits. Nat Rev Neurosci 2003; 4(5): 417-422
  7. Kaplan AYa, Lim JJ, Jin KS, Park BW, Byeon JG, Tarasova SU. Unconscious operant conditioning in the paradigm of brain-computer interface based on color perception. Int J Neurosci 2005; 115: 781-802
  8. Kleih SC, Kaufmann T, Zickler C, Halder S, Leotta F, Cincotti F, Aloise F, Riccio A, Herbert C, Mattia D, Kubler A. Out of the frying pan into the fire the P300 based BCI faces real world challenges. Prog Brain Res 2011; 194: 27-46
  9. Do AH, Wang PT, King CE, Schombs A, Cramer SC, Nenadic Z. Brain-computer interface controlled functional electrical stimulation device for foot drop due to stroke. Conf Proc IEEE Eng Med Biol Soc 2012: 6414-6417
  10. Sellers EW, Vaughan TM, Wolpaw JR. A brain-computer interface for long-term independent home use. Amyotroph Lateral Scler 2010; 11: 449-455
  11. Wolpaw JR, Birbaumer N, McFarland DJ, Pfurtscheller G, Vaughan TM. Brain-computer interfaces for communication and control. Clin Neurophysiol 2002; 113: 767-791
  12. Mironov V, Lobov S, Kastalskiy I, Kazantsev V. Myoelectric Control System of Lower Limb Exoskeleton for Re-training Motion Deficiencies. Neural Information Processing. 2015:428435. doi: 10.1007/978-3-319-26561-2_51
  13. Bortole M, Venkatakrishnan A, Zhu F, Moreno JC, Francisco GE, Pons JL, Contreras-Vidal JL. The H2 robotic exoskeleton for gait rehabilitation after stroke: early findings from a clinical study. J Neuroeng Rehabil 2015; 12: 54, doi: 10.1186/s12984-015-0048-y
  14. Singh RM, Chatterji S, Kumar A. Trends and Challenges in EMG Based Control Scheme of Exoskeleton Robots - A Review. International Journal of Scienctific and Engineering Research 2012, 3(8): 1-8
  15. Roche AD, Rehbaum H, Farina D, Aszmann OC. Prosthetic Myoelectric Control Strategies: A Clinical Perspective. Curr Surg Rep 2014; 2: 44, doi: 10.1007/s40137-013-0044-8
  16. Ison M, Artemiadis P. Proportional myoelectric control of robots: muscle synergy development drives performance enhancement, retainment, and generalization. IEEE TRobot 2015; 31(2): 259-268, doi: 10.1109/TRO.2015.2395731
  17. Myo™ Gesture Control Armband - Wearable Technology by Thalmic Labs. URL: https://www.myo.com/
  18. Лобов С.А., Миронов В.И., Кастальский И.А., Казанцев В.Б. Совместное использование командного и пропорционального управления внешними робототехническими устройствами на основе электромиографических сигналов. Современные технологии в медицине. 2015;7(4):30-38. doi:10.17691/ stm2015.7.4.04
  19. Lobov SA, Krilova NP, Kastalskiy IA, Kazantsev VB, Makarov VA. A human-computer interface based on electromyography command-proportional control. Proceedings of the 4th International Congress on Neurotechnology, Electronics and Informatics. 2016
  20. Kaplan AYa., Shishkin SL, Ganin IP, Basyul IA, Zhigalov AY. Adapting the P300-based brain-computer interface for gaming: a review. IEEE Trans on Comput Intelligence and AI in Games. 2013; 5(2): 141-149
  21. Blankertz B, Tangermann M, Vidaurre C, Fazli S, Sannelli C, Haufe S, Maeder C, Ramsey L, Sturm I, Curio G, Muller KR. The Berlin brain-computer interface: Non-medical uses of BCI technology. Front Neurosci 2010; 4: 198

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать

© Гордлеева С.Ю., Лобов С.А., Миронов В.И., Кастальский И.А., Лукоянов М.В., Крылова Н.П., Мухина И.В., Каплан А.Я., Казанцев В.Б., 2016

Creative Commons License
Эта статья доступна по лицензии Creative Commons Attribution 4.0 International License.

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».