Individual and typological features of motor memory in problems of control of ergacy systems in the absence of visual feedback

封面

如何引用文章

全文:

详细

The purpose of the study was to determine the impact of the presence of visual feedback on the quality of user experience with a number of human-computer interfaces, as well as the process of mastering the interfaces. As a result of the work, the features of the generation of control commands by operators of ergatic systems using an oculographic interface, interfaces for controlling hand movements and head movements were assessed. In the absence of visual feedback, users relied on motor memory formed during the learning process, and in the case of head control, on data from the vestibular analyzer.

The presence of visual feedback was found to be important for accurate command generation in all cases. However, when controlling the head and eyes, the presence of visual feedback led to a greater deviation from the ideal trajectory and an increase in the distance that the cursor traveled before reaching the goal. Localization of the target position did not have a significant effect on the performance of the operator interface, regardless of the presence of visual feedback.

Analysis of typical reactions in all experiments made it possible to identify three types of control, differing for eye and head movements, but not for hand movements in the ergatic system mode. Types 1 and 2 exhibited more errors compared to type 3, and the number of errors varied between them, especially for hand control.

The results obtained can be used in the development of promising interfaces for ergatic systems, including the determination of the necessary visual feedback components for this class of technical devices.

全文:

ВВЕДЕНИЕ

Расширение требований к эргатическим системам управления, т.е. человеко-машинным системам, где человек включен в контур управления, требует одновременного развития и систем подготовки операторов для таких систем, причем подготовки c учетом особенностей функционирования самой системы. Одной из таких особенностей является использование новых каналов генерации команд человеком-оператором. Кроме классического подхода, основанного на использовании клавиатур и джойстик-подобных устройств, делаются разнообразные попытки применения иных каналов генерации команд. К таким каналам можно отнести голосовой канал (Cohenetal, 2004), акселерометрические решения, интерфейсы “мозг–компьютер” (Мельк, 2020; Полубаров и др., 2022; Туровский и др., 2020; Wolpaw, Wolpaw, 2012), миографические интерфейсы (Туровский, Боронников, 2020) и интерфейсы, обеспечивающие генерацию управляющих команд c помощью движения головы (Орлов и др., 2018) или движения глаз (Турицын и др., 2016; Туровский, Алексеев, 2023). При этом, как и в большинстве классических подходов, важную роль играет обратная связь по каналу зрения (Туровский и др., 2017). Иными словами, оператор использует зрение для контроля, например за положением управляющей конечности по отношению к консоли управления или управляемого им курсора на плоскости графического интерфейса. В то же время в целом ряде случаев оператор эргатической системы вынужден генерировать команды, не используя канала зрения для контроля. Очевидно, что в общем случае снижение контроля за подобной генерацией, выражающееся в отсутствии зрительного контроля, снижает точность работы оператора. При этом возникает и следующая проблема — не развиты механизмы оценки «слепого управления» даже с использованием классических подходов в генерации оператором управляющих команд. В ситуации же использования альтернативных интерфейсов (окулографического, миографического, акселерометрического) автоматизация оценки способности оператора к генерации заданных команд является ключевым механизмом не только профессионального отбора, но задач обучения пользователя, создания эргономически обоснованных систем управления. Очевидно, что в большинстве случаев с использованием альтернативных интерфейсов “человек–компьютер” (окулографических, миографических, акселерометрически и подобных) отсутствие канала зрительной обратной связи компенсируется моторной памятью (Корнеев, Курганский, 2017). Иными словами, получая в ходе работы данные от мышц, связок и сухожилий об их состоянии, пользователь должен сформировать картину, соответствующую генерации тех или иных управляющих команд. Очевидно, что формирование этой картины, по сути энграммы (Солодов, 2018), — процесс, растянутый по времени и подвергающийся постоянной коррекции с учетом опыта пользователя. Тем не менее его оценка применительно к тем интерфейсам “человек–компьютер”, которые основаны на мышечной активности, представляет значительный интерес в аспекте оценки потенциала данных устройств в работе в условиях ограниченного зрительного канала обратной связи и, следовательно, в оценке требований к формированию этого и других каналов обратной связи.

Цель работы — изучение проприоцептивных компонентов формирования моторной памяти для оценки возможности оператора генерировать управляющие команды для эргатической системы в условиях отсутствия зрительного контроля оператором процесса управления.

МАТЕРИАЛЫ И МЕТОДЫ

В эксперименте приняли участие 30 испытуемых в возрасте от 17 до 26 лет (21 мужчина и 9 женщин), медианный возраст составил 21 год. В рамках эксперимента проверялась способность испытуемого генерировать управляющие команды в ходе работы новым интерфейсам “человек–компьютер” как в условиях контроля генерации по зрительному каналу, так и в отсутствие зрительного канала с опорой на проприоцептивную информацию. Было выбрано три интерфейса. Первый — максимально близкий к классическим — представлял собой виртуальную клавиатуру, где пользователь, меняя положение верхней конечности, набирал определенные команды (РИ). Второй — генерировал команды движением головы пользователя, положение которой определялось, как и в первом случае, методами машинного зрения (ГИ). В третьем интерфейсе использовался оригинальный оптико-окулографический интерфейс (ОИ) (Туровский, Алексеев, 2023). Для проверки качества эксперимент с каждым из интерфейсов проводился в две фазы: первая в режиме обратной связи (ОС), когда пользователь видит реакцию системы на его действия, и вторая — без обратной связи, когда визуальное отображение результатов взаимодействия испытуемого с интерфейсом отсутствует. Каждый из испытуемых проходил в один день эксперимент со всеми тремя типами интерфейсов, порядок которых определялся случайным образом.

Программно-аппаратная платформа была общая для всех трех экспериментов. В каждом эксперименте испытуемый тем или иным образом управлял оранжевым маркером, отображаемым на мониторе перед ним. Монитор с диагональю 22 дюйма и разрешением 1 920 × 1 080 пикселей располагался перед оператором на удобном для него расстоянии. На экране были иные маркеры в сетке 3 × 3, за каждым из которых была закреплена числовая команда от 1 до 9; из них один был маркером цели, к которому испытуемому требовалось подвести как можно ближе свой маркер, а остальные пассивно отображались (рис. 1).

 

Рис. 1. Пример работы интерфейса, управляемого пальцем испытуемого: а — круглый маркер, без обозначений — маркер испытуемого. Нумерованный маркер центрального поля по цвету отличается от остальных нумерованных маркеров, так как является целевым; б — целевым является маркер под номером 5. Поскольку эксперимент проходил без обратной связи по зрительному каналу, маркер испытуемого и видео положения руки отсутствуют.

 

По умолчанию маркер цели имел красный цвет, остальные — серый. В случае фазы эксперимента с обратной связью проводили поиск маркера, ближайшего к управляемому пользователем. Если данный маркер был маркером цели, он менял свой цвет на зеленый, информируя таким образом испытуемого о том, что система произвела захват маркера пользователя так, что он совпал с областью маркера цели. В случае фазы эксперимента без обратной связи изменение цвета маркером, как и отображение управляемого испытуемым маркера, не проводилось. Все маркеры в случайном порядке становились маркером-целью, всего каждый из маркеров становился целью четыре раза за один этап эксперимента. Смена маркера-цели проводили по истечении 3 с, отводимых на выполнение команды, либо после корректного выполнения пользователем команды в течение 1 с. Выполнение команды в некоторый момент считается корректным, когда для маркера, управляемого пользователем, ближайшим является маркер цели. Корректность выполнения за 1 с времени засчитывается, если доля ошибок, т.е. выхода управляемого маркера за пределы поля маркера-цели, не превышает 5% времени.

Всего производилось испытание трех видов интерфейсов, использующих в качестве исходных данных:

  • координаты перемещения кончика указательного пальца испытуемого по плоской поверхности;
  • координаты смещения и вращения головы испытуемого в пространстве;
  • регистрируемые интерфейсом инфракрасной окулографии данные о движении правого глаза испытуемого.

В эксперименте, когда для управления использовался указательный палец руки испытуемого, веб-камера Logitech HD Webcam C615 (частота регистрации 30 кадров в секунду) была закреплена сверху над поверхностью, по которой испытуемый перемещал руку, и направлена на нее. Поверх транслируемого изображения с камеры во время эксперимента с обратной связью накладывалась сетка с девятью маркерами (рис. 1, а), а координаты кончика указательного пальца в пикселях на потоковом видео принимались за координаты управляемого испытуемым маркера. В режиме работы без обратной связи пользователю демонстрировалось статичное изображение (рис. 1, б) с сеткой из девяти маркеров.

В эксперименте, когда для управления использовалась голова пользователя, данные о ее движении и вращении регистрировались веб-камерой Logitech HD Webcam C615, расположенной перед испытуемым. Эти координаты, изначально представленные в локальной системе координат камеры, переводились в глобальную систему координат, в которой были предварительно указаны координаты камеры и экрана, на котором испытуемый проходил эксперимент. В дальнейшем строился луч, начинающийся на кончике носа пользователя и направленный от лица вперед. Трехмерные координаты пересечения построенного луча и экрана переводились в пиксельные координаты окна программы, в которой проводился эксперимент, и принимались за координаты управляемого испытуемым маркера (рис. 2).

 

Рис. 2. Общая схема управления маркером движением головы.

 

В эксперименте для управления маркером c помощью интерфейса инфракрасной окулографии оригинальной конструкции (Туровский, Алексеев, 2023), обеспечивающeй фиксацию положения зрачка с частотой 70 Гц, после калибровки по каждому из представленных на экране маркеров проводилось непосредственное предсказание координат в пикселях, соответствующих точке на экране в центре поля зрения испытуемого. Во время эксперимента испытуемый был неподвижен, шея была зафиксирована для нивелирования непроизвольных поворотов головы вслед за смещением поля зрения, что могло привести к целому ряду артефактов, включая вестибуло-окулографические рефлексы (Туровский и др., 2023; Hampton, 2023).

В расчетах использовались следующие показатели: время выполнения задания, которое, согласно протоколу эксперимента, не могло превышать 3 с, и расстояние, которое проходил управляемый пользователем курсор. С учетом того, что управление осуществлялось на экране монитора, расстояние определялось в пикселях. Скорость перемещения управляемого курсора и среднеквадратическое отклонение (СКО) траектории пользователя от идеальной траектории (ИТ), представляющей собой отрезок с началом в точке начального положения курсора и концом в точке, соответствующей исполняемой команде (рис. 3).

 

Рис. 3. Пример построения идеальной траектории движения курсора по реально полученной траектории оператора.

 

В статистическом анализе использовали методы дескриптивной статистики, критерии Крускала–Уоллеса, Манна–Уитни, Вилкоксона для парных случаев, при этом параметр a принимался равным 5%. Для анализа категориальных переменных использовали точный критерий Фишера и критерий χ2. Для статистического изучения связи между явлениями использовали непараметрический метод — коэффициент ранговой корреляции Спирмена. Учитывался эффект множественных сравнений на основе FDR-подхода (Benjamini, Hochberg, 1995; Туровский и др. 2021). Для кластерного анализа применили метод К-средних. Использовались статистические пакеты Statistica 8.0 и выше и разработанное авторами программное обеспечение.

РЕЗУЛЬТАТЫ И ОБСУЖДЕНИЕ

Значения частот успешных и неуспешных экспериментов показано на рис. 4.

 

Рис. 4. Распределение числа экспериментов по интерфейсам со зрительной обратной связью и без (ОИ – окулографический интерфейс, РИ — интерфейс управления рукой, ГИ — интерфейс управления головой, ОС — управление в режиме обратной связи, без ОС — управление в режиме без обратной связи).

 

Из рисунка следует, что наличие обратной связи ожидаемо приближает к 100% точность выполнения задач при генерации сигналов движением верхней конечности и головы, поскольку произвольное управление в течение длительного времени и головой, и верхними конечностями представляет собой типовую задачу, неоднократно и каждодневно решаемую. Однако при использовании окулографических интерфейсов точность была существенно ниже, достигая только 62%, что объясняется как отсутствием опыта у испытуемых, так и ограниченным временем на набор команды. В эксперименте без обратной связи точность выполнения задачи ожидаемо упала: для генерации команд движением руки она составила 44% (р << 0.001, χ2 = 821), для генерации команд движением головы 41% (р << 0.001, χ2 = 814) и 45% (р << 0.001, χ2 = 61,7) для окулографического интерфейса. Таким образом, удаление из контура управления визуального канала обратной связи приводит к тому, что точность движения верхней конечности приближается к точности движения глаза (Toreini et al., 2020) и головы, формируя очень схожие по точности показатели, демонстрирующие ошибки проприоцептивного канала обратной связи.

Распределение числа успешных экспериментов, т.е. тех, где пользователь достигал поставленной экспериментатором цели, распределялось следующим образом: для ОИ процент успешных экспериментов при наличии обратной связи составил для каждой из позиций маркера-цели 54, 71, 67, 59, 60, 66, 52, 64, 63% (р = 0.04, χ2 = 16.08); для экспериментов без обратной связи 38, 46, 31, 53, 45, 69, 30, 47, 45% (р << 0.001, χ2 = 53.76). Иными словами, точность выполнения заданий напрямую связана с локализацией изображения, что согласуется с работой (Alonso et al., 2013). При этом вполне ожидаемо наличие обратной связи для ОИ повышает эффективность взаимодействия с интерфейсом, чему посвящено значительное количество работ самого разного дизайна (Eisma et al., 2021), включая не только ОИ, но и гибридные интерфейсы, где данный подход основан на совместном использовании ОИ с другими системами (Kim et al., 2014). Для интерфейса, основанного на движении верхней конечности (РИ), процент успешных экспериментов составил 100, 98, 100, 100, 98, 98, 98, 100, 100% (р = 0.33, χ2 = 9.05) при наличии зрительной обратной связи и 21, 38, 68, 30, 22, 49, 82, 80, 90% (р << << 0.001, χ2 = 191) без ОС. Для интерфейса, основанного на движении головы оператора (ГИ), процент успешных экспериментов при ОС составил 98, 97, 96, 98, 97, 98, 95, 98, 100% (р = 0.42, χ2 = 8.03), а без ОС — 53, 37, 43, 42, 44, 35, 37, 37, 38% (р = = 0.155, χ2 = 11.9). Таким образом, удаление из схемы эксперимента визуального канала обратной связи приводит для РИ и ГИ к резкому ухудшению точности работы, сопровождаемому появлением паттернов успешного выполнения задания, когда точность для одной цели может значительно превышать точность для другой (в случае РИ).

Корреляционный анализ экспериментов с обратной связью показал, что для всех исследуемых видов интерфейсов есть тесная взаимосвязь между исследуемыми величинами (r = 0.81, 0.53, 0.56 для пар «время выполнения команд» — «дистанция между началом движения и целью», «время выполнения команд» — «СКО», «СКО» — «дистанция между началом движения и целью» соответственно для ОИ; 0.62, 0.46, 052 — для аналогичных пар переменных РИ, 0.66, 0.62, 0.69 — для ГИ; во всех случаях p < 0.01). Если корреляция между временем выполнения задания и дистанцией, на которую будет перемещен курсор, очевидна, то связь с этими показателями СКО, вероятно, может означать, что с ростом дистанции при наличии обратной связи увеличивается и разброс движения управляемого оператором маркера относительно идеальной траектории. Отсюда можно предположить, что большие дистанции перемещения курсора в большей степени влияют на число генерации ошибочных команд, что в итоге отражает процесс обучения управлением курсором не имевшего ранее опыта оператора. Для попыток, где цель не была достигнута, значения коэффициента корреляции составили: 0.75, 0.25, 0.35 для ОИ, порядок пар корреляции здесь и далее соответствует указанному ранее; 0.34, 0.18, 0.49 — для РИ; 0.04, 0.24, 0.63 — для всех значений, кроме выделенного курсором, p < 0.01.

Рассмотрим количественные данные о результатах выполнения задания. Общие результаты представлены в табл. 1.

 

Таблица 1. Результаты работы операторов для трех исследуемых типов интерфейсов “человек–компьютер” в зависимости от успешности выполнения задания и зрительной ОС (М, m, Q25, Me, Q75)

Результат

Успешно

Тип эксперимента

ОИ

ГИ

РИ

Обратная связь

ОС

Без ОС

ОС

Без ОС

ОС

Без ОС

Время

1.52***

0.02

1.24

1.35

1.73

1.41

0.02

1.20

1.29

1.47

1.72

0.01

1.54

1.70

1.93

1.70

0.02

1.53

1.70

1.90

1.52

0.01

1.38

1.49

1.65

1.50

0.02

1.37

1.49

1.65

Дистанция

3 641***

61

2 614

3 297

4 288

3 256

53

2 575

3 121

3 726

895***

13

622

870

1 174

844

22

577

831

1 116

704***

9

499

678

899

918

21

570

876

1 218

СКО

59.51

2.37

23.10

40.39

72.87

55.89

2.47

22.61

39.69

69.97

32.10***

0.84

12.44

24.21

44.47

25.71

1.18

10.26

19.79

35.76

15.71*

0.48

5.38

10.82

20.81

19.07

0.90

6.66

12.61

25.30

Скорость

2 376

25

1 953

2 352

2 739

2 335

27

1 979

2 300

2 683

500***

6

380

491

640

479

12

321

479

625.

453***

5

339

441

552

605

13

399

571

757

Результат

Неуспешно

Время

2.98

0.00

2.98

2.99

2.99

2.98

0.00

2.99

2.99

2.99

2.91

0.01

2.89

2.91

2.92

2.92

0.00

2.89

2.92

2.95

2.97

0.01

2.96

2.97

2.99

2.97

0.00

2.96

2.96

2.99

Дистанция

7 936***

127

6 271

7 767

9 457

7 246

95

5 566

7 235

8 698

1 512***

96

1 071

1 474

1 860

979

35

617

869

1 267

1 851*

372

1 333

1 577

1 885

1 268

25

892

1 196

1 558

СКО

125.04***

5.04

52.39

92.46

168.46

81.68

3.11

30.71

55.27

111.47

111.65***

19.09

62.71

100.32

160.21

34.04

2.10

13.71

24.91

43.63

49.06*

9.04

23.61

57.49

63.32

29.82

1.49

8.13

16.39

40.43

Скорость

2 659***

42

2 099

2 599

3 167

2 428

32

1 863

2 422

2 918

520***

33

367

508

637

335

12

210

300

434

623*

126

450

530

630

427

8

300

403

523

*** р ≪ 0.0001; * р < 0.05 — различия между экспериментами с обратной связью и без обратной связи для каждого из интерфейсов.

 

Различия по ОИ в попытках, которые завершились успешно, были ожидаемо связаны с временем выполнения команды: без обратной связи оно меньше, чем с обратной связью (р << 0.0001), при этом короче и траектория управляемого курсора (р = 0.03). Отклонения от идеальной траектории не различались вне зависимости от наличия или отсутствия обратной связи, аналогично не различались и скорости перемещения управляемого курсора. Наиболее вероятной причиной является время на обработку зрительной информации о положении управляемого курсора. Большее время, затрачиваемое оператором, было связано и с большей дистанцией, которую проходил курсор под управлением ОИ. Вероятным объяснением может быть то, что ни одни из испытуемых не работал раньше с окулографическим интерфейсом. Таким образом, не имея навыка работы с данным устройством, пользователь, используя канал обратной связи, пытается корректировать движение глаза. При этом формирование навыка управления недостаточно, чтобы оперативно корректировать положение глаза, генерирующего управляющие команды. При отсутствии обратной связи пользователь реализует управление «как есть», т.е. исходя из полученных им в фазе работы с обратной связью моторных навыков и, следовательно, не совершая дополнительных движений, инициируемых контуром обратной связи, вызывающим дополнительное отклонение с учетом задержки реакции пользователя из-за недостатка навыков.

Аналогичные отклонения в дистанции движения курсора наблюдались и в тех экспериментах, которые закончились неуспешно. При этом меньшие значения СКО в целом показывают, что наличие обратной связи вызывает и в этом случае дополнительные движения курсора, порожденные движениями глаз пользователя. При этом в отличие от успешного выполнения задания наличие обратной связи вызывает большую скорость движения. Таким образом, наличие обратной связи вызывает более быстрые движения глаза, не сказывающиеся в то же время на точности генерации команд.

Рассматривая движения головы как способ генерации управляющих команд, можно отметить следующее. Наличие обратной связи, как в случае успешного выполнения задания, приводило к большей дистанции, на которую перемещался курсор, большей скорости перемещения и большему отклонению от идеальной траектории. Таким образом, мы видим, что и в этом случае обратная связь, хотя и способствует генерации верных команд в большем проценте случаев, по факту приводит к более длинным перемещениям курсора, управляемым положением головы.

В случае же классического подхода, связанного с генерацией команд движением верхней конечности, зависимости были иными. При успешном выполнении задания отклонение от идеальной траектории, длина траектории и скорость были меньше при наличии обратной связи, чем при ее отсутствии. В то же время при неуспешном выполнении наличие обратной связи приводило к большей траектории, большему отклонению и большей скорости перемещения, чем при отсутствии ОС.

Рассмотрим различия траекторий с ОС и без ОС, исходя из цели перемещения управляемого курсора. В случае ОИ и успешного выполнении команд ни скорость, ни СКО от идеальной траектории не отличались для имеющих разные позиции цели, аналогично не было различия и для режима без ОС. Таким образом, локализация требуемой целевой позиции не влияет на работу ОИ вне зависимости от наличия ОС. Следовательно, механизм формирования данных, связанных с моторной памятью в отношении положения глаза, не имеет при заданном уровне точности привязки к локализации цели.

Иная картина сложилась при генерации команд с использованием движения головы (рис. 5).

 

Рис. 5. Диаграмма размаха с наблюдаемыми минимумом и максимумом, не превышающим 1.5 интерквартильного размаха для следующих величин: а — СКО в зависимости от номера цели при работе в режиме генерации команд движением головы. При наличии ОС p ≪ 0.0001, без ОС p = 0.004; б — скорости в зависимости от номера цели при работе в режиме генерации команды движением головы. При наличии ОС (критерий Краскейла–Уоллеса), без ОС p = 0.17.

 

На рисунке видно, что цели, вызывающие наибольшие отклонения, и скорости при выполнении заданий, сгруппированы по периферии центральной, ближе к нижней кромке экрана. Расположение полей целей представлено на рис. 2.

Для интерфейса с использованием руки, являющегося по сути эталонным, поскольку управление с его использованием является традиционным, при имеющемся уровне технического развития выявлены следующие особенности. При управлении с обратной связью различия в зависимости от целевой области достоверны от идеальной траектории и для СКО (р = 0.005), и для скорости выполнения команды (р << 0.001). В то же время при отсутствии обратной связи различия сохранялись только для скорости (р << 0.001). В данном случае можно говорить, что моторная память, связанная с активностью верхней конечности, обеспечивает достаточную точность в аспекте отклонения от идеальной траектории, но недостаточную для достижения цели. Иными словами, само целевое поле в системе координат пользователя перемещается от истинного к иному положению, но это иное положение достигается с достаточным уровнем контроля со стороны проприоцептивного анализатора.

Рассмотрим результаты кластерного анализа, примененного для выявления индивидуально-типологических особенностей генерации команд (рис. 6).

 

Рис. 6. Распределение среднего отклонения от идеальной траектории по трем кластерам (ОИ – окулографический интерфейс, РИ — интерфейс управления рукой, ГИ — интерфейс управления головой, ОС — управление в режиме обратной связи, без ОС — управление в режиме без обратной связи).

 

Кластеризацию осуществляли по мерам СКО в каждом эксперименте, упорядоченном по номеру попытки. При этом результаты, содержащие «выбросы» в виде маргинальных значений исследуемой величины, были удалены, если они встречались хотя бы в одном из шести экспериментов у любого пользователя. Сформированный массив данных перед кластеризацией был нормализован методом yeo-johnson (Yeo, Johnson, 2000).

Исходя их полученных данных, видно, что можно выделить 34.2% экспериментов, составивших первый кластер, при котором отсутствие обратной связи в режиме генерации команд движениями руки сопровождалось значительно более высокими значениями СКО, чем с ОС.

Во втором кластере (33.6% экспериментов) наблюдаются более высокие средние значения СКО для ОИ по сравнению с остальными кластерами; значения СКО для экспериментов, управляемых рукой, как и в первом кластере, сопровождались более высокими значениями СКО для режима без ОС. Отсутствие различий между кластерами для генерации команд верхней конечностью в режиме с ОС, очевидно, объясняется тем, что работа, как с ОС так и без ОС в виде перемещения пальцев и кисти, является типовой задачей, обучение которой проходит с ранних лет и в дальнейшем поддерживается широким спектром различных повседневных ситуаций. В то же время ситуации, требующие формирования управляющих команд движениями головы или, особенно, глаз, несмотря на современный уровень развития техники, представляют собой редко встречающиеся события.

В третьем кластере (32.2% экспериментов) сохранены более высокие значения СКО для любого типа эксперимента в режиме без ОС, однако менее выражено по сравнению с остальными кластерами. В экспериментах, управляемых ОИ и движениями головы, также характерны более высокие значения СКО для экспериментов без ОС.

Оценивая распределение успешных экспериментов по кластерам, получим следующую картину (табл. 2).

 

Таблица 2. Распределение успешных экспериментов по кластерам

Тип интерфейса

Номер кластера

ОС

Без ОС

Неуспешно, %

Успешно, %

Неуспешно, %

Успешно, %

ОИ

1

30.54***

69.45

47.83*

52.16

2

56.75*

43.25

68.31***

31.68

3

25.94***

74.06

47.83*

52.1

РИ

1

0.81

99.19

61.08*

38.92

2

0.83

99.17

58.68*

41.32

3

0

100

48.70*

51.30

ГИ

1

2.43*

97.57

51.89*

48.11

2

3.58*

96.41

65.56*

34.44

3

0.57*

99.42

59.37*

40.63

*** р ≪ 0.0001; * р < 0.05 — различия между средним значением СКО успешных и неуспешных экспериментов.

 

Полученные результаты в целом демонстрируют связь высоких значений СКО с неуспешными экспериментами, когда испытуемый не смог сгенерировать команды, обеспечивающие перемещение управляемого курсора в требуемые области пространства экрана.

ЗАКЛЮЧЕНИЕ

В работе оценены особенности генерации оператором эргатической системы управляющих команд с использованием трех интерфейсов, использующих разные механизмы генерации управляющих сигналов: движение верхней конечности, головы, глаз. Во всех случаях обратная связь осуществлялась на основе зрительного канала. При отсутствии обратной связи пользователь мог рассчитывать на моторную память, сформированную в процессе обучения, и в случае движения головы — на данные с вестибулярного анализатора. Во всех случаях наличие зрительного канала обратной связи важно для качественной генерации команд в аспекте точности. В то же время в первую очередь для генерации команд движением головы и глаз наличие канала обратной связи приводит к большему отклонению от идеальной траектории и большей дистанции, которую проходит управляемый курсор до попадания в цель. Локализация требуемой целевой позиции не влияет на работу ОИ вне зависимости от наличия ОС. Для ОИ механизм формирования данных, связанных с моторной памятью в отношении положения глаза, не имеет значения при заданном уровне точности привязки к локализации цели, в отличие от движения головы и верхней конечности. Выделение типовых реакций для совокупности всех экспериментов позволило выделить три типа управления (кластера), различающихся для движения глаз и головы, но не различающихся для движения рук в режиме ОС. Для первого и второго типов характерно большее число ошибок, чем для третьего, и разное относительно друг друга число ошибок, в первую очередь для управления рукой. Полученные результаты могут быть использованы в задачах конструирования перспективных интерфейсов эргатических систем, в том числе и в оценке необходимых компонентов визуальной обратной связи для данного класса технических устройств.

ИСТОЧНИК ФИНАНСИРОВАНИЯ

Исследование выполнено при поддержке гранта Российского научного фонда № 23–19–00664, https://rscf.ru/project/23–19–00664/.

КОНФЛИКТ ИНТЕРЕСОВ

Авторы данной статьи подтвердили отсутствие конфликта интересов, о котором необходимо сообщить.

СОБЛЮДЕНИЕ ЭТИЧЕСКИХ НОРМ

Все процедуры, выполненные в исследованиях с участием людей, соответствуют этическим стандартам национального комитета по исследовательской этике и Хельсинкской декларации 1964 г. и ее последующим изменениям или сопоставимым нормам этики. От каждого из включенных в исследование участников было получено информированное добровольное согласие.

УЧАСТИЕ АВТОРОВ

Руководство работой, постановка целей и задач, статистическая обработка результатов, разработка окулографического интерфейса выполнены Я. А. Туровским. Разработку программно-аппаратных решений для интерфейсов “человек–компьютер” осуществлял В. Ю. Алексеев. Эксперименты проведены Р. А. Токаревым.

×

作者简介

Ya. Turovsky

V. A. Trapeznikov Institute of Control Sciences of Russian Academy of Sciences; Voronezh State University

编辑信件的主要联系方式.
Email: yaroslav_turovsk@mail.ru
俄罗斯联邦, 117997, Moscow, Profsoyuznaya street, 65; 394018, Voronezh, Universitetskaya pl., 1

V. Alekseev

Voronezh State University

Email: yaroslav_turovsk@mail.ru
俄罗斯联邦, 394018, Voronezh, Universitetskaya pl., 1

R. Tokarev

Voronezh State University

Email: yaroslav_turovsk@mail.ru
俄罗斯联邦, 394018, Voronezh, Universitetskaya pl., 1

参考

  1. Korneev A. A., Kurganskii A. V. Vnutrennyaya reprezentatsiya serii dvizhenii pri vosproizvedenii staticheskogo risunka i traektorii dvizhushchegosya ob”ekta [Internal representation of a series of movements in the reproduction of a static pattern and the trajectory of a moving object]. Zurnal Vucshey Nervnoi Deytelynosti I. P. Pavlova [I. P. Pavlov Journal of Higher Nervous Activity]. 2013. V. 63(4). P. 437–450 (in Russian). https://doi.org/10.7868/S0044467713040060
  2. Mel’k A. Yu. Obzor interfeisa mozg–komp’yuter [Brain computer interface overview]. Nauchnyi aspekt. 2020. V. 5(3). P. 704–707 (in Russian).
  3. Orlov I. V., Stolbkov Yu.K., Gerasimenko Yu. P. Upravlenie ustroistvami dlya dvigatel’noi reabilitatsii cheloveka [Managing Devices for Human Movement Rehabilitation]. Fiziologiy cheloveka [Fiziologiya cheloveka]. 2018. V. 44(6). P. 93–103 (in Russian). https://doi.org/10.1134/S0131164618050120
  4. Polubarov A. A., Kashin D. A., Abdrakhmanov D. F. Primenenie algoritmov mashinnogo obucheniya v interfeise mozg–komp’yuter na volne p300 [Application of machine learning algorithms in the brain-computer interface on the p300 wave]. Voprosy ustoichivogo razvitiya obshchestva. 2022. (8). P. 929–941 (in Russian).
  5. https://doi.org/10.34755/IROK.2022.26.86.021
  6. Solodov A. V. Emotsii v protsessakh pamyati, kognitivnykh protsessakh i obrazovanii [Emotions in memory processes, cognitive processes and education]. European Research: sbornik statei XVI Mezhdunarodnoi nauchno-prakticheskoi konferentsii [European Research: collection of articles of the XVI International Scientific and Practical Conference]. Penza. Mezhdunaronyi tsentr nauchnogo sotrudnichestva «Nauka i Prosveshchenie». 2018. P. 190–194 (in Russian).
  7. Turitsyn M. I., Anokhin A. N., Volovod D. A., Gerasimchuk I. S., Mashkovtseva R. I. Issledovanie kharakteristik i vozmozhnostei primeneniya byudzhetnogo aitrekera v ergonomicheskikh zadachakh [Study of the characteristics and possibilities of using a budget eye-tracker in ergonomic tasks]. Chelovecheskii faktor v slozhnykh tekhnicheskikh sistemakh i sredakh [Human factor in complex technical systems and environments]. Saint Petersburg. 2016. P. 107–113 (in Russian).
  8. Turovskii Ya.A., Alekseev V. Yu. Sravnenie podkhodov k otslezhivaniyu raspredeleniya vnimaniya operatorov s ispol’zovaniem okulograficheskikh intrefeisov [Comparison of approaches to tracking the distribution of attention of operators using oculographic interfaces]. Software Engineering. 2023. V. 14(3). P. 137–145 (in Russian). https://doi.org/10.17587/prin.14.137–145
  9. Turovskiy Ya.A., Alekseev A. V., Ippolitov Yu. A. Informatsionnaya sistema dopolnitelnogo kanala obratnoy svyazi dlya videookulograficheskikh interfeysov chelovek-kompyuter [Information system of additional channel of feedback for video-oculographic interfaces human-computer.]. Journal of new medical technologies. 2017. V. 24 (2). P. 152–157 (in Russian). https://doi.org/10.12737/article_5947d43a55d805.86585568
  10. Turovskii Ya.A., Alekseev V. Yu., Muradova L. G., Mironkin A. P. Osobennosti generatsii komand dlya okulograficheskikh interfeisov v usloviyakh vestibulyarnykh vozdeistvii [Features of command generation for oculographic interfaces under conditions of vestibular influences]. Sensornye Sistemy [Sensory Systems]. 2023. V. 37(1). P. 49–59 (in Russian). https://doi.org/10.31857/S0235009223010080
  11. Turovskii Yа.A., Boronnikov A. I. Vliyanie obratnoi svyazi na kharakteristiki osvoeniya komand, generiruemykh v zadachakh miograficheskikh interfeisov [Influence of feedback on the characteristics of mastering commands generated in tasks of myographic interfaces]. Technologies of Living Systems. 2020. V. 17(2). P. 39–45 (in Russian). https://doi.org/10.18127/j20700997-202002-04
  12. Turovskii Yа.A., Borzunov S. V., Vakhtin A. A. Algoritm otsenki rezul’tatov statisticheskogo analiza dannykh biomeditsinskoi prirody v usloviyakh ehffekta mnozhestvennykh sravnenii [Algorithm for evaluating the results of statistical analysis of biomedical data under the conditions of the result of multiple comparisons]. Software Engineering. 2021. V. 1(9). P. 470–474 (in Russian). https://doi.org/10.17587/prin.12.470–474
  13. Turovskii Ya.A., Borzunov S. V., Danilova A. V., Glagoleva E. P. Dinamika neproizvol’nogo formirovaniya korrelyatsionnykh patternov EEG po mekhanizmu biologicheskoi obratnoi svyazi [Dynamics of involuntary formation of EEG correlation patterns by the biofeedback mechanism]. Ulyanovsk Medico-biological Journal. 2020. V. 2. P. 90–99 (in Russian). https://doi.org/10.34014/2227-1848-2020-2-90-99
  14. Alonso R., Causse M., Vachon F., Parise R., Dehais F., Terrier P. Evaluation of head-free eye tracking as an input device for air traffic control. Ergonomics. 2013. V. 56(2). P. 246–255. https://doi.org/10.1080/00140139.2012.744473
  15. Benjamini Y., Hochberg Y. Controlling the false discovery rate: a practical and powerful approach to multiple testing. Journal of the Royal Statistical Society, Series B. 1995. V. 57(1). P. 289–300. https://doi.org/10.2307/2346101
  16. Cohen M. H., Giangola J. P., Balogh J. Voice User Interface Design. Addison Wesley Publisher. 2004. 368 p.
  17. Eisma Y., Borst C., Paassen R., Winter J. Augmented Visual Feedback: Cure or Distraction? Human Factors. 2021. V. 63(7). P. 1156–1168. https://doi.org/10.1177/0018720820924602
  18. Hampton L. Refrexes. https://www.physio-pedia.com/Reflexes
  19. Kim B., Kim M., Jo S. Quadcopter flight control using a low-cost hybrid interface with EEG-based classification and eye tracking. Computers in Biology and Medicine. 2014. V. 51. P. 82–92. https://doi.org/10.1016/j.compbiomed.2014.04.020
  20. Toreini P., Langner M., Maedche A. Using Eye-Tracking for Visual Attention Feedback. Information Systems and Neuroscience. Lecture Notes in Information Systems and Organisation. Cham. Springer, 2020. V. 32. https://doi.org/10.1007/978-3-030-28144-1_29
  21. Wolpaw J., Wolpaw E. W. Brain-computer interfaces: principles and practice. Oxford University Press, 2012. P. 424.
  22. Yeo I. K., Johnson R. A. A new family of power transformations to improve normality or symmetry. Biometrika. 2000. V. 87(4). P. 954–959. https://doi.org/10.1093/biomet/87.4.954

补充文件

附件文件
动作
1. JATS XML
2. Fig. 1. An example of the operation of an interface controlled by the test subject’s finger: a - round marker, without symbols - test subject’s marker. The numbered marker of the central field is different in color from the other numbered markers, since it is the target; b — the target marker is number 5. Since the experiment took place without feedback via the visual channel, the test subject’s marker and video of the hand position are missing.

下载 (1MB)
3. Fig. 2. General scheme for controlling the marker with head movement.

下载 (125KB)
4. Fig. 3. An example of constructing an ideal trajectory of cursor movement along the actually obtained trajectory of the operator.

下载 (207KB)
5. Fig. 4. Distribution of the number of experiments by interfaces with and without visual feedback (OI - oculographic interface, RI - hand control interface, GI - head control interface, OS - control in feedback mode, without OS - control in non-feedback mode).

下载 (329KB)
6. Fig. 5. Range diagram with observed minimum and maximum not exceeding 1.5 interquartile range for the following values: a - standard deviation depending on the target number when working in the mode of generating commands by head movement. With OS p ≪ 0.0001, without OS p = 0.004; b — speed depending on the target number when working in command generation mode with head movement. In the presence of OS (Kruskale–Wallace test), without OS p = 0.17.

下载 (377KB)
7. Fig. 6. Distribution of the average deviation from the ideal trajectory across three clusters (OI - oculographic interface, RI - hand control interface, GI - head control interface, OS - control in feedback mode, without OS - control in open-loop mode).

下载 (297KB)

版权所有 © Russian Academy of Sciences, 2024

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».