Related work analysis for determination of fatigue state based on eye movements monitoring

Texto integral

Утомление - это функциональное состояние, сопровождающееся снижением работоспособности, потерей внимания, замедлением реакции, ростом количества ошибок и другими проявлениями на различных уровнях организации целенаправленной деятельности [1, 2]. Выполнение человеком профессиональной деятельности в состоянии утомления может послужить причиной катастрофических последствий в работе представителей различных профессий: операторов атомных станций, авиадиспетчеров, водителей судов, самолетов, железнодорожных составов, грузового, общественного и личного автотранспорта. В связи с этим, во многих сферах производственной деятельности в настоящее время становятся все более популярны системы поддержки оператора (Worker Assistance Systems) [3]. Задача таких систем, определяя когнитивное состояние оператора и операционный контекст, обеспечивать соответствующие им рекомендации. Раннее обнаружение признаков утомления оператора является решающим фактором для предотвращения возможных нештатных и аварийных ситуаций. Одной из важнейших задач является также дистанционная оценка признаков утомления.

Y. Borgiannietal. [3], основываясь на анализе систем поддержки операторов, резюмируют, что измерения параметров глазных движений позволяют в режиме близком к реальному времени дистанционно отслеживать внимание оператора к той или иной области рабочего пространства, объекту наблюдения.

Основной целью настоящей работы является анализ современных исследований определения утомления человека на основе мониторинга параметров глазных движений.

Теоретические предпосылки определения функционального состояния утомления на основе анализа стратегии глазных движений

Функциональное состояние описывается комплексом интегральных характеристик, которые прямо или косвенно обусловливают выполнение любого вида деятельности [1]. Функциональное состояние утомления имеет разнообразные проявления на поведенческом (снижение производительности труда, уменьшение скорости и точности работы), физиологическом (затруднение выработки условных связей, повышение инерционности в динамике нервных процессов) и когнитивном (снижение чувствительности, нарушение внимания, памяти, сдвиги в эмоционально-мотивационной сфере) уровнях [1, 2, 4, 5].

Современные системы технического зрения определяют состояние утомления человека на основе анализа косвенных признаков: доли времени, в течение которого были закрыты глаза (показатель PERCLOS), продолжительности морганий, частоты кивков головы, положения лица, пристальности взгляда [6–12]. Недостаток таких систем в том, что они не позволяют определить степень выраженности утомления [13]. Согласно M. Golz et al. [14], даже при одновременной регистрации параметров PERCLOS, электроэнцефалограммы (EEG) и электроокулограммы (EOG) имеющиеся системы плохо различают легкую и сильную степень утомления.

В тоже время, анализ характера движений глаз может предоставить обширную информацию о внимании человека и поведении в опасных ситуациях [4]. Специфика функциональной организации глазодвигательных реакций позволяет использовать их в качестве интегративного показателя состояния центральной нервной системы (ЦНС) в целом и, ствола мозга в частности, организации познавательных процессов, состояния человека и его деятельности [15]. Совокупность движений глаз принято называть еще окуломоторной активностью.

Управление глазодвигательной (окуломоторной) активностью осуществляется на уровне ствола головного мозга и на корковом уровне (рис. 1). Стволовые (подкорковые) центры управления представлены глазодвигательными ядрами, ядром блокового нерва и ядром отводящего нерва (рис. 1, А).

Корковые центры управления глазными движениями (рис. 1, Б) включают: зрительную кору (Visual Cortex), париетальное зрительное поле (PEF), фронтальное зрительное поле (FEF) и дорсолатеральную префронтальную кору (DLPFC).

 

Рис. 1. Нейронные центры управления движениями глаз.

А — подкорковые центры управления движениями глаз, Б — корковые центры управления движениями глаз: Visual Cortex — зрительная кора, PEF – париетальное зрительное поле, FEF – фронтальное зрительное поле, DLPFC – дорсолатеральная префронтальная кора.

 

Подходы к классификации глазных движений

Анализ литературы свидетельствует о различных подходах к классификации глазных движений. Ниже представлены несколько классификаций, на которых основано большинство современных исследований.

Согласно классификации В.А. Барабанщикова и А.В. Жегалло [16], глазодвигательная или окуломоторная активность представлена макро- и микродвижениями глаз. Макродвижения глаз изменяют положение взора и обеспечивают сканирование сцены. К ним относятся макросаккады, прослеживающие движения глаз, нистагм, вергентные движения и торзионные движения глаз. Макросаккады — резкие изменения позиции глаза, со скоростью до 900 угл. град/с и амплитудой от 40–50 до 50–60 угл. град [16, 17]. Прослеживающие движения — плавные перемещения глаз, сопровождающие движение наблюдаемого объекта в поле зрения. Прослеживающие движения глаз появляются примерно через 200 мс после начала движения объекта и продолжаются в течение 300 мс после его остановки или исчезновения. Такие движения глаз обеспечивают удержание объекта в зоне наилучшего видения — центральной ямке сетчатки — фовеа. Основной диапазон скоростей прослеживающих движений глаз –5'/с – 90 угл. град/с, амплитуда – ±60 угл. град по горизонтали и ±40 угл. град по вертикали [16]. Нистагм — комплекс окуломоторных движений, состоящий из чередования саккад и плавных прослеживающих движений глаз. Амплитуда нистагма колеблется в пределах 18–16–5 град. Вергентные (содружественные) движения глаз — сведение (конвергенция) и разведение (дивергенция) оптических осей включены в процесс стереоскопического зрения, обеспечивая необходимое соответствие проекций объекта на сетчатках обоих глаз. Торзионные движения связаны с вращением глаз относительно оптической оси и обеспечивают частичную компенсацию наклонов головы относительно гравитационной вертикали. Амплитуда таких движений ограничена 10 угл. град.

Микродвижения или фиксационные движения глаз представлены микросаккадами, дрейфом и микротремором. Микросаккады — быстрые движения глаз длительностью 10–20 мс, амплитудой 2–50', скоростью от 3 до 12 угл. град/с [16]. Дрейф — медленные плавные микродвижения глаз со скоростью от 0 до 40 угл. град/с и длительностью – от 30 до 5000 мс. На долю дрейфа приходится до 97% от общего времени фиксации. Микротремор — микроколебания глаз со средней амплитудой 20–40ʺ и частотой до 250–270 Гц. Это естественный двигательный фон окуломоторной активности, не поддающийся осознанному контролю [15].

K. Holmqvistetal. [18] предлагают выделять следующие виды движений глаз: фиксация, саккада, глиссада (также иногда называемая “постсаккадической осцилляцией”), прослеживающее движение, микросаккада, тремор и дрейф. Таким образом, по сравнению с предыдущей классификацией, авторы выделяют такое окуломоторное событие как "глиссада". По мнению S. Djanian [19] следует рассматривать четыре наиболее важных типа движений глаз: фиксация, саккада, прослеживающее движение и постсаккадическая осцилляция. B. Mahanama et al. [20] в своем обзоре глазных движений и способов их анализа, предлагают различать: фиксации, саккады, прослеживающие движения, тремор, микросаккады, дрейф, вергентные движения и отдельную категорию – моргание. Xian-sheng Li et al. [21] представляют эмпирически рассчитанные показатели фиксаций, саккад и прослеживающих движений глаз. D.D. Salvucci и J.H. Goldberg [22] считают, что наибольший интерес из окуломоторных событий представляют: фиксации, саккады и моргания. S. Wang et al. [23] в своей работе по исследованию распознавания глазных движений используют классификацию R.H.S. Carpenter [24], согласно которой все виды глазных движений подразделяются на два типа — сопряженные и не сопряженные. К первому типу движений глаз авторы относят: фиксации, саккады, прослеживающие движения и вестибулоокулярный рефлекс. Второй тип движений глаз – конвергентные и дивергентные движения.

Следует отметить, что большинство авторов либо не дают подробного описания параметров глазных движений, либо численные характеристики для различных окуломоторных событий отличаются от исследования к исследованию (табл. 1).

 

Таблица 1. Численные характеристики основных видов глазных движений

Источник	Фиксация	Саккада	Прослеживающее движение	Тремор	Микросаккада	Дрейф
[16]	Не определяется	Продолжительность, скорость и ускорение зависят от амплитуды. Амплитуда от 40–50° до 50–60°, в естественных условиях 20°	Появляются через 150–200 мс после начала движения объекта. Продолжительность 300 мс. Скорость 5–90°/с. Амплитуда ±60° по горизонтали и ±40° по вертикали	Средняя амплитуда 20–40ʺ, частота до 250–270 Гц	Продолжительность 10–20 мс. Диапазон амплитуд 2–50', скорость 3–12°/с	Скорость 0–40°/с, длительность 30–5000 мс
[18]	Продолжительность 200–300 мс	Продолжительность 30–80 мс. Амплитуда 4-20°. Скорость 30–500°/с. Ускорение 4000–8000°/с2	Скорость 10–30°/с	Амплитуда <1°. Скорость 20°/с	Продолжительность 10–30 мс. Амплитуда 10–40'. Скорость 15–50°/с	Продолжительность 200–1000 мс. Амплитуда 1–60°. Скорость 6–25°/с
[20]	Продолжительность 30–300 мс	Амплитуда около 2° во время чтения	Скорость 20–40°/с, максимально возможное значение — 130°/с, латентность 100–200 мс	Частота 90 Гц	Частота 1–3 Гц	Амплитуда 6°. Скорость 1°/с
[21]	Скорость 0-30°/с. Продолжительность 80–600 мс	Скорость 30–500°/с, продолжительность 20–40 мс	Скорость 1–30°/с	Не определяется	Не определяется	Не определяется
https://www.tobii.com/	Продолжительность 50–600 мс. Частота <3 Гц	Латентность 100–1000 мс. Средняя продолжительность 20–40 мс	Скорость менее 30°/с	Не определяется	Не определяется	Не определяется
[23]	Продолжительность более 100 мс	Максимальная скорость 1000°/с. Продолжительность 30 мс и более	Не указаны численные значения	Не определяется	Не определяется	Не определяется

 

Характеристики глазных движений и их использование

Фиксации — периоды удержания изображения или его части в области максимальной остроты зрения — для детального анализа содержащейся информации. Эти периоды имеют специфические динамические характеристики, которые могут дать доступ к важной информации о восприятии, внимании, эмоциональном отклике. Пространственная плотность фиксаций взгляда дает представление о картине целенаправленного поиска [16, 18], отражает характер изменения когнитивной нагрузки и внимания [25]. Плотность фиксаций вычисляется как отношение количества точек взора к площади фиксации. Частота фиксаций рассматривается как свидетельство сложности задачи, чем частота ниже, тем сложность выше. При этом следует отметить, что при выполнении задачи экспертами отмечается снижение числа фиксаций, по сравнению с новичками [16]. Продолжительность фиксаций также отражает визуальное внимание и его распределение [26], уровень когнитивной нагрузки [27]. Области с наибольшей продолжительностью фиксаций определяют как зоны интереса. Средняя и максимальная продолжительность фиксаций снижаются с увеличением когнитивной нагрузки. Преобладание коротких или длинных фиксаций в наборе данных свидетельствуют об асимметрии распределения продолжительности фиксаций. Анализ вектора смещения фиксаций также позволяет сделать выводы о распределении фиксаций и зрительной нагрузке [16]. Вектор смещения фиксаций вычисляется как суммарное смещение фиксаций относительно центра с учетом их продолжительности.

Саккады — макродвижения глаз, обеспечивающие перемещение взора и сканирование сцены. Амплитуда саккад является вариативным и контекстно-зависимым показателем, испытывающим влияние освещения, размеров стимула, цели, сложности задачи [16]. При увеличении амплитуды саккады возрастает ускорение саккады, которое часто регистрируется в целях детекции утомления [28]. Скорость саккад снижается при отсутствии сна, развитии утомления [29]. Асимметрия распределения амплитуды саккад представляет собой параметр, отображающий преобладание одного из двух типов саккад — высоко- и низкоамплитудных, и может изменяться в зависимости от типа задания. Амплитуда саккады, так же как средняя и пиковая скорость саккады, отражает когнитивную нагрузку [16, 20, 26]. Чем сложнее задача, тем выше скорость саккад. Асимметрия саккад характеризует соотношение продолжительности фаз ускорения и торможения во время саккады. Все саккады завершаются глиссадами, однако, если их становится больше, это может говорить о снижении уровня готовности оператора и развитии утомления.

Латентность саккад связана со временем реакции и варьирует в зависимости от цели и типа стимула, распределения внимания, имеет возрастные особенности [30]. В условиях выполнения нескольких задач сразу и слежения за разными объектами, латентность саккад возрастает [16]. Частота саккад отличается для динамических и статических стимулов, увеличивается по мере повышения сложности задачи [31], свидетельствует о развитии утомления [31–33]. Направление саккад используется для изучения стратегий визуального поиска [34], продолжительность саккад – при изучении внимания и когнитивной нагрузки [16, 35], также, как длина и скорость саккад [36, 37]. Схожесть пути сканирования используется в исследованиях визуального внимания [38]. Количество перегибов траектории сканирования зависит от сдвигов внимания, появляющихся во время выполнения задачи и рассчитывается как количество саккад, в которых горизонтальная и/или вертикальная скорость меняет знаки [39]. Продолжительность (временная) траектории вычисляется при помощи суммирования фиксаций и саккад на определенном участке. Увеличение продолжительности может говорить о снижении эффективности визуального поиска [40]. Интервал между саккадами (стандартное отклонение, среднее, коэффициент дисперсии) используется в исследовании умственного утомления [41].

Микросаккады — разновидность микродвижений глаз, сопровождающих периоды фиксации, рассматривают как индикатор скрытого внимания [42]. Амплитуда микросаккад свидетельствует о когнитивной нагрузке [26] и увеличивается во время выполнения более сложных задач [43].

A.S. Zandi et al. [44] в задаче детекции утомления у водителей используют также ряд более сложных для вычисления параметров глазных движений (табл. 2). Авторы вводят индекс сходства (similarity index), который является мерой оценки того, насколько взгляд был сфокусирован на протяжении определенного периода времени. Этот индекс может быть вычислен для взгляда, фиксации и саккады следующим образом:

 $S=\frac{2}{N(N-1)}\sum _{i=1}^{N-1}\sum _{j-i+1}^N{\rm H}(\epsilon -||g_i-g_i||)$  (1)

где — N – общее количество векторов взгляда, i – вектор взгляда (с соответствующим углом направления взгляда g_i^h и углом тангажа g_i^p). H — ступенчатая функция Хевисайда, ||:|| — евклидово расстояние, а “ε” — радиус окрестности. В данной работе радиус окрестности был установлен на 0.087 радиан (5°) для общего взора и саккад и 0.0175 (1°) для фиксаций. Similarity index — это характеристика, высчитываемая по некоторому окну (длиной n секунд): сравниваются все саккады со всеми саккадами, и также все фиксации со всеми фиксациями. Саккады считаются совпадающими, если их векторная разница не превышает 5°. Фиксации считаются совпадающими, если разница в их координатах не превышает 1°. В случае совпадения индекс увеличивается на 1, в противном случае – на ноль.

 

Таблица 2. Базовые характеристики окуломоторных событий и их использование

Характеристика	Исследовательский вопрос
Фиксации
Количество	Семантическая важность, визуальный поиск [16], когнитивная нагрузка [18]
общее
в области интереса
на цели
Частота	Сложность задачи [16]
Плотность	Когнитивная нагрузка, внимание [25]
Продолжительность	Когнитивная нагрузка [16, 26,  27]
общая
асимметрия распределения
Зона интереса	Информативность объекта [16], внимание (https://imotions.com/blog/learning/10-terms-metrics-eye-tracking/)
время непрерывного рассматривания
суммарное время
продолжительность первого непрерывного рассматривания
количество фиксаций	Когнитивная нагрузка [35]
Время до первой фиксации	Визуальный поиск (https://imotions.com/blog/learning/10-terms-metrics-eye-tracking/
Начало и конец фиксации	Детекция утомления [45]
Координаты	Использование машинного обучения для детекции событий [45]
вертикальные
горизонтальные
Саккады
Амплитуда	Когнитивная нагрузка, сложность задания [20,  26]
горизонтальные саккады
вертикальные саккады
векторные саккады
максимальная амплитуда
Продолжительность
средняя	Внимание и когнитивная нагрузка [35]
кумулятивная	Эргономика [16]
Скорость	Когнитивная активация [16], сонливость [29], детекция утомления [41, 45]
вертикальная
горизонтальная
пиковая
средняя и пиковая скорость векторных саккад
Индикатор формы волны скорости	Биометрическая идентификация [39]
Латентность	Распределение внимания [16]
Количество	Память [16]
Частота	Сложность задания [31, 32], заболевания, детекция утомления [33]
Ускорение	Детекция утомления [45]
горизонтальное
вертикальное
коэффициент
Направление
Начало и окончание
Длина	Умственные усилия [46]
Межсаккадный интервал	Детекция утомления [41]
Микросаккада
Амплитуда	Когнитивная нагрузка [43], скрытое внимание и сложность задачи [26]
Прослеживающие движения
Направление	Направление движущегося объекта [47, 48]
Скорость	Траектория движения объектов, возраст, профессия, заболевания [16]
Ускорение	Траектория движения объекта [20]
Латентность
Моргание
Частота	Внимание [49]
Амплитуда	Детекция утомления, сложность задания [20]
Латентность	Детекция утомления [50]
Продолжительность	Когнитивная нагрузка [26, 35]
Скорость	Когнитивная нагрузка, распределение внимания [35]
Количество	Детекция утомления [51]
в минуту
общее
Интервал между морганиями	Детекция умственного утомления [41]
стандартное отклонение
среднее
коэффициент дисперсии
Процент	Детекция утомления [44]
Серия морганий в промежутке между (0.5–2.0 с)	Детекция утомления [52]
Зрачок
Диаметр	Детекция утомления у водителей [44]. Опыт, сложность задачи [53]
максимальный
минимальный
средний
Стандартное отклонение
Скорость сужения
Размер	Когнитивная нагрузка [54] Опыт, сложность задачи [53]
процентное изменение
максимальный размер для правого и левого зрачка
средний по обоим
Энтропия	Опыт [54]
Индекс когнитивной активности (ICA)	Когнитивная активность [54-56]
Индекс активности зрачка (IPA)
Высокий/низкий индекс активности зрачка (LHIPA)
Взгляд
Координаты взгляда в заданный момент времени	Шаблоны взгляда [57], разработка биометрических систем [58]
Координаты Минимальное	Детекция утомления [59, 60], нагрузка при выполнении задачи [60]
Координаты Максимальное
Координаты Среднее
Координаты Стандартное отклонение
Энтропия	Сложность задачи [53], детекция утомления [44], эффективность визуального сканирования [61]
Угол наклона взгляда	Детекция утомления [44]
среднее
медианное значение
стандартное отклонение
Отношение скоростей
Индекс сходства (similarity index)

 

Моргание. Параметры моргания являются одними из самых популярных инструментов детекции утомления. Частота, скорость и продолжительность моргания могут отображать степень когнитивной нагрузки [35] и утомления [51]. Вместе с количеством морганий для изучения утомления рассматривается серия морганий в промежутке 0.5–2 с [52]. Согласно обзору [26], продолжительность и частота моргания снижаются с увеличением сложности задачи и концентрации внимания. Латентность моргания – промежуток времени между появлением релевантной для решения задачи информации и последующим инициированием моргания увеличивается вместе с развитием утомления [50]. Амплитуда моргания связана с измерением утомления и сложности задачи [20]. Процентное соотношение фиксаций, саккад и морганий фигурирует в исследованиях детекции утомления, как параметр, представляемый в виде доли эпохи, включающей окуломоторное событие.

Взгляд. Что касается координат взгляда, для изучения нагрузки при выполнении задачи рассматривается стандартный набор параметров для анализа координат взгляда (табл. 2), такие как минимальное, максимальное, среднее и стандартное отклонение [60]. Координаты взгляда в заданный момент времени используются для изучения шаблонов перемещения взгляда [57], а также при разработке биометрических систем [62]. Для данных взгляда также рассчитывается соотношение пиковой и средней скорости [44]. Время непрерывного рассматривания — пребывания в зоне интереса определяется, как характером решаемой задачи, так и информативностью изучаемого объекта. Чем она выше, тем больше время нахождения взора в зоне интереса. Следует учитывать, что отсутствие опыта и проблемы с обработкой информации также могут привести к росту значений данного параметра. Суммарное время, проведенное в зоне интереса, вычисляется как суммарная продолжительность всех фиксаций в выделенной области [16]. Среднее время пребывания в зоне интереса (например, на приборной панели для водителя) может отражать умственную нагрузку, тогда как параметр времени фиксации может быть полезен для оценки неопределенности и риска ситуации [63]. В своих исследованиях компания iMotions подробно описывает ряд характеристик, связанных с зонами интереса. Так, например, время до первой фиксации фигурирует в изучении времени, необходимого для нахождения цели. С этой характеристикой также тесно связана продолжительность первой фиксации. В случае если время до первой фиксации мало, и сама она непродолжительная, это означает высокую степень привлекательности зоны интереса (https://imotions.com/blog/learning/10-terms-metrics-eye-tracking/).

Частота интрузий — параметр, отражающий количество резких отклонений взгляда от целевого стимула и возврат обратно. Его изменение связывают с наличием движущегося целевого объекта, задачей извлечения из памяти и воспроизведения расположения объектов [16], [64]. Плотность матрицы переходов используется для изучения парадигмы визуального поиска. Чем ниже значения этого показателя, тем эффективные происходит поиск [20]. Энтропия взгляда также связана с эффективностью визуального сканирования [61], коррелирует с увеличением сложности выполняемой задачи [53]. Среднее и медианное значение, а также стандартное отклонение для угла наклона взгляда используется для детекции утомления [44].

Прослеживающие движения. Направление, латентность, скорость и ускорение прослеживающих движений глаз зависит от траектории движения объекта [16, 20, 48]. При этом ускорение падает в случае конкурирующих стимулов и растет в случае слежения за целевыми стимулами [65]. Скорость прослеживающих движений изменяется в течение жизни, в частности, увеличивается латентность [66].

Динамика зрачка. Согласно обширному обзору O. Tolvanen et al. [53] о влиянии когнитивной нагрузки на окуломоторные события, размер зрачка коррелирует с увеличением сложности задачи. Расширение зрачка является отображением использования ресурсов обработки информации, поэтому рассматривается в рамках изучения когнитивной нагрузки, внимания, выполнения сложных задач [67, 68], исследованиях умственного утомления, засыпания и нагрузки во время вождения [41, 44, 60]. При использовании в исследованиях характеристик зрачка необходимо учитывать его чувствительность к изменению освещения.

Индекс когнитивной активности (ICA), введенный S.P. Marshall [54], является мерой флуктуации диаметра зрачка. Для его вычисления удаляются сегменты данных, отвечающие за моргание. Индекс активности зрачков (IPA) появился как усовершенствованный параметр ICA [55]. Для расчета IPA не использует промежутки записи, предшествующие и последующие за морганием (200 мс). Разновидностью IPA является низкий/высокий индекс активности зрачков (LHIPA), связанный с подсчетом максимумов модуля низкочастотных и высокочастотных полос, содержащихся в вейвлете. Увеличение реакции зрачка находит отражение в уменьшении значения LHIPA. LHIPA меняется в зависимости от сложности задачи и когнитивной нагрузки. С использованием индекса активности зрачка/ индекса когнитивной активности (PAI/CAI) определяют изменение диаметра зрачка. Особенность их в том, что для шумоподавления используется вейвлет-разложение. Разложение в данном случае выполняется на две компоненты: высокочастотную и низкочастотную, и после этого применяется простое пороговое шумоподавление [56].

Определение утомления по динамике глазных движений

Окуломоторные события успешно используются при детекции утомления. Все параметры, связанные с детекцией утомления могут быть разделены на три группы: связанные с саккадами, морганиями и изменением размера зрачка. M. Russo et al. [29] сообщают о потенциальной полезности характеристик глазодвигательных движений для выявления ухудшения сложной двигательной активности при хроническом ограничении длительности сна и возникающей усталости (в терминах авторов). Показано, что при недостатке сна наблюдается снижение скорости саккад и уменьшение начального размера зрачка. По данным исследования S. Lyapunov et al. [13] треморные движения глаз являются объективным маркером утомления водителя.

Основные параметры окуломоторных событий, коррелирующие с состоянием утомления человека, а также характер их изменения отражены в табл. 3. Такие численные характеристики саккад, как пиковая скорость и продолжительность являются релевантными показателями утомления [46, 69], как и анализ пиков ускорения [70]. J.T. Chen et al. [46] были проведены два эксперимента с использованием нескольких типов заданий: саккадная задача, про- и антисаккадная задача (pro- и antisaccade task) с использованием эмоциональных аудиальных стимулов. Детекция утомления была основана на использовании скоростных показателей саккад и показателей активности зрачка. По мере развития утомления наблюдалось снижение пиковой скорости произвольных саккад, уменьшение базового абсолютного размера зрачка, так называемого тонического размера зрачков и фазических зрачковых реакций. Более того, тонический размер зрачка влиял на латентность и динамику саккад, причем наклон главной последовательности саккад был более крутым по мере увеличения тонического размера зрачков.

 

Таблица 3. Изменение параметров окуломоторных событий в связи с утомлением

Название	Изменение	Источник
Средняя скорость саккад	Растет	[71]
	Падает	[72]
Относительная скорость саккад	Падает	[73]
Пиковая скорость саккад	Падает	[46,  69,  74–76]
Продолжительность саккад	Растет	[71,  75]
	Падает	[69]
Частота саккад	Растет	[78,  79]
Амплитуда саккад	Растет	[77, 78]
	Падает	[76]
Количество микросаккад	Падает	[73]
Пиковая скорость и амплитуда саккад по отношению к времени реакции	Растет	[77]
Частота моргания	Растет	[59, 69,  78, 80, 81]
	Падает	[82]
	Не изменяется	[83]
Продолжительность моргания	Растет	[69, 71, 73,  78, 81, 83, 84]
	Падает	[82]
Интервал между морганиями	Падает	[81]
Количество морганий	Растет	[52]
Скорость моргания	Падает	[52]
Диаметр зрачка	Падает	[59,  71, 74,  85]
Диапазон расширения зрачка	Растет	[86]
Процент взгляда за кадром	Растет	[87]
Средняя открытость глаз	Не известно	[44]
	Падает	[73]

 

Коммерческая патентованная установка FIT 2500 Fatigue Analyzer (https://www.pmifit.com/research.pdf), сочетающая в себе пупиллометр и окулограф, использует алгоритм, основанный на анализе значений скорости саккад, а также диаметра, амплитуды и латентности периода сужения зрачка, полученных в ходе процедуры стимуляции зрачка вспышками яркого света разной продолжительности [87]. Расчет индекса утомления FIT_index производится по формуле:

$\begin{array}{l}FI{T}_{index}={\left(\frac{PD-\mu PD}{\sigma PD}\right)}^2+{\left(\frac{CA-\mu CA}{\sigma CA}\right)}^2+\\ +{\left(\frac{CL-\mu CL}{\sigma CL}\right)}^2+{\left(\frac{SV-\mu SV}{\sigma SV}\right)}^2\end{array}$ (2)

где PD — диаметр зрачка, CA — амплитуда сужения зрачка, CL — латентный период сужения зрачка, SV — скорость саккад. Значения индекса до 18.467 считались нормой. Данный метод детекции утомления требует специфического оборудования, что делает процедуру его проведения сложной в плане внедрения в рабочий процесс оператора.

В работе по детекции утомления L.L. Di Stasi et al. [75] оценивали продолжительность саккад и их пиковую скорость, погрузив участников в виртуальную среду, имитирующую вождение автомобиля в течение 2 ч. До и после сессии вождения автомобиля, а также после небольшого перерыва, участники проходили тест контролируемой фиксации (фиксация на точке, а затем на целевом объекте). В результате анализа саккадических характеристик авторы выявили рост продолжительности и падение пиковой скорости саккад соответственно. Кроме того, они выявили, что 15-минутный перерыв после нагрузочного задания недостаточен для восстановления организма и возврата к исходному уровню утомления. Эта же группа авторов позднее делает вывод, что на снижение скорости саккад помимо сложности задачи влияет продолжительность ее выполнения [88]. Для подтверждения своих гипотез авторы провели еще один эксперимент, тестируя хирургов до и после 45-минутной операции [74]. Участникам требовалось фиксироваться на целевых стимулах в разных частях экрана. Снижение показателя пиковой скорости саккад по отношению к амплитуде было описано и в работе детекции утомления во время совершения полета (150 мин) [89].

Такие параметры как частота и продолжительность моргания часто фигурируют в изучении связи окуломоторных событий с утомлением [52, 69, 83–85]. R. Horiuchi et al. [52], используя специальную систему детекции морганий, установили, что количество морганий линейно увеличивается со временем, тогда как скорость морганий уменьшается на протяжении выполнения задачи на математическое сложение.

Zargari Marandi et al.[69] представили исследование утомления у молодых и пожилых людей. По данным авторов частота и продолжительность морганий увеличиваются в условиях выполнения TOT(time-on-task). По их мнению, изменение частоты морганий связано с изменением бдительности (vigilance) и уровня внимания. Изменение продолжительности моргания они связывают с изменениями уровня нейрональной активации мигательных мотонейронов и круговой мышцы глаза по мере прогрессирования утомления. Кроме того, при изучении трех типов продолжительности фиксаций (<150, 150–900, >900 мс), авторы пришли к выводу, что продолжительность фиксаций средней длительности растет в связи с утомлением. Показано также, что пиковая скорость саккад и их продолжительность снижаются по мере прохождения эксперимента.

Описывая в своей работе по детекции утомления у солдат в полевых условиях глазодвигательные характеристики, R. Schweitzer и M. Rolfs [81] приводят свидетельства того, что при утомлении частота и продолжительность морганий растут, а интервал между двумя морганиями падает. Авторы также обращают внимание на то, что частота моргания в какой-то момент времени достигает определенного предельного значения, тогда как степень утомления может продолжать увеличиваться. Продолжительность моргания является популярным параметром для детекции утомления, однако необходимо учесть, что при длительных измерениях возможно возникновение интра- и интервариабельности, так как частота моргания увеличивается, интервал между морганиями уменьшается. Использовать этот параметр довольно проблематично ввиду выраженных индивидуальных различий.

M.B. Herlambang et al. [78], исследуя связь утомления и мотивации, установили, что после 2.5-часового эксперимента по измерению времени реакции при выполнении сложного задания количество и продолжительность отвлечения от задания возрастали, также как частота и продолжительность моргания, частота и амплитуда саккад. Согласно данным исследования M. Gergelyfi et al. [80], по изучению утомления и отвлечения от задачи, а также влияния мотивации на поведение и физиологические показатели, частота моргания увеличивалась и по мере возрастания уровня утомления во время выполнения задания на решение судоку (в течение 120 мин). G. Borghini et al. [82] также обращают внимание на то, что уменьшение продолжительности и частоты морганий связано с увеличением сложности задачи. Авторы объясняют это тем, что трудная задача требует большей концентрации, а значит, приводит к сокращению времени с закрытыми глазами.

В своей работе по изучению изменения внимания ввиду утомления J.F. Hopstaken et al. [85] использовали N-back тест с дистракторами в виде лиц. Участнику одна за другой предъявлялись буквы. Его задачей было определить, является ли представленная на данный момент на экране буква такой же, что была 2 позиции назад. Количество времени, которое взгляд проводил в фиксациях за пределами экрана, стало значительно выше в конце эксперимента. При изменении размера вознаграждения за участие в эксперименте этот эффект стал меньше, что говорит о том, что повышение степени утомления не всегда сопровождается уменьшением внимания к заданию и увеличению внимания к дистракторам в виде лиц. Значение параметра диаметра зрачка значительно уменьшилось к концу выполнения теста (и увеличилось, после смены мотивации).

В своем исследовании поведения операторов экскаватора J. Li et al. [59] использовали окулограф, камеру сцены и две камеры для области глаз. В качестве основного задания была использована симуляция управления экскаватором. От каждого участника требовалось прохождение TOO (time-on-operating) задания для развития утомления. Протяженность всего эксперимента составила 100 мин, включая тренировку, 5 тестов TOO и перерыв. Основной частью эксперимента было выполнение повседневных задач оператора экскаватора, остальную часть занимал тест HDT (hazard detection task), который требовал от участников ответа на визуальный стимул с целью детекции опасного (рискованного) поведения. Этот тест был в форме определения по зеркалам заднего вида степени опасности местоположения человека. Для детекции утомления были выбраны следующие параметры: частота и продолжительность моргания, диаметр зрачка, положение взгляда (горизонтальные и вертикальные координаты взгляда, количество точек взгляда на мониторах). Результаты анализа показали значительный рост частоты морганий, снижение диаметра зрачка и рассеивание внимания оператора при развитии утомления.

В еще одном исследовании, посвященном изучению утомления в условиях прохождения теста в симуляции, были водители грузовиков [83]. Запись данных производилась два раза — в бодром состоянии и утомленном, после рабочей смены. Авторы рассматривали показатели: PERCLOS (Percentage of Eyelid Closure over the Pupil over Time), продолжительность закрытия глаз (eye closure duration) и частота закрытия глаз (frequency of eye closure). Продолжительность закрытия глаз вычисляется как средняя продолжительность кластеров за период времени (30 или 60 с), где кластер представляет собой набор непрерывных кадров, в которых глаза классифицируются как закрытые. Частота закрывания глаз вычисляется при помощи количества зафиксированных закрытий глаз, отличающихся от морганий (т.е., протяженностью более 200 мс). Согласно результатам анализа, первые два показателя коррелируют с утомлением, тогда как частота закрытия глаз оказалась не связана с ним.

Для изучения детекции утомления при помощи ЭЭГ и айтрекинга A.S. Zandi et al. провели эксперимент с вождением автомобиля [44]. Контрольный тест длился 10 мин в утреннее время, к участникам не предъявлялось никаких требований относительно порядка вождения. Основная часть эксперимента состояла из 30-минутной езды (в дневное время) с определенными условиями (отсутствие разговоров, соблюдение скоростного режима, выполнение ряда задач, например парковка и разворот). Авторы извлекали 34 параметра таких окуломоторных событий как взгляд, моргание, диаметр зрачка и степень открытости глаза. После анализа данных с применением метода случайного леса (Random Forest) – алгоритма машинного обучения, часто используемого в задачах классификации и регрессии, авторы выделили 10 наиболее репрезентативных параметров: отклонение взгляда, среднее значение взгляда, процент саккад, вертикальный путь сканирования саккад, горизонтальный путь сканирования саккад, горизонтальная скорость саккад, процент моргания, средний диаметр зрачка, отклонение диаметра зрачка, средняя степень открытости глаз.

X. HuиG. Lodewijks [71] в исследовании с задачей активного и пассивного вождения показали, что средняя скорость и продолжительность саккад увеличиваются с ростом степени выраженности утомления. Продолжительность моргания значительно выросла после 1 ч активного вождения автомобиля. Диаметр зрачка уменьшился после часового активного и пассивного вождения, при этом не изменившись в условиях полуторачасового пассивного вождения.

Изучая вопрос внимания в условиях депривации сна, T. Abe et al. [73] показали, что с течением времени средняя степень открытости глаз (Average Eyelid Opening Degree), диаметр зрачка, относительная скорость саккад уменьшаются, а продолжительность моргания, соотношение амплитуды и скорости открытия/закрытия глаз увеличиваются. А также вследствие депривации сна снижается частота микросаккад и соотношение количества микросаккад к общему количеству саккад. L.S. Stone et al. [79] показали значимый рост частоты саккад в связи с отсутствием сна, нарушением циркадных ритмов и развивающимся утомлением.

Обоснование оценки утомления на основе анализа стратегии глазных движений

Согласно Б.М. Величковскому [4], наблюдая характер движений глаз, можно с высокой степенью вероятности определить, способен ли человек идентифицировать возникшую в его поле зрения опасную ситуацию или в этот момент он находится в режиме распределенного внимания, что существенно снижает скорость и точность его реакции. Два отличающихся характера глазных движений в естественной среде проявляются в амбиентных и фокальных зрительных фиксациях [90-93]. Исследования B.M. Velichkovsky et al. [92] позволили установить нейрофизиологическую основу этих отличающихся характеров движений глаз, продемонстрировать их связь с двумя главными "потоками" переработки зрительной информации в коре головного мозга человека: дорзальной и вентральной крупномасштабными нейронными системами, несущими информацию из каудальных во фронтальные зоны коры головного мозга (рис. 2).

 

Рис. 2. Дорзальная (1) и вентральная система (2), как нейронная основа пространственного динамического и предметного статического зрения.

 

По данным исследований B.M. Velichkovsky et al. [92] амбиентный характер глазных движений определяет динамическое зрение и сопровождается активацией структур мозга, относящихся к дорзальной зрительной системе, тогда как фокальный – совпадает по времени с активацией структур вентрального пути. Дорзальный поток (рис. 2) пролегает через задне-теменную кору, дополнительное зрительное поле, прилегающее к моторным зонам коры головного мозга, и отвечает за глобальный анализ информации, быстрое сканирование зрительной сцены, охват множества объектов, оценку движения и взаимного пространственного расположения, периферическое зрение, определяет амбиентный характер глазных движений (короткие фиксации) [4, 92].

Вентральный поток информации из каудальных во фронтальные зоны коры мозга пролегает через нижнюю височную кору, обеспечивая локальный анализ информации, распознавание тонких деталей зрительных объектов, статическое, центральное зрение, фокальный характер глазных движений (продолжительные фиксации).

Согласованная работа этих систем обеспечивает целостность восприятия, нарушения которого наблюдаются при рассогласовании их взаимодействия [93], что, в свою очередь, проявляется в изменении функции внимания, в частности в сдвиге равновесия между процессами распределения и концентрации внимания [94].

Результаты исследований, выполненных на модели психопатологии, характеризующейся выраженным снижением функции внимания, свидетельствуют о том, что доминирование статического центрального зрения (вентральный, он же височный путь) или динамического периферического (дорзальный или теменной путь) зрения в состоянии утомления будет приводить к снижению эффективности деятельности в результате смещения равновесия между концентрацией и распределением внимания [95] в сторону его распределения. Таким образом, исходя из данных нейрофизиологических исследований [92] о параметрах динамического и статического зрения, при развитии утомления в ЦНС будут изменяться их характеристики, отражающие работу механизмов глобального и локального анализа информации. Нейронным субстратом этих механизмов является магно- и парвоклеточная нейронные системы, берущие начало от разного типа ганглиозных клеток сетчатки, несущих информацию к разным слоям латерального коленчатого тела таламуса, нейроны которых, в свою очередь, посылают свои отростки к разным слоям первичной зрительной коры, где далее происходит разделение на дорзальный (теменной) и вентральный (височный) корковые потоки информации из каудальных (задних) во фронтальные зоны коры головного мозга [93, 95]. Основными показателями, отличающими стратегии динамического и статического зрения, являются длительность фиксаций и амплитуда саккад [92].

Kunasegaran et al.[96] в своем обзоре, рассматривая вопрос понимания когнитивного утомления и его выявления, отмечают, что областями мозга, которые в первую очередь при этом страдают, являются зрительная и лобная кора [97]. Так как саккадические движения глаз связаны с нейронной активностью в лобной доле [98], надежность и валидность использования саккадических движений глаз для выявления утомления будут высокими.T. Bafna и J.P. Hansen [99] показали, что саккады являются наиболее многообещающей категорией, при этом средняя и пиковая скорость саккад обеспечивают быстрый доступ к когнитивным состояниям в течение 30 мин после утомительной деятельности. M.F. Ansari et al. [100] предложили модель обнаружения когнитивного утомления с помощью регистрации и анализа параметров взгляда на основе внешности с использованием сверточных нейронных сетей. Авторы продемонстрировали успешность расшифровки саккадических движений глаз по изображениям лиц с настольных веб-камер.

В исследовании пилотов S. Naeeri et al. [101] были изучены положительные или отрицательные корреляции между показателями теста на время реакции и показателями движения глаз (размер зрачка, число фиксаций глаз, продолжительность фиксаций, энтропия зрения), на основе которых были разработаны прогностические модели утомления пилотов. Авторами предложены две прогностические модели утомления, исходя из установленного влияния на стратегию глазных движений фактора экспертности, преобладания у новичков распределения внимания. Кроме того, результаты регрессий показали, что для прогнозирования утомления может быть достаточно одного или подмножества показателей движения глаз. L. Mengtao et al. [102] в своем обзоре об использовании технологии отслеживания глаз для повышения безопасности в авиационной промышленности отмечают, что показатели фиксаций, визуального поиска, зрачков, саккад и моргания наиболее перспективны при оценке функционального состояния пилотов.

Поскольку видеометоды измерения зрительных метрик являются многообещающим и практичным методом мониторинга утомляемости оператора, в настоящее время активно обсуждается взаимосвязь между утомлением и показателями зрения для реализации прагматичного детектора утомления операторов и лиц других профессий [101, 103, 104]. В работе X. Hu и G. Lodewijks [103] обсуждаются будущие направления с точки зрения методологии проведения исследований и анализа утомления с использованием параметров, связанных с глазами.

Заключение

В настоящей статье выполнен анализ литературы по использованию параметров глазных движений для оценки утомления. Результаты анализа позволяют сделать вывод о многообразии параметров глазных движений, используемых для оценки утомления. Наиболее популярными и надежными параметрами окуломоторных событий для детекции утомления выступают саккадические показатели (пиковая и средняя скорости, продолжительность), а также количество и продолжительность морганий. Ряд параметров является противоречивым для детектирования состояния утомления и скорее всего противоположные изменения параметров зависят от контекста и состояния, в котором находится оператор, например, характера выполняемой работы. Потенциальными информативными маркерами утомления могут выступать параметры стратегии динамического и статического зрения. Сдвиг в сторону стратегий динамического или статического зрения будет сопровождаться изменением: амплитуды саккад, длительности фиксаций, местоположения фиксаций, количества фиксаций и т.д.

Результаты показывают перспективность использования движений глаз в качестве индикатора для прогнозирования утомления и обеспечивают основу, которая может приблизить к разработке системы детекции утомления в режиме реального времени, для предотвращения критических несчастных случаев.

Финансирование работы. Исследование поддержано Фондом содействия инновациям (проект КодИИ-205491).

Конфликт интересов. Авторы данной работы заявляют, что у них нет конфликта интересов.

Sobre autores

I. Shoshina

Saint-Petersburg State University

Autor responsável pela correspondência
Email: shoshinaii@mail.ru

Институт когнитивных исследований

Rússia, St. Petersburg

S. Kovalenko

National Research University Higher School of Economics

Email: shoshinaii@mail.ru
Rússia, Moscow

V. Kuznetsov

Federal Research Center “Computer Science and Control”, RAS

Email: shoshinaii@mail.ru
Rússia, Moscow

I. Brak

Novosibirsk State University; Privolzhsky Research Medical University, PRMU

Email: shoshinaii@mail.ru
Rússia, Novosibirsk; Nizhny Novgorod

A. Kashevnik

Saint-Petersburg Federal Research Center, RAS

Email: shoshinaii@mail.ru
Rússia, St. Petersburg

Bibliografia

Arquivos suplementares