Systematic review of sonification for controlling an object’s position in space

Full Text

Введение

Слуховые интерфейсы определяются как устройства, обеспечивающие обмен информацией между двумя системами (как правило, между человеком и техническим устройством). В них могут входить машинный слух и распознавание речи для управления техническим устройством и слуховые дисплеи, выводящие информацию для оператора (Peres et al., 2008). Эта информация может кодироваться в вербальных и невербальных звуках, и последние представляют собой сонификацию в широком смысле (Hermann, 2008). В узком смысле к сонификации относят постоянно звучащие невербальные звуки, в отличие от звуков-оповещений (предупреждений, сигналов тревоги), которые звучат только при возникновении какого-то события (Walker, Nees, 2011).

Интерес к слуховым интерфейсам и сонификации продиктован возрастающими требованиями к операторам и пользователям сложных компьютеризированных технических устройств, зрительные интерфейсы которых перегружены информацией, а с другой стороны – развитием систем виртуальной и дополненной реальности. Однако дизайн слухового интерфейса, не учитывающий особенностей восприятия и когнитивных способностей оператора, может привести к еще большей перегрузке, что уже начало происходить со слуховыми оповещениями в палатах реанимации и в кабинах пилотов (Baldwin, 2012). Поэтому в данной области продолжается поиск способов передачи информации оператору, которые смогут обеспечивать успешность деятельности с использованием слухового интерфейса.

В качестве наиболее популярных стратегий создания слуховых интерфейсов выделяют параметрическую сонификацию (картирование), интерактивную сонификацию (моделирование) и пространственную (психоакустическую) сонификацию. При параметрической сонификации создается «карта» связей между изначальными данными и свойствами звука – например, амплитудой, частотой или высотой, тембром, темпом и ритмом (Parseihian et al., 2016). Критики данного подхода отмечают его сложность для пользователей, не обладающих музыкальным образованием; возможные затруднения в понимании отношений между звуками и информацией из-за искусственного характера данных связей, что ведет к медленному обучению; возможные искажения в восприятии информации из-за взаимодействий между свойствами звука в целостном слуховом образе (Neuhoff, 2019; Parseihian et al., 2016). В интерактивной сонификации, в отличие от параметрического подхода, данные связываются с виртуальными звучащими объектами, взаимодействие с которыми (выражающееся в метафоре игры на музыкальном инструменте) позволяет получить знания об изначальной системе (Hermann, 2008). Пространственный подход к сонификации пытается решить проблемы параметрической сонификации с помощью создания кажущихся источников звука, локализованных в разных точках пространства (Parseihian et al., 2016). Этот подход может восприниматься более естественно и почти не требовать обучения, однако, при нем наблюдаются систематические ошибки – перепутывания «фронт-тыл» и «верх-низ», особенно при использовании звуков с недостаточной шириной спектра (Разваляева, Носуленко, 2023).

В решении вопроса о наиболее эффективном способе сонификации для создания слуховых интерфейсов может помочь метод систематического обзора. На настоящий момент опубликованы систематические обзоры связей характеристик звука и физических качеств объектов в интерфейсах с параметрической сонификацией (Dubus, Bresin, 2013) и сонификацией в области физиотерапии (Guerra et al., 2020). Майкл Нис и Элиана Либман провели метаанализ эффективности невербальных и речевых оповещений в человеко-машинных интерфейсах (Nees, Liebman, 2023). Таким образом, было принято решение ограничить область текущего обзора исследованиями задач на перемещение объектов в пространстве (при управлении средством передвижения или орудием труда), которая еще не рассматривалась в обзорах, и сфокусировать обзор на стратегиях сонификации в узком смысле – т.е. на изменении параметров звука.

Цель исследования: выявить связи типов слуховых интерфейсов, использующих сонификацию, с характеристиками решения задач на перемещение объекта в пространстве.

Метод

Систематический обзор проводился в соответствии с рекомендациями PRISMA (Page et al., 2021).

Отбор литературы. Поиск литературы осуществлялся в базах EBSCO в ноябре 2023 г. и через поисковые системы по тезисам конференций ICAD (Georgia Tech SMARTech Repository) и IEEE (IEEE Xplore) весной 2024 г. Использовались ключевые слова: sonification, auditory interface, auditory display (в неспециализированных базах EBSCO и IEEE), navigation, positioning (в базе ICAD, специализирующейся на слуховых интерфейсах и сонификации). Поиск русскоязычных источников осуществлялся по базе Elibrary; использовалось ключевое слово «сонификация». Поиск включал т.н. «серую» литературу (тезисы, диссертации), чтобы снизить эффект архивного ящика (искажение в пользу публикации значимых результатов).

Критерии отбора / исключения первоисточников. В обзор включались эмпирические исследования, в которых приводились результаты апробации слуховых интерфейсов, (1) применяющих техники сонификации (2) для задачи управления положением объекта (3) в реальной деятельности (или условиях, моделирующих ее в лаборатории). Исключались исследования: (1) без эмпирических результатов – обзорные работы, планы и отчеты о разработке математических моделей / программного обеспечения; (2) собственной навигации и построения маршрута (навигация слепых, нахождение пути в виртуальных лабиринтах и играх, чтение карт); (3) с простыми вербальными или невербальными оповещениями, акустические характеристики которых не изменялись. Лабораторные исследования должны были содержать указание на способы и приемы, с помощью которых моделировалась реальная деятельность, так как иначе было сложно оценить, насколько сценарий в симуляторе, игре или виртуальной реальности соотносился с характеристиками деятельности в реальных условиях.

Отбор и синтез данных. Из исследований извлекались следующие характеристики.

1. Публикация: первый автор и год издания (и номер исследования, если в первоисточнике несколько описаний исследований), страна, тип публикации и исследования.
2. Выборка: количество испытуемых, их профессиональная принадлежность (стаж или профессиональный уровень, если это было указано), пол и возраст.
3. Слуховой интерфейс: описания звуков, их инвариантные и варьируемые характеристики, данные, которые ставятся им в соответствие.
4. Деятельность: описание задачи, стоящей перед испытуемым, основные результаты, связанные со слуховым интерфейсом.
5. Особенности процедуры: группа сравнения и ее тип, двойная задача, субъективные характеристики деятельности, предварительная тренировка в применении слухового интерфейса.

Предварительный сбор литературы по теме слуховых интерфейсов, сонификации и оповещений в базе EBSCO выявил очень большое разнообразие как в тематике и дизайне интерфейсов, так и в типах проводимых исследований. Таким образом, ожидалась большая неоднородность данных, и их обобщение было запланировано с помощью нарративного синтеза. Проводилась классификация выявленных видов деятельности, данных, подвергающихся сонификации, и слуховых интерфейсов. В исследованиях выделялись общие переменные, группы сравнения и направления эффектов (с точки зрения того, было ли применение слуховых интерфейсов более или менее эффективно по сравнению с другими типами интерфейсов).

Результаты

Результаты отбора литературы и характеристики исследований. Схема отбора литературы представлена на рис. 1. Было отобрано 26 первоисточников (по 13 статей и тезисов докладов), описывавших 25 различных исследований. В трех публикациях (Roodaki et al., 2017; Simpson et al., 2008; Vasilijevic et al., 2018) описывалось несколько исследований, однако они были отвергнуты по критериям отбора литературы, и в обзор вошло по одному исследованию из каждой. Все исследования, кроме одного (Ziemer, Schultheis, 2021), описывающего предварительные результаты испытания системы тренировки пространственных навыков для хирургов (операторов роботизированных и лапароскопических систем), были выполнены в экспериментальной парадигме, имели межгрупповой (k=2, k – количество исследований), внутригрупповой (k=21) или смешанный дизайн (k=1).

Рис. 1. Схема отбора литературы

Качество исследований оценивалось по следующим критериям: полнота описания выборки, полнота описания результатов (проведение статистического анализа и сравнение групп), контроль побочных переменных (проверка слуха респондентов). Результаты анализа качества приведены в Табл. 1.

Демографические показатели испытуемых (пол, возраст, профессия) приводились полностью только в 10 исследованиях. Выборки варьировали от 3 до 72 человек (общее количество испытуемых – 486, M=19,44±13,53). Пол испытуемых описывался в 13 исследованиях: во всех из них выборки состояли более, чем наполовину из мужчин (56-100%). Возраст испытуемых варьировался от 20 до 70 лет; обобщенный средний возраст по 11 исследованиям, где приводился показатель среднего возраста, – 31,47.

Статистический анализ результатов приводился в 18 исследованиях. В 7 исследованиях объем выборки не позволял проводить сравнение групп, не было экспериментального дизайна или приводились только результаты самоотчета респондентов. Их результаты включаются в дальнейшее нарративное обобщение с указанием на то, что они не были подтверждены статистически.

В 14 исследованиях не проводилась предварительная проверка слуха испытуемых, в одном она основывалась на самоотчете, в 7 использовались данные медицинских осмотров или пороговая аудиометрия в лаборатории. Еще в трех исследованиях не было прямых указаний на проверку слуха, но они проводились на профессиональных пилотах, что дает основание предположить наличие предварительного медицинского отбора.

Только 4 исследования соответствовали всем выделенным критериям, двум и одному критерию соответствовали по 8 исследований, и 5 исследований не соответствовали ни одному критерию.

Таблица 1. Характеристики отобранных исследований

Примечание: N – число респондентов, * – экипажи пилотов из двух человек. Возраст указан в формате «средние ± стандартные отклонения [размах]». Профессия: ** – испытуемые не имели опыта в деятельности, с которой был связан слуховой интерфейс. Дизайн: МГ – межгрупповой, ВГ – внутригрупповой, С – смешанный, нет – испытание программы, нет экспериментальной схемы. БПА – беспилотный подводный аппарат. Экологическая валидность: модель МФ – медицинский фантом, модель ДР – дополненная реальность. Прочерк – нет данных. Качество – плюсы указывают на количество критериев, которым соответствовало исследование, 0 – исследование не соответствовало ни одному критерию.

Области деятельности и ее характеристики. Области, для которых разрабатывались слуховые интерфейсы, можно было разделить на 4 группы.

1. Авиация (k=9) – пилотирование самолета, вертолета, управление беспилотным летательным аппаратом (БПЛА). Ставились задачи следования за целью, быстрого обнаружения цели или препятствия, полета по маршруту, маневрирования, выравнивания самолета, детекции отклонений БПЛА от курса.
2. Вождение (k=3). Задачи: управление автомобилем в условиях, моделирующих опасные ситуации (несоблюдение другими водителями правил дорожного движения, велосипедисты и пешеходы на дороге), перестройка в другой ряд по слуховым подсказкам.
3. Управление беспилотным под- или надводным судном (БС, k=3). Ставилась задача следования за целью.
4. Медицина (k=10) – хирургия с использованием изображений и/или компьютерного ассистента (в том числе нейрохирургия, лапароскопическая хирургия, микрохирургия глаза), системы помощи в размещении катетеров и проведении транскраниальной магнитной стимуляции (ТМС). Задачи: вести хирургический инструмент или его имитацию по определенному маршруту, ввести иглу под определенным углом, разместить катушку ТМС на виртуальной голове, провести спинальную фузию на модели позвоночника.

Условия, в которых проводились исследования, классифицировались по их экологической валидности, и были выделены следующие группы:

1) максимально приближенные к реальным условия (k=4) – 3 исследования в области авиации и 1, связанное с управлением БС;

2) модели, позволяющие имитировать физические действия, близкие к тем, что совершаются в реальной деятельности, например, медицинские фантомы – искусственные органы для обучения хирургическим приемам, модели в дополненной реальности (k=9). Все эти исследования относились к области медицины и ставили перед испытуемыми задачу управлять медицинскими приборами в физической реальности;

3) симуляторы (k=11) – 6 в области авиации, 3 – вождение, 2 – управление БС;

4) приложение, обучающее профессионально-специфичным навыкам (k=1) – исследование относилось к области медицины.

Примерно половина исследований, вошедших в данный систематический обзор, была выполнена на профессиональных выборках или на лицах с опытом соответствующей деятельности (k=14). В двух исследованиях набирались смешанные выборки студентов и профессионалов, у части которых был опыт работы в соответствующей предметной области. Четыре исследования включали лиц без опыта деятельности. В остальных – информации о профессиональном составе выборки не было.

Типы слуховых интерфейсов. Было выделено 40 слуховых интерфейсов, один из которых представлял собой простые речевые сообщения о направлении движения, поэтому он не учитывался в последующем анализе. Слуховые интерфейсы включали статические звуки-оповещения и звуки с динамически изменяющимися параметрами, которые связывались с данными в парадигме параметрической или пространственной сонификации.

Оповещения использовались в 10 слуховых интерфейсах (k=8 – Black et al., 2017; Bork et al., 2015; Donmez et al., 2009; Hansen et al., 2013; Larsson et al., 2023; Matinfar et al., 2023; Roodaki et al., 2017; Sun et al., 2017) для сообщения о каком-то дискретном состоянии или событии – пересечении границы зоны, отклонении от курса или опоздании, стадии решаемой задачи, типе препятствия. Для оповещений чаще всего использовались короткие простые синтезированные звуки – гудки, стук метронома (k=5), но встречались также синтезированные музыкальные звуки (k=3), звуки, имитирующие реальные объекты (k=1), звуки на основе полевых записей (k=1) и речевые сообщения (k=1).

Параметрическая сонификация использовалась в 22 слуховых интерфейсах (k=15 – Black et al., 2017; Brungart et al., 2007; Donmez et al., 2009; Hansen et al., 2013; Houtenbos et al., 2017; Larsson et al., 2023; Matinfar et al., 2023; Plazak et al., 2017, 2019; Roodaki et al., 2017; Schütz et al., 2023; Simpson et al., 2008 и Brungart, Simpson, 2008; Towers et al., 2014; Valery et al., 2017; Ziemer, Schultheis, 2021; Ziemer, 2023) для передачи информации об управляемом объекте, а также о его цели или препятствиях на его пути. Чаще всего передавалась информация о положении в пространстве (расстояние, положение на разных осях в двух- и трехмерной системе координат) и угле наклона. Использовались простые синтезированные звуки (k=9), шумы – белый и розовый (k=3), сложные гармонические синтезированные звуки – ноты, подражание звукам инструментов и материалов (k=3), полевые записи (k=1), музыкальные записи (k=1), речь (k=1). Чаще всего изменялась высота звука (k=11) и его пульсация / темп (k=6).

Пространственная сонификация применялась в 20 слуховых интерфейсах (k=15 – Begault et al., 1996; Begault, 1993; Black et al., 2017; Bronkhorst et al., 1996; Brungart et al., 2007; Houtenbos et al., 2017; Larsson et al., 2023; Shilling et al., 2000; Simpson et al., 2008 и Brungart, Simpson, 2008; Sun et al., 2017; Towers et al., 2014; Valery et al., 2017; Vasilijevic et al., 2013, 2014, 2018). Чаще всего кодировалась информация о положении цели или препятствия, хотя в трех исследованиях пространственная сонификация задавала характеристики пространственного положения управляемого объекта. В одном исследовании не приводились характеристики звуков, использованных для сонификации; в остальных использовались простые синтезированные звуки (k=5), сложные синтезированные звуки и полевые записи (k=3), розовый шум (k=3), речь (k=3). В одном исследовании не уточнялся прием, с помощью которого достигалась пространственная сонификация; в 8 исследованиях применялись неиндивидуализированные передаточные функции головы (HRTF), в одном – индивидуальные, в пяти – панорамирование. В 4 исследованиях моделировался «сверхнормальный» слух, искажающий «реальный» звуковой образ, но позволяющий лучше воспринимать положение объекта в определенной плоскости (в ущерб другим). Также в 5 исследованиях отслеживалось положение головы респондента, а в одном – положение самолета, которым он управлял.

Большая часть слуховых интерфейсов была создана с помощью одного приема: 13 – с помощью параметрической сонификации, 9 – пространственной и 3 – оповещений. В случаях, когда применялись разные стратегии сонификации, авторы чаще всего использовали параметрическую и пространственную сонификацию (7 интерфейсов), оповещения в сочетании с параметрической или пространственной сонификацией использовались реже в шести интерфейсах. Был найден только один интерфейс, в котором применялись все выделенные стратегии сонификации.

Обобщение результатов. Характеристики деятельности, выделявшиеся в исследованиях, варьировали в зависимости от типа деятельности и задачи, которая ставилась перед испытуемыми, поэтому в целях обобщения они были разбиты на три группы – поведенческие, психофизиологические и субъективные показатели. Всего было выделено 249 результатов (статистически значимых и незначимых межгрупповых различий, и результатов качественного анализа данных).

Поведенческие показатели были представлены в 23 исследованиях и составили 150 записей. Общие для разных исследований показатели: точность нахождения положения в пространстве, количество правильно обнаруженных целей, угловая точность, время выполнения задания / время реакции, обучаемость, относительное время взгляда для визуальной ориентировки (на визуальный интерфейс или ориентиры), точность выполнения второго задания, скорость автомобиля. Были также частные показатели, характерные для отдельных исследований и необобщавшиеся – индекс усилий (количество действий) при управлении БС, характеристики дорожной ситуации.

Обобщение различий между слуховым, визуальным и комбинированным интерфейсами по поведенческим показателям представлено в Табл. 2. Применение слуховых интерфейсов давало испытуемым преимущество по сравнению с ситуациями полного отсутствия интерфейса в 12 случаях и приводило к отрицательному результату (замедлению деятельности) в одном случае. Сравнение слуховых интерфейсов с визуальными показало более противоречивую картину: в пользу их большей эффективности – 7 значимых эффектов, против – 4 эффекта, однако 9 результатов не показали различий между данными интерфейсами. Комбинации слуховых и визуальных интерфейсов были преимущественно эффективнее визуальных (16 результатов против 9, в которых визуальные интерфейсы были связаны с такой же или большей эффективностью), но чаще всего не отличались от слуховых (8 результатов против 5, в которых у комбинированного интерфейса было преимущество).

Очень большое разнообразие типов слуховых интерфейсов затрудняет анализ их связей с эффективностью деятельности, но частотный анализ показал, что сочетание параметрической и пространственной сонификации имело преимущество по наибольшему количеству показателей деятельности (4 показателя), а на втором месте – оповещения (3). Остальные типы сонификации не были связаны с выраженным подъемом в эффективности, например, пространственная, параметрическая сонификация отдельно и в сочетании с оповещениями приводили к улучшению результатов по одним параметрам и ухудшению (или отсутствию различий) по другим. Наиболее сложный тип слухового интерфейса, содержавший все три стратегии сонификации, не был связан с улучшением деятельности ни по одному параметру.

Таблица 2. Обобщение поведенческих показателей деятельности, выполняемой с помощью слуховых интерфейсов

Примечание: С – слуховой интерфейс, В – визуальный, К – комбинация слухового и визуального, БД – нет интерфейса или дисплея, О – оповещения, Пар – параметрическая сонификация, Простр – пространственная. Различия: «+» – группа более эффективна по показателю, чем группа сравнения, «-» – группа менее эффективна, «=» – нет значимых различий, «*» – в исследовании приводились только описательные статистики, нет возможности сделать вывод о значимости различий. N – общее количество сстатистических эффектов по всем исследованиям.

Связи поведенческих показателей с разными типами сонификации не могли быть обобщены в табличной форме из-за большой вариативности сравнивавшихся слуховых интерфейсов. Было выявлено, что пространственная точность выполнения задания повышается при использовании трекинга положения самолета (по сравнению с отслеживанием положения головы пилота – Brungart et al., 2007), «сверхнормальных» слуховых подсказок в пространственной сонификации (Vasilijevic et al., 2018) и линейных переходов синусоиды в шум в параметрической сонификации (Plazak et al., 2017). При сочетании параметрической и пространственной сонификации для передачи информации о положении самолета в двух плоскостях пилоты легче ориентировались с помощью пространственно-параметрической, чем параметрической сонификации (Valery et al., 2017). Время выполнения задания было ниже в условиях применения пространственной сонификации оповещений (по сравнению с непространственными вербальными оповещениями (Begault, 1993)) и параметрической сонификации (по сравнению с музыкальными оповещениями (Donmez et al., 2009)).

Обучаемость измерялась в двух исследованиях. Она была лучше при использовании простых синтезированных звуков, изменяющихся по высоте, по сравнению со сложными звуками, изменявшимися по громкости, однако этот результат не проверялся статистически (Schütz et al., 2023). Значимые улучшения в результатах при использовании слухового интерфейса зависели от профессионального опыта и выявлялись только у хирургов-экспертов, хотя хирурги-ассистенты могли обучаться с помощью визуальных интерфейсов (Matinfar et al., 2023).

Когнитивная нагрузка (управление сразу несколькими объектами) значимо ухудшала выполнение задания при применении постоянной параметрической сонификации по сравнению с оповещениями, что могло быть связано с необходимостью следить сразу на несколькими трудноразличимыми звуками (Donmez et al., 2009). Точность выполнения двойной задачи (слежения за объектами за бортом самолета) была выше при применении пространственного слухового интерфейса по сравнению с ориентировкой по приборам (Towers et al.,, 2014). При введении высокой когнитивной нагрузки визуальный дисплей приводил к большему (не проверенный статистически результат) количеству ошибок по сравнению с пространственным слуховым интерфейсом (Vasilijevic et al., 2013).

Психофизиологические показатели деятельности приводились в двух статьях и включали характеристики альфа-ритма и вызванных потенциалов. Однако только в одной статье данные показатели связывались со слуховым интерфейсом (Plazak et al., 2017 выявил более сильную активацию альфа-ритма в условии слухового интерфейса), что не дает возможности их обобщить.

Субъективные характеристики деятельности (самоотчет). В 13 исследованиях были представлены данные самоотчета испытуемых об опыте использования слуховых интерфейсов, полученных с помощью опросников, анкет и интервью (54 результата). Общие переменные – самооценка когнитивной нагрузки и оценка усилий, требующихся для выполнения задания. Их связи со слуховыми интерфейсами представлены в Табл. 3.

Слуховые и комбинированные интерфейсы оценивались как требующие меньше усилий, чем ситуации без интерфейсов (по одному случаю). Однако при сопоставлении с визуальными, слуховые интерфейсы не отличались (4 результата) или уступали (2 результата) им – испытуемые оценивали их как вызывающие такую же или большую когнитивную нагрузку. Комбинированные интерфейсы чаще всего не отличались от визуальных (5 результатов против 3, где комбинированные оценивались как более простые). Слуховые интерфейсы ни в одном случае не были проще в использовании, чем комбинированные (в 3 результатах – сложнее, в 3 – одинаково).

Оценка слухового интерфейса как более легкого была связана с пространственной, параметрической сонификацией и их сочетанием. Сочетание сразу трех типов сонификации оценивалось как сложное, оценка улучшалась только при введении визуального компонента (т.е., комбинированный интерфейс был легче слухового).

Таблица 3. Обобщение субъективных показателей деятельности, выполняемой с помощью слуховых интерфейсов

Примечание: С – слуховой интерфейс, В – визуальный, К – комбинация слухового и визуального, БД – интерфейса нет или дисплея, О – оповещения, Пар – параметрическая сонификация, Простр – пространственная. Различия: «+» – группа более эффективна по показателю, чем группа сравнения, «-» – группа менее эффективна, «=» – нет значимых различий. N – общее количество статистических эффектов.

В целом, респонденты оценивали слуховые интерфейсы как значимо более комфортные и удобные (Begault et al., 1996), приятные и желанные, полезные, эффективные, помогающие, обращающие на себя внимание (Houtenbos et al., 2017), позволяющие создать ощущение присутствия в симуляции и повысить осведомленность о ситуации (Larsson et al., 2023). В результатах дебрифинга и интервью после исследований респонденты упоминали удобство и пользу слуховых интерфейсов (Donmez et al., 2009; Hansen et al., 2013); звук помогал принимать решения (Larsson et al., 2023). При этом упоминались и негативные стороны слуховых интерфейсов – сложности в различении звуков от шума или друг от друга (Donmez et al., 2009; Larsson et al., 2023), утомление от звука и раздражение (Donmez et al., 2009; Shilling et al., 2000), недоверие к звуку из-за невидных глазу источников звука (Larsson et al., 2023).

Обсуждение результатов

Сравнение с результатами других систематических обзоров. Сравнение результатов данного систематического обзора с другими, проведенными в области слуховых интерфейсов, затруднено из-за больших отличий в типах интерфейсов и задачах, для решения которых они использовались. Тем не менее, можно выделить некоторые общие результаты. Так, в метаанализе эффективности различных типов оповещений были выделены схожие характеристики деятельности – точность, время реакции, выполнение двойной задачи, воспринимаемая когнитивная нагрузка и субъективные оценки интерфейса (Nees, Liebman, 2023). Однако данные авторы сравнивали не только невербальные звуки, но и речь (и показали ее связь с точностью решения задач), в то время как мы не выделяли речь как отдельный тип слуховых интерфейсов. В данном обзоре речевые оповещения были представлены в составе сложных слуховых интерфейсов только в 3 исследованиях.

В систематическом обзоре характеристик звука в связи с физическими свойствами объектов, для которых создавалась сонификация, было показано, что пространственные свойства звука значимо чаще, чем другие свойства, использовались для представления информации о кинематике – движении, ускорении, скорости, ориентации, положении объекта в пространстве. Громкость же была связана с кинетикой – энергией, силой, давлением, температурой (Dubus, Bresin, 2013). В данном обзоре была принята несколько другая классификация способов сонификации, и хотя пространственная сонификация была очень распространена, она несколько уступала параметрической по частоте использования в слуховых интерфейсах.

Обзоры сонификации в области физиотерапии и научения моторным навыкам в целом подтверждают эффективность сонификации при обучении движениям или восстановлении после травм по сравнению с обычной терапией без звука (Guerra et al., 2020). Однако эффективность сложных интерфейсов с визуальной и слуховой обратной связью вызывает большие противоречия: с одной стороны, они могут приводить к значимым снижениям точности деятельности в условиях многозадачности и повышенной когнитивной нагрузки (например, при управлении автомобилем или самолетом), с другой – улучшать репрезентации пространственных отношений (Sigrist et al., 2013). В данном обзоре не удалось отобрать достаточно исследований с двойной задачей, и их результаты были неоднозначны: вероятно, когнитивная нагрузка сильнее нарушает выполнение задачи, когда звуки сложно отличить друг от друга. В целом же и слуховые, и комбинированные интерфейсы показали связи с эффективностью деятельности и положительно оценивались респондентами. Сочетание пространственной и параметрической сонификации было эффективно в обоих аспектах (с точки зрения поведенческих критериев оценки деятельности и субъективных оценок).

Проблемы в области сонификации. Более 10 лет назад Дюбус и Брезин (на основе анализа 179 первоисточников) отметили, что только очень малая их часть описывала экспериментальную проверку разработанных слуховых интерфейсов (Dubus, Bresin, 2013). Эта проблема была отмечена и при отборе литературы для данного обзора, когда 17% статей, подходивших по тематике, были исключены из-за отсутствия эмпирических данных. Даже в 28% вошедших в обзор исследований не проводился анализ статистической значимости полученных связей или различий. Также в области в целом проводится мало исследований профессионально-специфичной деятельности на выборках специалистов, большую часть выборок составляют студенты (Nees, Liebman, 2023). Требуется дальнейшая работа по сравнению разных типов сонификации друг с другом и выявлению кросс-модальных соответствий для создания успешных комплексных аудио-визуальных интерфейсов (Sigrist et al., 2013). Также данный обзор может быть расширен исследованиями в области восприятия графической информации (форм, схем, графиков) в звуковой форме и ориентировке в виртуальной реальности с помощью звука.

Выводы

1. Слуховые интерфейсы и комбинированные слуховые и визуальные интерфейсы связаны со значимым улучшением эффективности решения задач на перемещение объекта в пространстве.
2. Дополнительными переменными, опосредующими данные связи, могут выступать профессиональный опыт оператора и когнитивная нагрузка.
3. Слуховые и комбинированные интерфейсы оцениваются как облегчающие задание в отсутствие других интерфейсов, но не имеют преимущества перед визуальными интерфейсами.
4. Интерфейсы, сочетающие пространственную и параметрическую сонификации, чаще вели к успешному выполнению задачи и оценивались как более легкие.
5. Интерфейс, сочетающий пространственную, параметрическую сонификации и оповещения, чаще оценивался как сложный и не был связан с улучшением деятельности.

About the authors

Anna Yu. Razvaliaeva

Author for correspondence.
Email: annraz@rambler.ru
ORCID iD: 0000-0002-2046-3411

PhD (Psychology), Researcher, Laboratory of Cognitive Processes and Mathematical Psychology

References

Supplementary files

Supplementary Files

Action

1. JATS XML

Download

2. Рис. 1. Схема отбора литературы

Download (284KB)

Indexing metadata