Речь взрослых в разных эмоциональных состояниях: временные и спектральные характеристики

Texto integral

ВВЕДЕНИЕ

Одним из важных факторов, определяющих эффективность общения между людьми, является способность точно определять эмоции по речи [1]. Распознавание эмоций играет важную роль при взаимодействии человека и компьютера – во многих приложениях эмоции пользователя распознаются только по голосовой модальности на основании паралингвистической информации [2].

Разрабатываются интеллектуальные системы комплексного паралингвистического анализа речи взрослых [3]. В настоящее время идет работа по созданию базы данных эмоциональной речи, и строятся модели для распознавания эмоциональных состояний русскоязычных детей по речи [4, 5].

В классических работах, посвященных изучению проявления эмоций в речи, представлены разные модели эмоциональных состояний: имитация эмоций профессиональными актерами, певцами, воспроизведение эмоций в речи под гипнозом, эмоциональные состояния в условиях психиатрической клиники, естественное эмоциональное состояние человека в экстремальных ситуациях [6–12].

Показано, что изменение эмоционального состояния отражается в акустико-фонетических параметрах речевого сигнала. Характеристиками речевого сигнала, позволяющими определить эмоциональное состояние говорящего, являются громкость, изменение частоты основного тона (ЧОТ), величина “изрезанности” мелодического контура, изменение темпа речи [7].

При изучении певческой речи выявлено, что каждая из эмоций – радость, горе, гнев, страх – выражается изменением совокупности свойств звука: силы, высоты, тембра, темпо-ритмических характеристик [11]. Например, горе характеризуется наибольшей длительностью слога, медленным нарастанием и спадом силы звука. Гнев – резкими переходами, обрывками звука, большой силой голоса, зловещим звенящим или шипящим тембром. Для страха отличительными оказались резкие перепады силы голоса, сильное нарушение ритма мелодии, резкое увеличение пауз [11]. При этом для каждого исполнителя отмечают индивидуальную специфику комбинации голосовых средств для выражения эмоций.

Ключевыми акустическими характеристиками речи для определения эмоционального состояния говорящего является изменение во времени ЧОТ и интенсивности [9]. Так, при сильном эмоциональном возбуждении изменение ЧОТ может составлять до двух октав. Показано, что для некоторых эмоций характерны значительные изменения спектральных характеристик речевого сигнала: изменение диапазона ЧОТ резкое или более плавное, изменение формантных частот ударных гласных и их интенсивности [13].

Существует другой подход к оценке работы голосового источника, который предполагает создание математических моделей, позволяющих связать параметры голосового источника с фазово-частотными характеристиками сегментов речевого сигнала, что может быть использовано для идентификации диктора по голосу [14, 15].

В настоящее время создание моделей распознавания эмоций в речи человека является одной из наиболее развивающихся областей компьютерной паралингвистики [16, 17]. Исследователи в области автоматического распознавания речи осуществляют поиск набора признаков для гарантированного распознавания эмоций в речи [18]. Экспертные наборы признаков, основанные на знаниях об акустических свойствах речевых сигналов – просодических, спектральных, энергетических, вокализованных, – используются в качестве основы для решения разных задач компьютерной паралингвистики, в том числе распознавания эмоций [19].

Таким образом, современные работы посвящены автоматическому распознаванию эмоций в речи [18, 20–22], однако исследования характеристик взрослой эмоциональной речи с учетом индивидуальных особенностей демонстрации эмоционального состояния говорящим, которые могли бы служить в качестве контроля для сравнения с характеристиками эмоциональной детской речи, практически отсутствуют.

Данное исследование проводится в рамках работ, направленных на определение временных и спектральных характеристик эмоциональной речи на материале русского языка [5, 23–24] и является частью проекта, посвященного разработке комплексного методического подхода к оценке эмоциональной сферы детей [25].

Цель работы – определить временные и спектральные характеристики речи взрослых в разных эмоциональных состояниях.

МЕТОДИКА

Участниками исследования стали 12 взрослых носителей русского языка (6 мужчин и 6 женщин, возраст 25.3 ± 4.5 и 24.5 ± 4.8 лет соответственно), не имевших нарушений слуха и речи. Дикторы получили инструкцию произносить фразу Л. В. Щербы “Гло́кая ку́здра ште́ко будлану́ла бо́кра и курдя́чит бокрёнка”, демонстрируя разные эмоциональные состояния: радость, гнев, печаль, страх, нейтральное состояние. Проводили аудиозапись речи информантов с использованием магнитофона “Marantz PMD660” с выносным микрофоном “SENNHEIZER e835S”. Микрофон устанавливали на расстоянии 30–50 см от лица диктора. Аудиофайлы сохраняли в формате wav, 48 000 Гц, 16 бит. Параллельно с аудиозаписью регистрировали частоту сердечных сокращений, которая отражала степень возбуждения диктора.

Для оценки точности выполнения диктором поставленной перед ним задачи проводили перцептивный эксперимент. С этой целью созданы 2 аудиотеста: один включал фразы, произнесенные мужчинами, второй – женщинами. Каждый тест включал по 30 фраз, произнесенных информантами в разных эмоциональных состояниях. Фразы дикторов были замешаны в случайном порядке. Длительность каждого теста составила 6 мин. Тесты предъявляли двум группам аудиторов. Первая группа – специалисты с опытом работы в области речевых исследований – эксперты, 8 человек (4 мужчины, 4 женщины, средний возраст, 35.5 ± 11 лет). Вторая группа прослушивающих тесты без опыта работы в области речевых исследований – 50 студентов 1 курса, обучающихся по специальности “Педиатрия” – аудиторы (11 мужчин, 39 женщин, средний возраст 18.9 ± 2.4 лет). Для всех дикторов и экспертов проводили проверку слуха методом тональной аудиометрии в условиях лаборатории в звукоизолированной камере с использованием аудиометра АА-02. Пороги слуха в пределах возрастной нормы – не превышают 25 дБ. Эксперты получали задания определить эмоциональное состояние диктора и степень выраженности эмоции (описать в баллах от 1 до 3 – нет, слабо выражена, сильно выражена) при прослушивании каждой фразы, аудиторы – определить эмоциональное состояние диктора.

По результатам эксперимента строили матрицы спутывания [16], позволяющие оценить вероятность правильного распознавания и ошибки, которые допускают аудиторы при определении эмоционального состояния информантов. Матрица спутывания представляет собой таблицу, строки которой соответствуют заданным (прогнозируемым) классам, столбцы – фактическим значениям (реальным классам). Вычисляли: полноту (recall) – долю найденных образцов, принадлежащих к классу, относительно всех образцов этого класса в тестовой выборке; точность (precision) – долю образцов, действительно принадлежащих данному классу, относительно всех образцов, которые отнесли к данному классу; UAR (Unweighted Average Recall) –усредненную полноту для всех эмоциональных состояний, указывающую на среднюю вероятность распознавания.

Анализ временных и спектральных характеристик речи проводили в звуковом редакторе Cool Edit Pro. Для каждого высказывания определяли среднее значение ЧОТ (F_0ср), максимальное (F_0max) и минимальное значение ЧОТ (F_0min), диапазон частоты основного тона (разность между максимальным и минимальным значением ЧОТ, F_{0max –} F_0min), длительность всего высказывания, длительность пауз между словами. Статистическую обработку данных проводили в программе “Statistica 10.0” с использованием непараметрического критерия Манна–Уитни. Исследование одобрено Этическим комитетом СПбГУ, протокол № 115-02-2 от 06.04.2022.

РЕЗУЛЬТАТЫ

Анализ результатов перцептивного эксперимента показал, что эксперты и аудиторы без опыта работы в области речевых исследований достоверно распознают эмоциональные состояния, демонстрируемые в речи дикторами-мужчинами и дикторами-женщинами (значения полноты для всех эмоциональных состояний 0.58–0.75). Аудиторы обеих групп распознают состояния “радость”, “печаль” и “гнев” с большей вероятностью, чем состояния “страх” и “нейтральное” (табл. 1, 2). Эксперты распознают состояния “печаль” и “страх” лучше, чем аудиторы без опыта. Аудиторы без опыта распознают состояния “радость”, “нейтральное” и “печаль” лучше, чем состояния “страх” и “гнев”.

Таблица 1. Распознавание экспертами эмоциональных состояний, демонстрируемых дикторами-мужчинами (% ответов)

Таблица 2. Распознавание аудиторами эмоциональных состояний, демонстрируемых дикторами-мужчинами (% ответов)

Эмоциональные состояния, демонстрируемые дикторами-женщинами, эксперты и аудиторы без опыта (табл. 3, 4) распознают с более высокой вероятностью, чем эмоциональные состояния, демонстрируемые мужчинами (UAR – 0.75 и 0.69 соответственно). Эксперты с высокой вероятностью распознают все состояния. Аудиторы без опыта лучше распознают состояния “радость”, “нейтральное”, “печаль” и “гнев”, с меньшей вероятностью состояние “страх”.

Таблица 3. Распознавание экспертами эмоциональных состояний, демонстрируемых дикторами-мужчинами (% ответов)

Таблица 4. Распознавание аудиторами эмоциональных состояний, демонстрируемых дикторами-женщинами (% ответов)

Результаты перцептивного эксперимента показали, что дикторы, несмотря на отсутствие актерского опыта, выполнили поставленную перед ними задачу.

На основании инструментального спектрографического анализа выявлены различия по значениям разности диапазона ЧОТ, длительности высказываний дикторов при демонстрации разных эмоциональных состояний.

Максимальный диапазон значений ЧОТ в мужской речи выявлен в высказываниях, произнесенных в нейтральном состоянии и состоянии радости (p < 0.05), минимальный – в состоянии печали (табл. 5). В речи женщин максимальные значения диапазона ЧОТ выявлены в состоянии радости и в состоянии гнева (p < 0.05), наименьшие – в состоянии печали и в нейтральном состоянии (табл. 6). Диапазон значений ЧОТ в разных эмоциональных состояниях в женской речи больше, по сравнению с мужской (p < 0.05). Не выявлено значимых различий по средним значениям ЧОТ в высказываниях, произнесенных мужчинами и женщинами в разных эмоциональных состояниях.

Таблица 5. Временные и спектральные характеристики речи мужчин в разных эмоциональных состояниях

Примечание: в таблице представлены средние значения и стандартные отклонения каждого параметра, * – p < 0.05 – критерий Манна–Уитни.

Таблица 6. Временные и спектральные характеристики речи женщин в разных эмоциональных состояниях

Примечание: в таблице представлены средние значения и стандартные отклонения каждого параметра, * – p < 0.05 – критерий Манна–Уитни.

По длительности высказываний в разных эмоциональных состояниях значимых различий не выявлено.

В речи мужчин паузы отсутствовали в состоянии радости и нейтральном, паузы присутствовали в высказываниях в состоянии страха, печали и гнева, максимальные значения длительности пауз между словами в состоянии страха. У женщин паузы в высказываниях присутствовали в состоянии печали, радости и нейтральном, максимальные значения длительности пауз зарегистрированы в состоянии печали.

В табл. 7 на основе данных перцептивного эксперимента и инструментального спектрографического анализа представлены индивидуальные различия в группах дикторов. Показано, что при высокой точности распознавания эмоциональных состояний, демонстрируемых дикторами, за исключением диктора № 4, наблюдаются различия в стратегиях проявления эмоционального состояния. Стратегия 1 – изменение значений диапазона ЧОТ в разных эмоциональных состояниях, стратегия 2 – изменение временных характеристик высказывания, стратегия 3 – изменение значений диапазона ЧОТ и временных характеристик высказывания. Для дикторов-мужчин № 1, 3, 5 характерна стратегия 2, для дикторов-мужчин № 2 и № 6 – стратегия 3. У трех дикторов-женщин (№ 8, 10, 12) выявлена стратегия 1, у двух – стратегия 3 и только у 1 диктора-женщины – стратегия 2 (№ 9).

Таблица 7. Индивидуальные различия в группах дикторов

¹ – Согласно балльной оценке аудиторов, представлены средние значения и стандартные отклонения.

Представлены значения разности между максимальным и минимальным ЧОТ диктора-женщины № 12, в речи которой эмоции были выражены наиболее ярко (рис. 1). Минимальное значение диапазона ЧОТ характерно для нейтрального состояния – 48 Гц, максимальное для состояния радости – 279 Гц, в состоянии агрессии и страха не выявлено различий по значениям диапазона ЧОТ – 188 Гц, печаль 140 Гц.

Рис. 1. Значения диапазона ЧОТ в речи диктора-женщины № 12 в разных эмоциональных состояниях.

У другого участника исследования (диктора № 1) различий по значениям диапазона ЧОТ не выявлено. При этом высказывания в разных эмоциональных состояниях различались по временным характеристикам: по длительности высказывания, по длительности пауз внутри высказывания (рис. 2). Наибольшая длительность высказывания была характерна для состояния печали – 6569 мс. Выявлены большие паузы между словами. Наиболее коротким было высказывание в состоянии страха – 4785 мс, при этом пауз между словами не выявлено. Высказывание в состоянии гнева было незначительно короче, чем в состоянии радости, но длительность пауз в состоянии гнева была больше.

Рис. 2. (а) – Значения длительности высказывания и (б) – пауз внутри высказывания в речи диктора № 1 в разных эмоциональных состояниях.

Еще одна стратегия проявления эмоционального состояния в речи – высказывания, произнесенные диктором № 11 в разных эмоциональных состояниях, различаются по совокупности спектральных и временных характеристик (рис. 3).

Рис. 3. (а) – Значения диапазона ЧОТ, (б) – длительности высказывания и (в) – пауз внутри высказывания диктора-женщины № 11 в разных эмоциональных состояниях.

Максимальные значения диапазона ЧОТ, зарегистрированные в высказываниях диктора № 11 в состоянии гнева и радости (140 Гц), превышают значения диапазона ЧОТ в нейтральном состоянии и в состоянии печали. Минимальное значение диапазона ЧОТ зарегистрировано в состоянии страха. В состоянии гнева общая длительность высказывания больше, чем в состоянии радости. При этом диктор в состоянии гнева делает паузы между словами (574 мс), в состоянии радости паузы между словами отсутствуют. В нейтральном состоянии и в состоянии печали диапазон ЧОТ одинаков. Длительность высказывания в нейтральном состоянии больше за счет более длительных пауз, по сравнению с состоянием печали, в котором в высказывании длительность гласных в конце слова больше, чем в высказывании в нейтральном состоянии.

ОБСУЖДЕНИЕ

В работе представлены данные о временных и спектральных характеристиках высказываний взрослых, произнесенных в разных эмоциональных состояниях. В качестве дикторов выбраны взрослые – носители русского языка, не имеющие профессионального актерского опыта, т. е. участники исследования воспроизводили эмоции согласно своему личному опыту. Такой подход позволил получить записи с учетом индивидуальных особенностей речи информантов. Соответствие продемонстрированных дикторами эмоциональных состояний заданным условиям эксперимента подтверждено результатами перцептивного анализа. С одной стороны, показано, что каждая эмоция характеризуется совокупностью отличительных акустических признаков голоса [11], с другой стороны, установлена большая вариативность и индивидуальные особенности в проявлении эмоций разными дикторами [12]. В настоящей работе инструментальный анализ высказываний позволил выявить следующие общие закономерности в изменении акустических характеристик речи говорящего в разных эмоциональных состояниях: максимальный диапазон ЧОТ в состоянии радости, минимальный – в состоянии печали.

Выявлены индивидуальные особенности эмоциональной речи участников исследования и разные стратегии проявления эмоциональных состояний в голосе и речи информантов. Первая стратегия основана на преимущественном изменении ЧОТ в высказывании, вторая на изменении длительности высказывания и пауз внутри высказывания, третья предполагает одновременное изменение ЧОТ и временных характеристик высказывания.

Показано, что радость может проявляться значительным повышением значений диапазона ЧОТ по сравнению с ЧОТ высказываний, произнесенных в других эмоциональных состояниях, в том числе состоянии гнева. В случае, если значения диапазона ЧОТ в высказываниях информанта практически не изменялись, то длительность высказываний в состоянии радости и гнева была больше, чем в нейтральном состоянии, но при этом в состоянии радости паузы внутри высказывания были короче, чем в состоянии гнева.

ЗАКЛЮЧЕНИЕ

В ходе исследования с использованием инструментального анализа речи взрослых носителей русского языка показано, что высказывания, произносимые мужчинами и женщинами в разных эмоциональных состояниях, могут различаться как по спектральным, так и временным характеристикам. В качестве общих закономерностей можно отметить максимальные значения диапазона ЧОТ в состоянии радости по сравнению с другими состояниями и максимальные значения длительности высказываний в состоянии печали. Выявлены индивидуальные особенности, характерные для разных информантов, которые заключаются в разных стратегиях проявления эмоционального состояния в речи.

Работа выполнена при финансовой поддержке Российского Научного Фонда (проект № 22-45-02007).

Sobre autores

А. Куражова

Autor responsável pela correspondência
Email: avk_spb@bk.ru
Rússia, Университетская наб. 7/9, Санкт-Петербург, 199034; Литовская 2, Санкт-Петербург, 194100

Bibliografia

Arquivos suplementares

Arquivos suplementares

Ação

1. JATS XML

Baixar

2. Fig. 1. CHOT range values in the speech of female speaker No. 12 in different emotional states.

Baixar (11KB)

Metadados

3. Fig. 2. (a) - Values of utterance duration and (b) - pauses within an utterance in the speech of speaker #1 in different emotional states.

Baixar (24KB)

Metadados

4. Fig. 3. (a) - Values of HRV range, (b) - utterance duration and (c) - pauses within the utterance of female speaker #11 in different emotional states.

Baixar (29KB)

Metadados