Experimental study of sounding speech parameters to determine the emotional state of the speaker

Capa

Citar

Texto integral

Resumo

In the centre of consideration are speech parameters that allow determining the emotional state of the speaker, which determines the study of the parameters of sounding speech. The nature of changes in the features of sounding speech at the segmental and suprasegmental levels depending on the speaker's state is revealed. Besides, the article presents the data of the experimental research conducted to determine the degree of influence of mimic and gesticulation on the perception of speaker's emotionality. The data of the experimental research conducted to determine the state of speaker's mental activity and the impact of speech behavior on the listener's perception, as well as the data of the analysis of the correlation between the speaker's mental activity and the degree of expression of emotions in his speech are presented.

Texto integral

Введение

Соотношение языка и речи имеет свои истоки в учениях Ф. де Соссюра. В лингвистике оно до сих пор не потеряло актуальность, и мы упоминаем его в связи с тем, что обращение к исследованию звучащей речи привносит новые аспекты в эту традиционную тему.

В данной работе мы исследуем звучащую речь. Термин «звучащая речь» был введен в науку Л.В. Щербой [Щерба 2004: 427]. Звучащая речь – это не синоним устной речи. Под звучащей речью понимается речь во всех ее проявлениях, то есть любая речь, которая звучит, в отличие от понятия «устная речь». К области звучащей речи относится и деловая, и официальная, и литературная, и простонародная речь, записанная на носитель, что позволяет проведение анализа ее параметров и создает проблему поиска механизма исследования [Величкова 2010: 136].

Важно понимать, что речь прочитанная и речь спонтанная имеют совершенно разную природу.

В процессе изучения спонтанной речи мы сталкиваемся с рядом проблем. Они возникают на фоне того, что данные лингвистики основаны на изучении письменного текста, где функции и параметры звучащей речи являются последней ступенью анализа. С развитием науки фонетики (20 в.) ученые стали интересоваться не только прочитанной звучащей речью, но и речью отдельного человека. Оказалось, что для ее исследования необходимо пересмотреть инструменты и методы исследования. В настоящее время методика исследования звучащей речи только развивается. Дело в том, что при исследовании звучащей речи мы не можем ориентироваться только на структуру предложений, слова или лексемы, потому что «средства звучащей речи способны придавать эмоциональный характер любой лексеме, при этом нередко можно наблюдать функционирование в речи лексем с эмоциональным значением, контрастирующем с их коннотатом» [Величкова 2010: 136].

Если мы признаем, что параметры звучащей речи имеют системную организацию, то из этого следует, что тексты одного типа и речевые жанры имеют некую канву. Имеются данные о фоностилистической функции речевого ритма, а также о ритмических признаках речевых жанров [Stock, Veličkova 2002: 294-319]. Мелодические признаки участвуют в передаче эмоциональных состояний. Носитель языка способен наложить на текст ритмическую канву и мелодические признаки, которые соответствуют жанру текста или противоречат ему. Это теоретическое положение мы берем за основу данного исследования.

Звучащая речь имеет свои жанровые принадлежности, параметры, которые сопоставимы с определенным синтаксисом и лексикой, но могут быть перенесены на другой тип текста. Носитель языка имеет несколько моделей прочтения. У него есть жанровые эталоны (как читать сказку, как читать документы и т.д.). Звучащая речь относится ко всему вышеназванному и включает чтение вслух, рецитацию, все, что звучит, произносится. Устная речь – стилистически более сниженная речь, чем речь официальная, публичная.

Спонтанная речь, в свою очередь, наименее исследована. Ее ритм сложен и неоднозначен. Признаки звучащей речи, в первую очередь, показывают эмоциональное состояние говорящего и его отношение к тому, что он говорит.

Кроме всего вышеназванного, мы сталкиваемся с проблемой выработки механизма исследования, основанного на анализе параметров звучащей речи. Именно эти параметры обозначают эмоциональное состояние говорящего. Оно может быть передано как с учетом лексического наполнения звучащей речи, так и без такого учета. Эмоциональное состояние говорящего способно придать лексеме то эмоциональное значение, которое соответствует состоянию говорящего. Стоит отметить, что у лингвистов и психолингвистов различные подходы к изучению речи. Настоящее исследование проводится на основе метода, разработанного в Научно-методическом центре фонетики Воронежского государственного университета (НМФЦ ВГУ). Центральное место в нем занимают проблемы психолингвистических исследований в аспектах восприятия и порождения речи. Исследования проводятся в сопоставительном аспекте на материале русского, немецкого, испанского языков [Величкова, Абакумова, Петроченко, Воропаева 2017: 240-255].

В данной работе к параметрам звучащей речи мы относим темп речи, интенсивность речи, ритм, мелодические параметры. Мелодические параметры мы рассматриваем в перцептивном плане, поэтому мы не пользуемся интонационными моделями, рассматриваем только поведение мелодики или высоты тона голоса на ударных слогах по восприятию.

Ритм в предлагаемом нами понятийном аппарате имеет фоностилистическую функцию и функцию передачи напряжения. Количество повышений или понижений мелодических знаков на 100 слогов сигнализирует об эмоциональном состоянии говорящего.

Изучение средств речевой просодии с целью выявления эмоций говорящего является важной задачей современной лингвистики и имеет большую практическую значимость. Данные, полученные в результате исследования речевых характеристик, используются в области психиатрии. Количество частотных ритмических групп (РГ), позиция ударного слога в РГ, протяженность РГ в речи пациента могут свидетельствовать о наличии или отсутствии у него того или иного психического расстройства.

Изучение просодических характеристик речи имеет большое значение в области криминалистики. В процессе совершения преступлений мошенники могут прибегнуть к технической имитации голоса противоположенного пола. Опытные эксперты способны распознать эту имитацию, опираясь на просодические характеристики речи.

В сфере информационных технологий, а именно в обучении искусственного интеллекта, данные психолингвистических исследований имеют большое прикладное значение.

Описание эксперимента

В рамках данного исследования нами был проведен первый этап эксперимента, целью которого явилось определение эмоционального состояния говорящих. Психолингвистический эксперимент был проведен с наивными носителями русского языка, всего 16 человек.

По результатам эксперимента нами была составлена таблица, включающая в себя списки эмоций, полученных в результате эксперимента.

Мы проанализировали повторяющиеся эмоции во фрагментах с наименее разнородными списками эмоций, во фрагментах с наиболее разнородными списками эмоций и во фрагментах со средней степенью разнородности. Отдельно анализу были подвергнуты повторяющиеся эмоции в соответствии с высокой, средней и низкой степенью выраженности.

Мы обратили внимание на то, что во всех вышеназванных классификациях такие наименования эмоций как грусть, печаль, волнение занимали лидирующие позиции. Следовательно, большинство респондентов во всех фрагментах распознали именно эти эмоции в свободном выборе, не имея списка эмоциональных состояний [Васенко 2024: 74-83].

На данном этапе исследования перед нами встал вопрос, какую роль в распознавании эмоций играет мимика и жестикуляция, поэтому нами было принято решение провести опрос наивных носителей языка, предоставив им только аудиозаписи. В этом эксперименте приняли участие 8 респондентов в возрасте от 18 до 29 лет, среди которых два мужчины и шесть женщин. По результатам данного этапа эксперимента нами была составлена таблица, включающая в себя списки эмоций, названные испытуемыми в свободном выборе (Таблица 1).

 

Таблица 1

 

Фрагмент 1

Фрагмент 2

Фрагмент 3

Фрагмент 4

Фрагмент 5

Фрагмент 6

Фрагмент 7

Фрагмент 8

Фрагмент 9

Фрагмент 10

Фрагмент 11

Считаете ли Вы речь эмоциональной?

Да – 8

Нет – 0

Да – 7

Нет – 1

Да – 7

Нет – 1

Да – 2

Нет – 6

Да – 5

Нет – 3

Да – 8

Нет – 0

Да – 6

Нет – 2

Да – 2

Нет – 6

Да – 3

Нет – 5

Да – 5

Нет – 3

Да – 8

Нет – 0

1

Грусть 3

 

Боль 3

Обида 3

Разочарование 1

Страх 2

Разочарование 2

Грусть 4

Грусть 2

 

Грусть 3

Разочарование 2

Паника 3

 

2

Печаль 2

Тоска 1

Грусть 1

Грусть 1

Печаль 2

Страх 2

Возмущение 2

Ностальгия 1

Отчаяние 1

Тревога 2

Страх 2

3

Взволнованность 2

Печаль 1

Печаль 1

Подавленность 1

Растерянность 2

Печаль 2

Печаль 1

 

 

Непонимание 1

Отчаяние 2

5

 

Обида 1

Ужас 1

 

 

Волнение 1

 

 

 

Грусть 1

Грусть 2

6

 

Отчаяние 1

Разочарование 1

 

 

Тревога 1

 

 

 

 

Тоска 1

7

 

 

 

 

 

Истерика 1

 

 

 

 

 

8

 

 

 

 

 

Отчаяние 1

 

 

 

 

 

Степень выраженности эмоции

+++ 3

++ 5

+ 0

+++ 4

++ 3

+ 0

+++ 2

++ 3

+ 2

+++ 0

++ 0

+ 2

+++ 0

++ 0

+ 5

+++ 0

++ 6

+ 2

+++ 0

++ 1

+ 5

+++ 0

++ 0

+ 2

+++ 0

++ 0

+ 3

+++ 0

++ 1

+ 3

+++ 1

++ 6

+ 1

 

Мы обратили внимание на то, что такие наименования эмоций, как грусть и печаль оказались самыми частотными. Исходя из этого, мы предполагаем, что при распознавании эмоций в речи говорящего носители языка основываются на просодических характеристиках, а мимика и жестикуляция носят второстепенный характер.

На следующем этапе эксперимента нами была поставлена цель определить состояние психической активности говорящих. Поскольку мы имеем дело с междисциплинарным подходом к исследованию эмоциональности, нам было важно понять, как наивные носители языка оценивают психическое состояние говорящих в момент речи. Мы предполагаем наличие связи между восприятием степени эмоциональности говорящего и психическим состоянием последнего. Для достижения этой цели нами был проведен опрос 6 наивных носителей языка, среди которых трое мужчин в возрасте от 18 до 50 лет и три женщины в возрасте от 28 до 70 лет.

Мы предоставили респондентам список наименований психических состояний, выделенных В.А. Ганзеном, В.Н. Юрченко [Ганзен, Юрченко 1991: 47-55] (Таблица 2), попросили просмотреть видеофрагменты и выбрать из предоставленного списка наименования (второй столбец), которые, на их взгляд, соответствуют состоянию говорящего в момент речи.

 

Таблица 2

Уровень психической активности

Состояния психической активности

Состояния повышенной психической активности (неравновесные состояния)

Счастье, восторг, экстаз, тревога, страх, гнев, ярость, ужас, паника, восхищение, страсть, ненависть, дистресс, воодушевление, мобилизация, негодование.

Состояния средней (оптимальной) психической активности (равновесные состояния)

Спокойствие, симпатия, сострадание, эмпатия, готовность, борьба мотивов, сосредоточенность, озарение, заинтересованность, сомнение, удивление, размышление, озадаченность.

Состояния пониженной психической активности (неравновесные состояния)

Грезы, подавленность, грусть, печаль, тоска, горе, скука, страдание, усталость, утомление, монотония, прострация, рассеянность, релаксация, кризисное состояние.

 

Результаты

По результатам данного опроса нами была составлена таблица, включающая в себя списки наименований психических состояний по каждому фрагменту и количество упоминаний каждого наименования (Таблица 3).

 

Таблица 3

 

Фрагмент 1

Фрагмент 2

Фрагмент 3

Фрагмент 4

Фрагмент 5

Фрагмент 6

Фрагмент 7

Фрагмент 8

Фрагмент 9

Фрагмент 10

Фрагмент 11

1

Страдание 4

Кризисное состояние 3

Подавленность 3

Негодование 2

Страх 3

Страдание 3

Размышление 3

Симпатия 2

Тоска 2

Негодование 2

Страх 3

2

Подавленность 3

Подавленность 2

Страдание 2

Борьба мотивов 2

Озадаченность 2

Дистресс 2

Негодование 2

Тоска 2

Страдание 2

Усталость 2

Паника 3

3

Печаль 3

Тревога 1

Сострадание 2

Сомнение 2

Кризисное состояние 2

Утомление 2

Воодушевление 2

Грусть 2

Размышление 2

Подавленность 1

Кризисное состояние 2

4

Усталость 1

Ужас 1

Тревога 1

Размышление 2

Паника 2

Подавленность 2

Сосредоточенность 1

Восторг 1

Тревога 1

Тревога 1

Озадаченность 2

5

Рассеянность 1

Страдание 1

Тоска 1

Рассеянность 1

Мобилизация 1

Тревога 1

Мобилизация 1

Размышление 1

Грусть 1

Сомнение 1

Дистресс 1

6

Тревога 1

Гнев 1

Дистресс 1

Тоска 1

Готовность 1

Ненависть 1

Борьба мотивов 1

Воодушевление 1

Сосредоточенность 1

Тоска 1

Гнев 1

7

Грусть 1

Восторг 1

Размышление 1

Монотония 1

Сосредоточенность 1

Кризисное состояние 1

Озадаченность 1

Удивление 1

Озадаченность 1

Озадаченность 1

Страдание 1

8

Прострация 1

Печаль 1

Печаль 1

Усталость 1

Печаль 1

Печаль 1

Монотония 1

Негодование 1

Озарение 1

Печаль 1

Размышление 1

9

 

Прострация 1

Негодование 1

Прострация 1

Размышление 1

Усталость 1

 

Восхищение 1

Монотония 1

Страсть 1

Ужас 1

10

 

Утомление 1

 

 

Подавленность 1

Сомнение 1

 

Борьба мотивов 1

Скука 1

Страдание 1

Тревога 1

11

 

Страх 1

 

 

Сомнение 1

 

 

Паника 1

Печаль 1

Симпатия 1

Сострадание 1

12

 

Озадаченность 1

 

 

Тревога 1

 

 

 

 

 

 

13

 

Негодование 1

 

 

Негодование 1

 

 

 

 

 

 

14

 

Усталость 1

 

 

 

 

 

 

 

 

 

 

Проанализировав полученные данные, мы подобрали по их частотности отнесение испытуемыми того или иного фрагмента к уровню психической активности (см. Таблицу 1 первый столбец) и обнаружили, что психическая активность говорящих в шести видеофрагментах была оценена большинством испытуемых как пониженная, говорящих двух видеофрагментов – как средняя, говорящих двух видеофрагментов – как высокая и говорящего одного видеофрагмента – как повышенная и средняя (Таблица 4).

 

Таблица 4

Уровень психической активности

Фрагмент 1

Фрагмент 2

Фрагмент 3

Фрагмент 4

Фрагмент 5

Фрагмент 6

Фрагмент 7

Фрагмент 8

Фрагмент 9

Фрагмент 10

Фрагмент 11

Повышенная психическая активность

7%

35%

23%

15%

45%

27%

42%

36%

7%

31%

59%

Средняя психическая активность

0%

6%

23%

46%

33%

7%

50%

36%

36%

23%

23%

Пониженная психическая активность

93%

59%

54%

39%

22%

66%

8%

28%

57%

46%

18%

 

Выводы

Соотнеся данные первого и второго этапов эксперимента, мы смогли предположить, что, если выраженность группы эмоций, производных от грусть, печаль, имеет высокую или среднюю степень, то психическая активность говорящего экспертами – носителями языка оценивается как пониженная. Если же выраженность эмоций имеет среднюю или низкую степень, или речь во фрагменте оценена испытуемыми как безэмоциональная, то психическая активность говорящего оценивается как средняя или повышенная. Интересно, что именно эта группа эмоций распознается при наличии снижения психической активности. Этот показатель является результатом междисциплинарного подхода к проблеме распознавания эмоционального состояния говорящего по параметрам речи.

×

Sobre autores

A. Vasenko

Voronezh State University

Autor responsável pela correspondência
Email: annasapelnikowa@gmail.com

postgraduate student of the Department of German Philology

Rússia, Voronezh

Bibliografia

  1. Vasenko A.O. Opredelenie stepeni emocional'nogo sostoyaniya govoryashchego po parametram zvuchashchej rechi // Teoriya yazyka i mezhkul'turnaya kommunikaciya. 2024. № 3 (54). S. 74-83.
  2. Velichkova L.V. Ekspressivnye sredstva rechi: psiholingvisticheskie issledovaniya: monografiya / L.V. Velichkova, O.V. Abakumova, V.YU. Ivanova, O.N. Serikova; pod red. prof. L.V. Velichkovoj; Voronezh. gos. Un-t. Voronezh: Izdatel'sko-poligraficheskij centr Voronezhskogo gosudarstvennogo universiteta, 2010. 136 s.
  3. Velichkova L.V., Abakumova O.V., Petrochenko E.V., Voropaeva I.V. Proekt «Psiholingvisticheskoe izuchenie zvuchashchej rechi» // Voprosy psiholingvistiki. 2017. № 3 (33). S. 240-255.
  4. Ganzen V.A., Yurchenko V.N. Sistematika psihicheskih sostoyanij cheloveka // Vestnik LGU. 1991. Seriya 6, vyp. 1. S. 47-55.
  5. Shcerba L.V. Yazykovaya sistema i rechevaya deyatel'nost' / L.V. Shcherba. 2-e izd., ster. Moskva: URSS, 2004. 427 s.
  6. Stock E., Veličkova L. Rhythmus und emotionale Spannung in Deutschen und Russischen / E. Stock, L.V. Velichkova // Phonus. Saarbrucken, 2002. S. 294-319.

Arquivos suplementares

Arquivos suplementares
Ação
1. JATS XML

Declaração de direitos autorais © Vasenko A.O., 2025

Creative Commons License
Este artigo é disponível sob a Licença Creative Commons Atribuição–Compartilhalgual 4.0 Internacional.

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».