Аналитический обзор систем автоматического определения депрессии по речи

Обложка

Цитировать

Полный текст

Аннотация

В последние годы в медицинской и научно-технической среде возрос интерес к задаче автоматического определения наличия депрессивного состояния у людей. Депрессия является одним из самых распространенных психических заболеваний, непосредственно влияющих на жизнь человека. В данном обзоре представлены и проанализированы работы за последние два года на тему определения депрессивного состояния у людей. Приведены основные понятия, относящиеся к определению депрессии, описаны как одномодальные, так и многомодальные корпусы, содержащие записи информантов с установленным диагнозом депрессии, а также записи контрольных групп,людей без депрессии. Рассмотрены как теоретические исследования, так и работы, в которых описаны автоматические системы для определения депрессивного состояния — от одномодальных до многомодальных. Часть рассмотренных систем решает задачу регрессивной классификации, предсказывая степень тяжести депрессии (отсутствие, слабая, умеренная, тяжелая), а другая часть – задачу бинарной классификации, предсказывая наличие заболевания у человека или его отсутствие. Представлена оригинальная классификация методов вычисления информативных признаков по трем коммуникативным модальностям (аудио, видео и текстовая информация). Описаны современные методы, используемые для определения депрессии в каждой из модальностей и в совокупности. Наиболее популярными методами моделирования и распознавания депрессии в рассмотренных работах являются нейронные сети. В ходе аналитического обзора выявлено, что основными признаками депрессии считаются психомоторная заторможенность, которая влияет на все коммуникативные модальности, и сильная корреляция с аффективными величинами валентности, активации и доминации, при этом наблюдается обратная корреляция между депрессией и агрессией. Выявленные корреляции подтверждают взаимосвязь аффективных расстройств с эмоциональными состояниями человека. В множестве рассмотренных работ наблюдается тенденция объединения модальностей для улучшения качества определения депрессии.

Об авторах

А. Н Величко

СПб ФИЦ РАН

Email: velichko.a.n@mail.ru
14-я линия В.О. 39

А. А Карпов

СПб ФИЦ РАН

Email: karpov@iias.spb.su
14-я линия В.О. 39

Список литературы

  1. World Health Organization. 2017. Depression and Other Common Mental Disorders: Global Health Estimates. Technical Report. World Health Organization. Licence: CC BY-NC-SA 3.0 IGO.
  2. GBD 2017 Disease and Injury Incidence and Prevalence Collaborators. (2018). Global, regional, and national incidence, prevalence, and years lived with disability for 354 diseases and injuries for 195 countries and territories, 1990–2017: a systematic analysis for the Global Burden of Disease Study 2017. The Lancet. doi: 10.1016/S0140-6736(18)32279-7.
  3. Spitzer R.L. Patient health questionnaire: PHQ. New York State Psychiatric Institute. 1999.
  4. Beck A.T., Ward C.H., Mock J., et al. An inventory for measuring depression. Archives of General Psychiatry. 1961. vol. 4. pp. 561–571. doi: 10.1001/archpsyc.1961.01710120031004.
  5. Rush A.J., Trivedi M.H., Ibrahim H.M., et al. The 16-item Quick Inventory of Depressive Symptomatology (QIDS), clinician rating (QIDS-C), and self-report (QIDS-SR): A psychometric evaluation in patients with chronic major depression. Biological Psychiatry. 2003. vol. 54. no. 5. pp. 573–583. doi: 10.1016/S0006-3223(02)01866-8.
  6. Gonzalez J.S., Shreck E., Batchelder A. Hamilton Rating Scale for Depression (HAM-D). In: Gellman MD, Turner JR, editors. Encyclopedia of behavioral medicine. New York: Springer. 2013. pp. 887–888. doi: 10.1007/978-1-4419-1005-9_198.
  7. Valstar M., Schuller B., Smith K., et al. AVEC 2013: the continuous audio/visual emotion and depression recognition challenge. Proceedings of the 3rd ACM international workshop on Audio/visual emotion challenge (AVEC’13). Association for Computing Machinery, New York, NY, USA. 2013. pp. 3–10. doi: 10.1145/2512530.2512533.
  8. Valstar M., Schuller B., Smith K., et al. AVEC 2014 – 3D dimensional affect and depression recognition challenge. Proceedings of the 4th International Workshop on Audio/Visual Emotion Challenge, Workshop of MM. 2014. pp. 3–10. doi: 10.1145/2661806.2661807.
  9. Valstar M., Gratch J., Schuller B., et al. Summary for AVEC 2016: Depression, Mood, and Emotion Recognition Workshop and Challenge. Proceedings of the 24th ACM international conference on Multimedia (MM ’16). Association for Computing Machinery, New York, NY, USA. 2016. pp. 1483–1484. doi: 10.1145/2964284.2980532.
  10. Ringeval F., Schuller B., Valstar M., et al. AVEC 2017: Real-life Depression, and Affect Recognition Workshop and Challenge. Proceedings of the 7th Annual Workshop on Audio/Visual Emotion Challenge (AVEC ’17). Association for Computing Machinery, New York, NY, USA. 2017. pp. 3–9. doi: 10.1145/3133944.3133953.
  11. Ringeval F., Schuller B., Valstar M., et al. AVEC 2019 Workshop and Challenge: State-of-Mind, Detecting Depression with AI, and Cross-Cultural Affect Recognition. In Proceedings of the 9th International on Audio/Visual Emotion Challenge and Workshop (AVEC ’19). Association for Computing Machinery, New York, NY, USA. 2019. pp. 3–12. doi: 10.1145/3347320.3357688.
  12. Потапова Р.К. Вариативность акустических параметров звучащей речи. Вестник Московского государственного лингвистического университета. Гуманитарные науки. Гуманитарные науки. 2016. Т. 740. с. 137–147.
  13. Stahl S.M. Stahl’s essential psychopharmacology: Neuroscientific basis and practical applications. Cambridge: Cambridge University Press (4th ed.). 2013. 628 p.
  14. American Psychiatric Association. Diagnostic and statistical manual of mental disorders (5th ed.). 2013. 992 p. doi: 10.1176/appi.books.9780890425596.
  15. Franklin J.C., Ribeiro J.D., Fox K.R., et al. Risk factors for suicidal thoughts and behaviors: a meta-analysis of 50 years of research. Psychol Bull. 2017. vol. 143. no. 2. pp. 187–232. doi: 10.1037/bul0000084.
  16. Belsher B.E., Smolenski D.J., Pruitt L.D., et al. Prediction Models for Suicide Attempts and Deaths: A Systematic Review and Simulation. JAMA Psychiatry. 2017. vol. 76. no. 6. pp. 642–651.
  17. Singer K. Depressive disorders from a transcultural perspective. Social Science & Medicine. 1975. vol. 9. 289–301. doi: 10.1016/0037-7856(75)90001-3.
  18. Beck A.T., Steer R.A., Brown G. Beck Depression Inventory–II. APA PsycTests. 1996. 38 p. doi: 10.1037/t00742-000
  19. Alghowinem S., Goecke R., Wagner M., et al. From joyous to clinically depressed: Mood detection using spontaneous speech. Proceedings of FLAIRS Conference, G.M. Youngblood and P.M. McCarthy, Eds. AAAI Press. 2012. pp. 141–146.
  20. Yang Y., Fairbairn C., Cohn J. Detecting depression severity from vocal prosody. IEEE Transactions on Affective Computing. 2013. vol. 4. no. 2. pp. 142–150.
  21. Gratch J., et al. The Distress Analysis Interview Corpus of Human and Computer Interviews. Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC’14), Reykjavik, Iceland. 2014. pp. 3123–3128.
  22. Litvinova T., Ryzhkova E., Litvinova O. Features of Written Texts of People with Different Profiles of the Lateral Brain Organization of Functions (on the Basis of RusNeuroPsychCorpus). Proceedings of 7th Tutorial and Research Workshop on Experimental Linguistics, ExLing 2016, International Speech Communication Association, Saint Peters-burg, Russia. 2016. pp. 107–110.
  23. Mundt J.C., Snyder P.J., Cannizzaro M.S., et al. Voice acoustic measures of depression severity and treatment response collected via interactive voice response (ivr) technology. Journal of Neurolinguistics. 2007. vol. 20. no. 1. pp. 50–64.
  24. General Psychotherapy Corpus. URL: http://alexanderstreet.com. (дата обращения: 10.12.2020).
  25. Huang Z., Epps J., Joachim D., et al. Depression detection from short utterances via diverse smartphones in natural environmental conditions. Proceedings of Interspeech. 2018. pp. 3393–3397.
  26. Willmott C.J., Matsuura K. Advantages of the mean absolute error (MAE) over the root mean square error (RMSE) in assessing average model performance. Climate Research. 2005. vol. 30. pp. 79–82. doi: 10.3354/cr030079.
  27. Lin L.I. A concordance correlation coefficient to evaluate reproducibility. Biometrics. 1989. vol. 45. no. 1. pp. 255–268.
  28. Altman D.G., Bland J.M. Diagnostic tests. 1: Sensitivity and specificity. BMJ (Clinical research ed.). 1994. vol. 308. no. 6943. pp. 1552. doi: 10.1136/bmj.308.6943.1552.
  29. Ringeval F., Schuller B., Valstar M., et al. AVEC 2019 Workshop and Challenge: State-of-Mind, Detecting Depression with AI, and Cross-Cultural Affect Recognition. In Proceedings of the 9th International on Audio/Visual Emotion Challenge and Workshop (AVEC ’19). Association for Computing Machinery, New York, NY, USA. 2019. pp. 3–12. doi: 10.1145/3347320.3357688.
  30. Kaya H., Fedotov D., Dresvyanskiy D., et al. Predicting depression and emotions in the crossroads of cultures, paralinguistics, and non-linguistics. Proceedings of the 9th International on Audio/Visual Emotion Challenge and Workshop (AVEC ’19). Association for Computing Machinery, New York, NY, USA. 2019. pp. 27–35. doi: 10.1145/3347320.3357691.
  31. Ray A., Kumar S., Reddy R., et al. Multi-level Attention Network using Text, Audio and Video for Depression Prediction. In Proceedings of the 9th International on Audio/Visual Emotion Challenge and Workshop (AVEC ’19). Association for Computing Machinery, New York, NY, USA. 2019. pp. 81–88. DOI: /10.1145/3347320.3357697.
  32. Makiuchi M.R., Warnita T., Uto K., et al. Multimodal Fusion of BERT-CNN and Gated CNN Representations for Depression Detection. In Proceedings of the 9th International on Audio/Visual Emotion Challenge and Workshop (AVEC ’19). Association for Computing Machinery, New York, NY, USA. 2019. pp. 55–63. doi: 10.1145/3347320.3357694.
  33. Fan W., He Z., Xing X., et al. Multi-modality Depression Detection via Multi-scale Temporal Dilated CNNs. In 9th International Audio/Visual Emotion Challenge and Workshop (AVEC ’19), Association for Computing Machinery, New York, NY, USA. 2019. pp. 73–80. doi: 10.1145/3347320.3357695.
  34. Yin S., Liang X., Ding H., et al. A Multi-Modal Hierarchical Recurrent Neural Network for Depression Detection. In 9th International Audio/Visual Emotion Challenge and Workshop (AVEC ’19), Association for Computing Machinery, New York, NY, USA. 2019. pp. 65–71. doi: 10.1145/3347320.3357696.
  35. Haque A., Guo M., Miner A.S., et al. Measuring Depression Symptom Severity from Spoken Language and 3D Facial Expressions. Machine Learning for Health (ML4H) Workshop at NeurIPS 2018, Montreal, Canada. 2018. [Online]. Available at: http://arxiv.org/abs/1811.0859.
  36. Qureshi S.A., Hasanuzzaman M., Saha S., et al. The Verbal and Non Verbal Signals of Depression — Combining Acoustics, Text and Visuals for Estimating Depression Level.[Online]. Available at: http://arxiv.org/abs/1904.07656.
  37. Niu M., Tao J., Liu B., et al. Automatic Depression Level Detection via lp-Norm Pooling. Proceedings of Interspeech. 2019. pp. 4559–4563.
  38. Rohanian M., Hough J., Purver M. Detecting depression with word-level multimodal fusion. Proceedings of Interspeech. 2019. pp. 1443–1447.
  39. Tao F., Esposito A., Vinciarelli A. Spotting the traces of depression in read speech: An Approach Based on Computational Paralinguistics and Social Signal Processing. Proceedings of Interspeech. 2020. pp. 1828–1832.
  40. Xezonaki D., Paraskevopoulos G., Potamianos A., et al. Affective Conditioning on Hierarchical Networks applied to Depression Detection from Transcribed Clinical Interviews. Proceedings of Interspeech. 2020. pp. 4556-4560.
  41. Huang Zh., Epps J., Joachim D., et al Domain Adaptation for Enhancing Speechbased Depression Detection in Natural Environmental Conditions Using Dilated CNNs. Proceedings of Interspeech. 2020. pp. 4561-4565.
  42. Zhao Z., Li Q., Cummins N., et al. Hybrid Network Feature Extraction for Depression Assessment from Speech. Proceedings of Interspeech. 2020. pp. 4956–4960.
  43. Seneviratne N., Williamson J.R., Lammert A.C., et al. Extended Study on the Use of Vocal Tract Variables to Quantify Neuromotor Coordination in Depression. Proceedings of Interspeech. 2020. pp. 4551–4555.
  44. Stankevich M., Isakov V., Devyatkin D., et al. Feature Engineering for Depression Detection in Social Media. Proceedings of the 7th International Conference on Pattern Recognition Applications and Methods (ICPRAM 2018). 2020. pp. 426–431.
  45. Ениколопов С.Н., Медведева Т.И., Воронцова О.Ю., и др. Лингвистические характеристики текстов психически больных и здоровых людей. Психологические исследования. 2018. Т. 11. № 61. С. 1.
  46. Kuznetsova Y.M., Kiselnikova N.V., Enikolopov S.N. et al. Predicting Depression from Essays in Russian. Computational Linguistics and Intellectual Technologies: Proceedings of the International Conference “Dialogue 2019”. 2019. pp. 647–657.
  47. Stankevich M., Smirnov I., Kiselnikova N., et al. Depression Detection from Social Media Profiles. Data Analytics and Management in Data Intensive Domains. DAMDID/RCDL 2019. Communications in Computer and Information Science. 2019. vol. 1223. pp. 181–194.
  48. Stankevich M., Ignatiev N. Smirnov I. Predicting Depression with Social Media Images. Proceedings of the 9th International Conference on Pattern Recognition Applications and Methods (ICPRAM 2020). 2020. pp. 235–240.
  49. Ениколопов С.Н., Кузнецова Ю.М., Пенкина М.Ю., и др. Особенности текста и психологические особенности: опыт эмпирического компьютерного исследования. Труды Института системного анализа РАН. 2019. Т. 69. № 3. C. 91–99.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».