Recognizing, Analyzing and Assessing Human Interactions by Emotional Reactions
- Autores: Zaboleeva-Zotova A.V.1, Petrovsky A.B.1,2, Ulyev A.D.1
-
Afiliações:
- Volgograd State Technical University
- Computer Science and Control Federal Research Center of the Russian Academy of Sciences
- Edição: Nº 4 (2023)
- Páginas: 71-81
- Seção: AI-enabled Systems
- URL: https://bakhtiniada.ru/2071-8594/article/view/269746
- DOI: https://doi.org/10.14357/20718594230407
- EDN: https://elibrary.ru/OACLBW
- ID: 269746
Citar
Texto integral
Resumo
The paper describes the concept and information model for recognizing, analyzing and assessing the interaction of people from different target groups based on emotional reactions. The model includes classification and identification of people by the cloth color, tracking their movement in a limited space, determining the fact of interaction between people and assessing the quality of interaction by human emotions, which are determined by face images and voice sounds. The concept and information model are realized in the developed automated video surveillance system for human interactions. The results of testing the automated system are presented.
Palavras-chave
Texto integral
Введение
Взаимодействие людей – достаточно широкое понятие, охватывающее разнообразные совместные действия для достижения целей, реализации ценностей, решения практических задач. Основными составляющими процесса взаимодействия являются его участники, их взаимная связь и воздействие друг на друга. Поведение участников совместной деятельности определяется их объективной взаимозависимостью и индивидуальными особенностями. В ходе совместной деятельности люди вступают в межличностные контакты, общаются между собой. Действия каждого участника (одного человека или группы людей) обусловлены его целями, предпочтениями, сложившейся ситуацией, ответными действиями другого участника. Общение представляет собой, по сути, психологическое воздействие, побуждающее другую сторону действовать в выгодном для первой стороны направлении. Немаловажными факторами общения являются эмоциональные реакции участников, обусловленные взаимодействием.
Во многих сферах деятельности люди постоянно вступают в регулярные и нерегулярные контакты, общаются и взаимодействуют друг с другом. Взаимодействие участников может осуществляться по вертикали (руководитель – подчиненный) и по горизонтали (сотрудник – сотрудник, сотрудник – посетитель). Качество взаимодействия людей во многом определяется персональной удовлетворенностью контактами и общением, является той обратной связью, которая позволяет оценить эффективность и характер взаимодействия, и в конечном итоге повысить результативность совместной деятельности.
В данной работе взаимодействие рассматривается как контакты и общение субъектов в сфере услуг и торговли, относящейся к одной из наиболее экономически значимых в современном обществе. Такие контакты происходят повсеместно: в магазинах (продавец-покупатель), гостиницах (администратор-клиент), учебных заведениях (преподаватель-студент, учитель-ученик), медицинских учреждениях (врач-пациент), спортивных и оздоровительных организациях (тренер-спортсмен), туристической сфере (экскурсовод-турист) и прочее.
Традиционным способом выявления удовлетворенности отдельного человека или группы людей какими-либо действиями или событиями служат опросы по разнообразным аспектам. Так, например, весьма популярны опросы посетителей по оценке уровня обслуживания. Однако эти опросы носят добровольный характер, зависят от желания посетителя дать оценку, которая к тому же индивидуально не персонифицируется, а является общей для всех. Результаты таких опросов мало информативны для оценивания удовлетворенности общением. Наиболее пригодным и перспективным подходом является, по нашему мнению, выявление эмоциональной реакции человека на тот или иной факт взаимодействия.
Распознавание и оценка взаимодействия людей на основе анализа разнородной информации – одна из актуальных проблем. Существующие системы видеонаблюдения, распознающие объекты, события, идентифицирующие личность человека, средства автоматизированного контроля и взаимодействия находящихся в помещении людей, другие клиенто-ориентированные сервисы в той или иной мере решают данную проблему [13, 14, 21, 27]. Однако автоматические устройства для наблюдения, подсчета или опроса посетителей предназначены для решения достаточно тривиальных задач обнаружения контактов людей, не обеспечивают анализ их взаимодействия. Все более востребованной становится автоматизация видеонаблюдения за взаимодействием людей, что позволяет в рамках единого процесса определять характер и особенности взаимодействия, оценивать качество взаимодействия, анализировать причины неудовлетворенности взаимодействием, как отдельного человека, так и групп людей.
В работе описываются концепция и информационная модель распознавания, анализа и оценки взаимодействия людей из разных целевых групп по эмоциональным реакциям. Модель включает классификацию и идентификацию людей по цвету одежды, отслеживание их перемещения в ограниченном пространстве, определение факта взаимодействия и оценку качества взаимодействия по эмоциям человека, определяемым по изображениям лица и звукам голоса. Концепция и информационная модель реализованы в разработанной автоматизированной системе видеонаблюдения за взаимодействием людей [10, 15-17]. Приведены результаты апробации автоматизированной системы, практическое применение которой способствовало повышению уровня оказываемых услуг и качества обслуживания.
1. Межличностные взаимоотношения
Изучение межличностных контактов, характера общения и взаимодействия людей, оценка степени удовлетворенности взаимодействием традиционно относится к области социальной психологии. Взаимодействие людей друг с другом рассматривается здесь как совокупность способов или совместных действий, применяемых для достижения целей, реализации ценностей или решения каких-то практических задач. Социальные взаимоотношения осуществляются на микроуровне (пары, малые группы) и макроуровне (общественные, политические, экономические структуры).
Люди вступают во взаимодействие, поскольку зависят друг от друга. Межличностные взаимоотношения двух и более людей могут быть регулярными и нерегулярными, реализовываться в различных формах: привязанность, дружба, любовь, сотрудничество, соперничество, времяпрепровождение, операция, ритуал, влияние, манипуляция, подчинение, конфликт. Эффективность взаимодействия во многом зависит от совместимости индивидуумов на разных уровнях: физиологическом, психологическом, социальном. Под психологической совместимостью в социальной группе понимают оптимальное сочетание свойств участников взаимодействия, возможность группы работать бесконфликтно и согласованно.
Рассмотрим некоторые подходы к описанию взаимоотношений людей, применяемые в социальной психологии, с позиции их возможного использования для оценки степени удовлетворённости взаимодействием.
В гештальт-терапии, разработанной Ф. Перлзом [7], взаимоотношение людей рассматривается как взаимодействие двух личностей, при котором каждая из сторон берет на себя часть ответственности за свои действия, намерения и ожидания. Базовым понятием гештальт-подхода является значение контакта. Человек может удовлетворять свои потребности только вступая в межличностные взаимоотношения с другими людьми и регулируя их. Гештальт-терапия направлена на развитие и осознание человеком всех аспектов материальной и физической жизни, способностей к рациональному мышлению, анализу и творчеству, способностей к выражению и пониманию эмоциональных переживаний и чувств, социальных отношений с другими людьми, духовных ценностей и смыслов, на которые опирается человек. Очевидно, что такое понимание взаимодействия слишком фундаментально.
Психологическая модель Э. Берна, предложенная в рамках разработанного трансакционного анализа [2], описывает индивидуальное (и в составе групп) поведение человека, исходя из одного из трех эго-состояний, четко отличимых одно от другого: взрослый, родитель, ребенок. Эго-состояние взрослого ориентируется на восприятие текущей реальности и получение объективной информации. Эго-состояние родителя определяется перенятыми извне установками, Эго-состояние ребенка определяется естественно возникшими побуждениями. В зависимости от ситуации человек может находиться в том или ином эго-состоянии. При общении людей (обмене трансакциями) эго-состояния партнёров взаимодействуют. Для модели характерна субъективность определения стиля поведения человека.
Потребностно-информационная теория В.П. Симонова [12] использует модель социального взаимодействия индивидуумов, согласно которой ценность потребности можно оценить по эмоции. Величина и знак эмоции определяются силой и качеством потребности и возможностью ее удовлетворения, исходя из врожденного и приобретенного человеком жизненного опыта. Возможность удовлетворить потребность зависит от разности средств и ресурсов, имеющихся в распоряжении человека и необходимых для удовлетворения потребности.
Изучение эмоций, как одного из важных факторов, влияющих на поведение и взаимоотношения людей, привлекает внимание многих исследователей. Известны многочисленные и часто несовпадающие классификации эмоций. Одна из первых классификаций была предложена В. Вундтом, согласно которой эмоциональные состояния характеризуются тремя полярными измерениями: удовольствие-неудовольствие, возбуждение-успокоение, напряжение-разряжение [3]. Разнообразие эмоций и их оттенков определяется разными интенсивностями и пределами изменений состояний по каждому из измерений. Классификация П. Экмана, разработавшего систему кодирования лицевых действий (Facial Action Coding System), включает семь классов эмоций: страх, грусть, злость, отвращение, презрение, удивление, радость [19]. К. Изард, один из создателей теории дифференциальных эмоций, выделил десять классов базовых эмоций: страх, гнев, стыд/смущение, презрение, отвращение, вина, печаль, удивление, интерес, радость, каждая из которых выражается своей мимикой лица [5]. Все остальные эмоции состоят из нескольких базовых. Базовые эмоции образуют основу мотивационной системы человека. Классификация Е.П. Ильина содержит одиннадцать классов эмоциональных состояний: страх, горе, печаль, гнев, обида, презрение, вина, стыд, смущение, смятение, веселье [6].
Разработаны методы формального представления эмоциональных реакций, формулы эмоций, алгебра и дерево эмоций [18]. Предложены разнообразные методы выявления и автоматизированного определения эмоционального состояния человека по аудиовизуальной информации [1, 4, 23-25, 29, 30, 32].
За рубежом в сфере услуг и торговли широко используется индекс удовлетворенности клиента (Customer Satisfaction Index), который является среднеарифметическим показателем характеристик товара или услуги [20]. Однако этот индекс не позволяет выяснить, чем именно удовлетворен конкретный человек – качеством предложенного продукта, уровнем оказанной услуги или взаимодействием с сотрудником.
Социально-психологические и экономические модели слишком абстрактны, субъективны, не позволяют оценить успешность и качество взаимодействия людей.
2. Концепция распознавания и анализа взаимодействия людей
Концепция распознавания, анализа и оценки взаимодействия людей, принадлежащих к разным целевым группам α и β, по эмоциям представлена на Рис. 1. Концепция опирается на идеи потребностно-информационной теории социального взаимодействия индивидуумов [12], по которой эмоциональная реакция служит мерой ценности потребности человека.
Рис. 1. Концепция распознавания, анализа и оценки взаимодействия людей по эмоциям
Взаимодействие людей характеризуется разнородной информацией, получаемой и обрабатываемой в режимах онлайн или офлайн. Прежде всего требуется определить принадлежность человека к заданной целевой группе, анализируя по видеоизображениям перемещения людей, находящихся в помещении или на территории. Распознавание начинается с определения позы человека по изображению, полученному с видеокамеры, используя нейронную сеть PoseEstimation [11, 22, 26, 31]. Далее определяются ключевые точки отдельных частей тела человека, координаты которых служат основой для классификации людей по цвету одежды и отслеживания их перемещения. При необходимости проводится идентификация личности человека из группы α.
Анализ взаимодействия людей, относящихся к разным целевым группам, включает в себя выявление факта взаимодействия людей и оценку их удовлетворенности взаимодействием. Удовлетворенность человека из группы β взаимодействием с человеком из группы α оценивается по проявляемым им эмоциональным реакциям, которые определяются по звукам голоса и изображению лица [1, 28].
Полученная информация о классификации и отслеживании перемещения людей, их взаимодействии и удовлетворённости взаимодействием аккумулируется, консолидируется и служит основой для оценки качества взаимодействия людей, выраженной в вербальной форме.
Основные этапы распознавания, анализа и оценки взаимодействия людей по эмоциональным реакциям приведены на Рис. 2.
Рис. 2. Основные этапы распознавания, анализа и оценки взаимодействия людей по эмоциональным реакциям
Концепция объединяет классификацию и идентификацию людей по цвету одежды, отслеживание их перемещения в ограниченном пространстве, определение взаимодействия людей и анализ удовлетворённости взаимодействием по эмоциям человека, распознаваемым по голосу и мимике лица. Реализация концепции ориентируется на использование уже существующих аппаратно-программных систем и средств видеонаблюдения за взаимодействием людей, дополненных разработанными методами и алгоритмами [10, 15-17].
3. Информационная модель оценки взаимодействия людей
В основе концепции распознавания и анализа взаимодействия людей по эмоциональным реакциям лежит информационная модель оценки их взаимодействия. Модель характеризует взаимодействие людей из разных целевых групп и их удовлетворенность взаимодействием, которые выявляются в процессе многоэтапной обработки потоков видео и аудиоданных, полученных с нескольких камер и микрофона. Оценка качества взаимодействия является итоговым результатом агрегирования оценок эмоциональных реакций человека, определяемым по изображению лица и звуку голоса.
Модель состоит из следующих компонентов.
- Информация о ключевых точках отдельных частей тела человека:
, (1)
где Fst – алгоритм стабилизации ключевых точек тела; wj = <φaj, φbj, φcj, φdj, φej> – ключевые точки тела, обнаруженные на двумерном изображении j-го человека; φaj – координаты ключевых точек лица; φbj – координаты точек плеч и рук; φcj – координаты точек кистей; φdj – координаты точек таза; φej – координаты точек ног и ступней; – стабилизированные ключевые точки тела, включая необнаруженные точки; – стабилизированные координаты ключевых точек лица; – стабилизированные координаты точек плеч и рук; – стабилизированные координаты точек кистей; – стабилизированные координаты точек таза; – стабилизированные координаты точек ног и ступней.
- Информация о принадлежности человека к целевой группе α или β:
, (2)
где Fcl – алгоритм классификации человека по цвету одежды; ηi – изображение, полученное с iой камеры; θ – набор цветовых диапазонов одежды людей из группы α.
- Информация о перемещениях людей в ограниченном пространстве:
, (3)
где Ftr – алгоритм анализа перемещений людей; ρj – расширенный набор цветовых диапазонов одежды j-го человека.
- Информация об идентификации человека из группы α:
, (4)
где Fid – алгоритм идентификации личности; υ – база фотографий лиц людей из группы α.
- Информация о взаимодействии человека из группы α с человеком из группы β:
, (5)
где Fin – алгоритм определения взаимодействия людей.
- Оценка удовлетворенности человека из группы β взаимодействием с человеком из группы α по эмоциональной реакции, полученной по звуку голоса:
, (6)
где Fsv – алгоритм анализа удовлетворенности взаимодействием по звуку голоса и эмоциям; λj – аудиопоток голоса человека с микрофона.
- Оценка удовлетворённости человека из группы β взаимодействием с человеком из группы α по эмоциональной реакции, полученной по изображению лица:
, (7)
где Fsf – алгоритм анализа удовлетворенности взаимодействием по изображениям лица и эмоциям; μj – видеопоток изображения лица человека с камеры высокого разрешения.
- Оценка качества взаимодействия людей:
, (8)
где Fас – алгоритмы аккумулирования и консолидации данных.
Алгоритм стабилизации ключевых точек Fst, используя анатомическое строение человека, определяет координаты недостающих ключевых точек отдельных частей тела j-го человека, которые не были обнаружены нейронной сетью PoseEstimation на изображении человека. Результатом работы алгоритма являются стабилизированные координаты ключевых точек тела, в том числе точек, отсутствующих по тем или иным причинам.
Алгоритм классификации человека по цвету одежды Fcl определяет принадлежность человека к одной из заданных целевых групп α или β. Первоначально выполняется обучение алгоритма, по результатам которого формируется набор θ возможных цветовых диапазонов одежды людей из группы α по тону, насыщенности, яркости цвета с учетом некоторой заданной погрешности, различных условий освещенности помещения в разное время суток. При работе алгоритма определяется доминирующий цвет одежды человека в кадре изображения ηi в видеопотоке с i-ой камеры. Если этот цвет входит в цветовой диапазон из набора θ, человек относится к группе α.
Алгоритм анализа перемещений людей Ftr осуществляет обнаружение перемещения людей в помещении или по территории, используя данные, поступающие с нескольких видеокамер. При первом появлении человека в кадре определяется доминирующий цвет одежды и формируется расширенный набор ρj цветовых диапазонов одежды человека. Подобная процедура выполняется для каждого анализируемого кадра. При 80% и более вхождения установленного доминирующего цвета в расширенный набор ρj цветовых диапазонов одежды считается, что перемещение человека обнаружено. Результатом работы алгоритма является информация i о перемещениях людей.
Алгоритм идентификации личности Fid уточняет результаты работы алгоритма классификации человека, входящего в группу α, и позволяет установить его фамилию, имя и отчество. Для этого используются координаты стабилизированных ключевых точек лица на изображении ηi, которые обрабатываются с помощью нейронной сети Face Recognition.
Алгоритм определения взаимодействия людей Fin формирует информацию ζ о факте взаимодействия человека из группы α с человеком из группы β. Считается, что два субъекта взаимодействуют, если они находятся в некоторой зоне взаимодействия на заданном расстоянии в продолжении заданного промежутка времени и их взгляды направлены так, что они могут видеть друг друга. Угол между направлениями взглядов людей рассчитывается с помощью нейронной сети HopeNet. При выполнении заданных условий взаимодействие признается состоявшимся, и оценивается удовлетворенность этим взаимодействием.
Алгоритм анализа удовлетворенности взаимодействием по звуку голоса и эмоциям Fsv распознает эмоциональную реакцию y человека из группы β при взаимодействии с человеком из группы α, полученную по анализу его голоса [1]. Для этого используется микрофон, через который аудиопоток передается в нейронную сеть Speech Emotion Analyzer, определяющую 5 классов эмоций: страх, грусть, сердитость, спокойствие и счастье. Эмоция, определенная по голосу, соотносится с конкретным человеком, используя связь между его голосом и данными о перемещениях, полученными алгоритмом анализа перемещений.
Алгоритм анализа удовлетворенности взаимодействием по изображению лица и эмоциям Fsf распознает эмоциональную реакцию k человека из группы β при взаимодействии с человеком из группы α, полученную по анализу изображений его лица [28]. Для этого используется камера высокого разрешения, с которой видеопоток передается в нейронную сеть EmoPy, определяющую 7 классов эмоций: гнев, страх, отвращение, грусть, удивление, спокойствие, счастье. Эмоция, определенная по лицу, соотносится с конкретным человеком, используя связь между его изображением и данными о перемещениях, полученными алгоритмом анализа перемещений.
Алгоритмы аккумулирования и консолидации данных Fac осуществляют анализ синхронизированных данных, полученных при работе всех других алгоритмов, устанавливают связи между данными и вычисляют оценку качества взаимодействия человека из группы α, соотнесенную с конкретным человеком из группы β на изображении.
Оценка качества взаимодействия объединяет оценки удовлетворенности взаимодействием по эмоциональным реакциям y и k, определенным по голосу и изображению лица. Сначала эмоции преобразуются в вербальные оценки удовлетворенности взаимодействием S(y) и R(k), которые соответственно имеют следующие шкалы: s1/очень низкая (страх), s2/низкая (грусть), s3/средняя (сердитость), s4/высокая (спокойствие), s5/очень высокая (счастье) и r1/очень низкая (гнев, страх), r2/низкая (отвращение, грусть), r3/средняя (удивление), r4/высокая (спокойствие), r5/очень высокая (счастье).
Оценка Q качества взаимодействия рассчитывается с помощью метода стратификации кортежей [8, 9]. Метод обеспечивает сокращение размерности признакового пространства и позволяет конструировать шкалу оценок итогового признака, агрегируя по некоторому правилу градации оценок исходных признаков. Например, каждая градация оценки итогового признака является комбинацией градаций оценок агрегируемых признаков, имеющих фиксированные суммы индексов градаций. В данном случае шкала оценки Q качества взаимодействия имеет следующие вербальные градации: q1/очень низкое (r1s1, r1s2, r2s1), q2/низкое (r1s3, r2s2, r3s1, r1s4, r2s3, r3s2, r4s1), q3/среднее (r1s5, r2s4, r3s3, r4s2, r5s1), q4/высокое (r2s5, r3s4, r4s3, r5s2, r3s5, r4s4, r5s3), q5/очень высокое (r4s5, r5s4, r5s5).
4. Реализация и апробация автоматизированной системы
Указанные выше алгоритмы реализованы в автоматизированной системе видеонаблюдения за взаимодействием людей [10, 15-17], в которой заданными целевыми группами являются обслуживающие сотрудники α и обслуживаемые посетители β. Автоматизированное распознавание, анализ и оценка взаимодействия людей проводится по видеоизображениям, получаемым в реальном времени с нескольких камер и обрабатываемым в параллельном режиме с синхронизацией видеопотоков данных. Оценки качества взаимодействия людей сохраняются в локальной базе данных с привязкой ко времени и информации о личностях людей из группы α. Видеозаписи таких взаимодействий могут использоваться для дальнейшего анализа администратором.
Тестирование работы алгоритмов и модулей системы выполнялось по методике тестирования программных систем. Были протестированы следующие функции системы, реализующие взаимодействие с пользователем: выбор работающей камеры; настройка системы; обучение системы; распознавание людей из разных групп; анализ перемещения людей; определение и оценка взаимодействия людей. Для тестирования функций и интерфейса системы было подготовлено 13 тестов, которые включали позитивный и негативный сценарии работы, ожидаемые результаты.
Каждый модуль системы тестировался по отдельности [16]. Качество работы модуля оценивалось по трехбалльной шкале. Все тесты системы были успешно выполнены. Средние значения оценок по критериям по всем тестам варьировались от 2.4 до 2.9, что соответствует высоким показателям качества работы модулей. Тестирование корректности обработки данных модулями системы, которая задавалась как отношение безошибочно обработанных данных к объему всех данных, показало, что при увеличении числа людей в кадре корректность обработки данных в целом незначительно падает. Тестирование скорости работы системы показало, что при увеличении числа людей в кадре скорость обработки видеопотока в целом заметно падает, но ведет себя нелинейно.
При тестировании системы была также проведена специальная экспертиза, в ходе которой 9 экспертов оценивали качество взаимодействия людей из разных целевых групп, используя вербальную шкалу с теми же градациями, что и выше. Объектами экспертизы, предъявленными экспертам, были видеоряды, на которых показывалось взаимодействие человека из целевой группы α с человеком из целевой группы β. Экспертиза показала очень хорошее совпадение оценок качества взаимодействия, данных экспертами и полученных автоматически.
Разработанная система апробировалась в Волгоградском государственном техническом университете, где с помощью системы определялось качество взаимодействия преподавателей со студентами. В автошколе «Авто Поколение134» определялось качество взаимодействия администраторов и учеников автошколы. В автохолдинге «Волга-Раст» определялось качество взаимодействия консультантов и покупателей. В клинической больнице №5 Волгограда определялось качество взаимодействия врачейконсультантов и пациентов.
До и после внедрения автоматизированной системы в организациях проводились специальные опросы для оценки эффективности. Посетители (люди из группы β) оценивали, как их обслуживали сотрудники организации (люди из группы α). Руководители организации оценивали качество работы сотрудников при обслуживании посетителей. Оценки давались по пятибалльной шкале. Результаты опросов показали, что до использования автоматизированной системы средняя оценка качества работы человека из группы α варьировалась от 3.7 до 4.7, а оценка удовлетворенности человека из группы β такой работой составляла 3.2-4.5. После внедрения автоматизированной системы оценка качества работы человека из группы α в среднем возросла на 0.48 и составила 4.2-5.0, а оценка удовлетворенности человека из группы β возросла на 0.64 и составила 4.0-5.0. Таким образом, практическое применение автоматизированной системы позволило значительно повысить качество обслуживания.
Заключение
Предложен информационный подход к распознаванию, анализу и оценке взаимодействия людей из разных целевых групп по эмоциональным реакциям, который может применяться для объективного оценивания межличностных контактов и отношений разного уровня: между индивидуумами, между индивидуумом и группой, между группами. Разработанные методы и средства позволяют анализировать характеристики и особенности поведения людей, оценивать удовлетворенность участников с любой стороны взаимным общением, выявлять возможные конфликтные ситуации, своевременно предотвращать негативные сценарии развития отношений. Автоматизация распознавания, анализа и оценки взаимодействия людей обеспечивает высокое качество и скорость обработки аудио- и видеопотоков данных в режиме реального времени. Автоматизированная система видеонаблюдения за взаимодействием людей может найти свое применение в различных организациях и учреждениях, где имеется потребность и необходимость анализа поведения людей, оценки эффективности и качества взаимодействия. Функционал системы позволяет осуществлять идентификацию разных групп людей, выявлять особенности персонального общения, оценивать удовлетворенность взаимодействием. Гибкость системы предоставляет пользователю возможности индивидуальной настройки параметров с учетом его потребностей, дополнения, изменения и замены отдельных модулей без изменения общей архитектуры системы.
Sobre autores
Alla Zaboleeva-Zotova
Volgograd State Technical University
Autor responsável pela correspondência
Email: zabzot@gmail.com
Doctor of Technical Sciences, Professor; Adviser of the Russian Center for Scientific Information
Rússia, VolgogradAlexey Petrovsky
Volgograd State Technical University; Computer Science and Control Federal Research Center of the Russian Academy of Sciences
Email: a.b.petrovsky@mail.ru
Doctor of Technical Sciences, Professor; Chief Researcher
Rússia, Volgograd; MoscowAndrey Ulyev
Volgograd State Technical University
Email: ulyev-ad@yandex.ru
Graduate Student of the Department of Software Engineering
Rússia, VolgogradBibliografia
- Baryshev D.A., Makarevich I.V., Zubankov A.S., Rozaliyev V.L. Neyrosetevoy podkhod k opredeleniyu emotsiy cheloveka po rechi [Neural network approach to determining human emotions from speech] // Inzhenernyy vestnik Dona [Engineering Bulletin of the Don]. 2022. No 5 (89). P. 183-193.
- Berne E. Games people play: the psychology of human relationships. London: Penguin Books, 2010.
- Wundt W. Einführung in die psychologie. Leipzig: Voigtländers Verlag. 1911.
- Zaboleeva-Zotova A.V., Orlova Yu.A., Rozaliev V.L. Avtomatizirovannoe opredelenie emotsional’nogo sostoyaniya cheloveka po telodvizheniyam i rechi [Automated determination of a person’s emotional state by body movements and speech] // Vestnik Rostovskogo gosudarstvennogo universiteta putey soobshcheniya [Bulletin of the Rostov State Transport University]. 2013. No 3 (51). P. 61-68.
- Izard C.E. The psychology of emotions. New York: Plenum Press, 1991.
- Ilyin E.P. Psikhologiya obshcheniya i mezhlichnostnykh otnosheniy [Psychology of communication and interpersonal relationships]. St. Petersburg: Piter. 2009.
- Perls F., Hefferline R., Goodman P. Gestalt therapy. Excitement and growth in the human personality. New York: Julian Press. 1951.
- Petrovsky A.B. Teoriya prinyatiya resheniy [Decision theory]. Moscow: Publishing center "Academy". 2009.
- Petrovsky A.B. Gruppovoy verbal’niy analiz resheniy [Group verbal decision analysis]. Moscow: Nauka. 2019.
- Rozaliev V.L., Zaboleeva-Zotova A.V., Orlova Yu.A., Ulyev A.D., Alekseev A.V. Avtomaticheskaya sistema kontrolya aktivnosti pokupateley v magazine s modulyami otsenki raboty ego sotrudnikov [Automatic system for monitoring customer activity in a store with modules for assessing the work of its employees // Prikaspiyskiy zhurnal: upravlenie i vysokie tekhnologii [Caspian Journal: Control and high technologies]. 2020. No 2 (50). P. 22-32.
- Rozaliev V.L., Orlova Yu.A. Opredelenie dvizheniy i poz dlya identifikatsii emotsional’nykh reaktsiy cheloveka [Determination of movements and poses to identify human emotional reactions] // 11 Mezhdunarodnaya konferentsiya po raspoznavaniyu obrazov i analizu izobrazheniy: novye informatsionnye tekhnologii. Trudy konferentsii [11th International Conference on Pattern Recognition and Image Analysis: New Information Technologies] (PRIA-112013). Proceedings of the Conference. Samara. 2013. V. 2. P. 713-716.
- Simonov V.P. Lektsii o rabote golovnogo mozga. Potrebnostno-informatsionnaya teoriya vysshey nervnoy deyatel’nosti [Lectures on the functioning of the brain. Need-information theory of higher nervous activity]. Moscow: Nauka. 2001.
- Sistema kontrolya sotrudnikov [System for monitoring employees] // Electronic resource. URL: https://xn-80aidjgwzd.xn-p1ai/news/kontrol_sotrudnikov_instrumenty_sposoby_i_oshibki/ (accessed 09.03.2023).
- Sistemy podscheta posetiteley [Systems for counting visitors] // Electronic resource. URL: https://cetera.ru/about/articles/sistemy-podscheta-posetitelej-countmax/ (accessed 09.03.2023).
- Ulyev A.D., Donskaya A.R., Zubkov A.V. Avtomatizirovannoe raspoznavanie i kontrol vzaimodeystviya lyudey po videoizobrazheniyu [Automated recognition and control of human interaction from video images] // Izvestiya YugoZapadnogo gosudarstvennogo universiteta. Seriya: Upravlenie, vychislitel’naya tekhnika, informatika. Meditsinskoe priborostroyenie [News of the South-West State University. Series: Control, computer technology, computer science. Medical instrumentation]. 2023. V. 13. No 2. P. 45-64.
- Ulyev A.D., Orlova Yu.A., Rozaliev V.L., Donskaya A.R. Metody i sredstva slezheniya za peremeshcheniyem i vzaimodeystviyem sotrudnikov i pokupateley po videoizobrazheniyu [Methods and means of tracking the movement and interaction of employees and customers using video images] // Izvestiya YuFU. Tekhnicheskie nauki [News of the Southern Federal University. Technical sciences]. 2023. No P. 263-273.
- Ulyev A.D., Rozaliev V.L., Zaboleeva-Zotova A.V., Orlova Yu.A. Intellektual’naya sistema videonablyudeniya za povedeniem cheloveka [Intelligent video surveillance system for human behavior] // Iskusstvenniy intellekt i prinyatie resheniy [Artificial intelligence and decision making]. 2020. No 4. P. 3-14.
- Fominykh I.B. Inzheneriya obrazov, tvorcheskie zadachi, emotsional’nye otsenki [Image engineering, creative tasks, emotional assessments] // Ontologiya proyektirovaniya [Ontology of designing]. 2018. V. 8. No 2 (28). P. 175–189.
- Ekman P. Emotions revealed: Recognizing faces and feelings to improve communication and emotional life. New York: Henry Holt. 2007.
- A beginner’s guide to customer satisfaction metrics // Electronic resource. URL: https://www.simplesat.io/acad- emy/customer-satisfaction-metrics/ (accessed 09.03.2023).
- Azena // Electronic resource. URL: https://www.azena.com/ (accessed 09.03.2023).
- Cao Z., Simon T., Wei S.-E., Sheikh Y. Realtime multi-person 2D pose estimation using part affinity fields // Electronicresource.2017.URL: http://arxiv.org/abs/1611.08050 (accessed 17.05.2023).
- Hussain S.A., Al Balushi A.S.A. A real-time face emotion classification and recognition using deep learning model // Journal of Physics: Conference Series. 2020. V. 1432. No 1. P. 012087.
- Kumar P., Kaushik V., Raman B. Towards the explainability of multimodal speech emotion recognition. Proceedings of the 22nd Annual Conference of the International Speech Communication Association (Interspeech 2021). 2021. P. 1748-1752.
- Li L., Mu X., Li S., Peng, H. A Review of face recognition technology // IEEE Access. 2020. V. 8. P. 139110-139120.
- Nasr M., Osama R., Ayman H., Mosaad N., Ebrahim А. Realtime multi-person 2D pose estimation // International Journal of Advanced Networking and Applications. 2020. V. 11. No 6. Р. 4501–4508.
- NTechLab // Electronic resource. URL: https://www.ntechlab.ru/ (accessed 09.03.2023).
- Rozaliev V., Guschin R., Orlova Yu., Zaboleeva-Zotova A., Berdnik V. The method for searching emotional content in images based on low-level parameters with using neural networks // Advances in Intelligent Systems and Computing. 2019. V. 848. P. 260-265.
- Samyak S., Gupta A., Raj T., Karnam A., Mamatha H.R. Speech emotion analyzer // Proceedings of the 4th International Conference on Innovative Data Communication Technologies and Application (ICIDCA 2022). 2022. Р. 113–124.
- Sharmila Sk., Kavya Nagasai G., Sowmya M., Sai Prasanna A., Navya Sri S., Meghana N. Automatic attendance system based on face recognition using machine learning // Proceedings of the 7th International Conference on Computing Methodologies and Communication (ICCMC). 2023. P. 170–174.
- Xia J., Zhang H., Wen S., Yang S., Xu M. An efficient multitask neural network for face alignment, head pose estimation and face tracking // Expert Systems with Applications. 2022. V. 205. Р. 117368.
- Zaboleeva-Zotova A.V., Bobkov A.S., Rozaliev V.L., Petrovsky A.B. Automated identification of human emotions by gestures and poses // Proceedings of the 1st BRICS Countries Congress on Computational Intelligence (BRICS-CCI 2013). 2013. P. 300-303.
Arquivos suplementares
