Data processing and annotation in a distributed video stream mining system to detect destructive behavior

Cover Page

Cite item

Full Text

Open Access Open Access
Restricted Access Access granted
Restricted Access Subscription Access

Abstract

The article discusses a distributed system for intelligent video stream analysis designed for automatic detection of destructive behavior in educational institutions. The relevance of the study is due to the need to improve the efficiency of security systems in organizations where existing systems demonstrate significant limitations in response speed and objectivity of assessment. The purpose of this work is to develop the architecture of a distributed system for intelligent video stream analysis based on a three-level video data processing pipeline to identify destructive behavior. The main focus is on methods for processing and annotating video data within a three-level pipeline, including object detection (YOLO), behavior classification (CNN) and contextual event analysis. The system based on the proposed architecture and modules of the three-level pipeline allows for effective detection of destructive behavior, which demonstrates the promise of using neural network technologies to create intelligent security systems in organizational structures. In this article, the authors consider the use of a distributed system for intelligent analysis of video streams in educational institutions, but the proposed solution can be adapted for other organizational structures where prompt detection of aggression, fights and other forms of destructive behavior in crowded conditions is required.

About the authors

Tatyana E. Smolentseva

MIREA – Russian Technological University

Author for correspondence.
Email: smoltan@bk.ru
ORCID iD: 0000-0003-4810-8734

Dr. Sci. (Eng.), head, Department of Applied Mathematics, Institute of Information Technologies

Russian Federation, Moscow

Nikolay N. Teterin

MIREA – Russian Technological University

Email: teterin@mirea.ru
ORCID iD: 0009-0007-5540-1038
SPIN-code: 7357-6836

assistant professor, Department of Applied Mathematics, Institute of Information Technology

Russian Federation, Moscow

References

  1. Tsarkova E.G. On the possibility of recognition by the intelligent video surveillance system of deviant behavior of persons on the territory of protected objects of the UIS. In: Penitentiary security: National traditions and foreign experience. Proceedings of the All-Russian Scientific and Practical Conference with International participation (Samara, June 1–2, 2023). Samara: Samara Law Institute of the Federal Penitentiary Service of Russia, 2023. Pp. 210–212. EDN: ZVKCTT.
  2. Ryabchikov I.A. Method of automatic recognition of deviant behavior of people based on the integration of computer vision technologies and knowledge management to support decision-making by operators of video monitoring systems. Data Analysis and Processing Systems. 2022. No. 3(87). Pp. 21–36. (In Rus.). doi: 10.17212/2782-2001-2022-3-21-36. EDN: KGIUTQ.
  3. Uzdyaev M.Yu., Karpov A.A. Creation and analysis of a multimodal data corpus for automatic recognition of aggressive human behavior. Scientific and Technical Bulletin of Information Technologies, Mechanics and Optics. 2024. Vol. 24. No. 5. Pp. 834–842. (In Rus.). doi: 10.17586/2226-1494-2024-24-5-834-842. EDN: IGHOYN.
  4. Teterin N.N. General issues of the analysis of destructive behavior of users in social networks. In: Actual problems of activity of divisions of the penal enforcement system. Collection of materials of the All-Russian scientific and practical conference. (Voronezh, October 24, 2024). In 3 vols. Voronezh: Scientific Book, 2024. Pp. 96–99. EDN: OWDJUT.
  5. Teterin N.N., Smolentseva V.V. On the issue of formalizing the task of identifying destructive behavior using artificial intelligence technologies. Trends in the Development of Science and Education. 2024. No. 114-10. Pp. 81–83. (In Rus.). doi: 10.18411/trnio-10-2024-440. EDN: EEBVGI.
  6. Balabanova T.N., Abramov K.V., Boldyshev A.V., Dolbin D.M. Automatic detection of anger and aggression in speech signals. Economy. Computer Science. 2023. Vol. 50. No. 4. Pp. 944–954. (In Rus.). doi: 10.52575/2712-746X-2023-50-4-944-954. EDN: HNMGPZ.
  7. Shevchenko D.A. Actual aspects of the impact of various information sources on the destructive behavior of youth. In: Current issues of legal science through the eyes of young researchers. Collection of articles on the results of the Fourth All-Russian Scientific Conference of Cadets, Students, adjuncts, postgraduates and Applicants (Ryazan, February 2, 2024). Moscow; Nizhny Novgorod: Poster-M., RANEPA, 2024. Pp. 155–158. EDN: KXQXNK.
  8. Ergeshova A.J. The role of artificial intelligence in the prevention of destructive behavior among young people. In: Current trends in social communications: history and modernity. Collection of scientific articles. Izhevsk: Udmurt University Publishing House, 2024. Pp. 439–442. (In Rus.). EDN: IWVBYH.
  9. Pankratova M.D., Skovpen T.N. NLP models using neural networks in the analysis of news tonality. In: Analytical technologies in the social sphere: Theory and practice (Moscow, December 14, 2023). Vol. 15. Moscow: SIC “National Security”, 2023. Pp. 97–107. EDN: CTABKU.
  10. Kuchuk E.A. Forecasting conflicts using Data Science and network analysis methods. In: Analytical technologies in the social sphere: theory and practice (Moscow, December 14, 2023). Vol. 15. Moscow: SIC “National Security”, 2023. Pp. 44–49. EDN: MTWADV.

Supplementary files

Supplementary Files
Action
1. JATS XML
2. Fig. 1. Video data processing stream

Download (386KB)
3. Fig. 2. Intelligent destructive behavior detection system

Download (371KB)


License URL: https://www.urvak.ru/contacts/

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».