Нейросетевая классификация видеороликов по малому числу кадров

Обложка

Цитировать

Полный текст

Аннотация

В статье предложен метод нейросетевой классификации коротких видеороликов. Задача классификации рассматривается с точки зрения уменьшения числа требуемых операций для категоризации видеороликов. Предлагаемое решение заключается в использовании небольшого числа кадров (не более 10) для выполнения классификации при помощи самой лёгкой нейросетевой архитектуры семейства моделей ResNet. В ходе исследования создан собственный набор данных для обучения, состоящий из трёх классов: «animals», «cars» и «people». В результате получена точность классификации, равная 79%, а также сформирована база данных классифицируемых видеороликов и разработано приложение с элементами GUI для взаимодействия с классификатором и просмотра результатов.

Об авторах

Александр Владимирович Смирнов

Институт программных систем им. А. К. Айламазяна РАН

Email: asmirnov_1991@mail.ru
Младший научный сотрудник Лаборатории методов обработки и анализа изображений, Институт Программных Систем имени А. К. Айламазяна РАН. Научные интересы: компьютерное зрение; нейронные сети; робототехника; автоматизация и управление

Дмитрий Денисович Парфенов

ГУМРФ имени адмирала С.О. Макарова

Email: parfecto@yandex.ru
Студент 3 курса по специализации «Прикладная информатика в экономике». Научные интересы: компьютерное зрение; нейронные сети

Игорь Петрович Тищенко

Институт программных систем им. А. К. Айламазяна РАН

Email: igor.p.tishchenko@gmail.com
Кандидат технических наук, ИО директора, Институт Программных Систем имени А. К. Айламазяна РАН. Научные интересы: компьютерное зрение; нейронные сети; робототехника; автоматизация и управление

Список литературы

  1. Duvvuri K., Kanisettypalli H., Jaswanth K., Murali K.. “Video classification using CNN and ensemble learning”, 2023 9th International Conference on Advanced Computing and Communication Systems. 1, ICACCS 2023 (17-18 March 2023, Coimbatore, India), IEEE, 2023, ISBN 9798350397383, pp. 66–70.
  2. Tang H., Ding L., Wu S., Ren B., Sebe N., Rota P.. “Deep unsupervised key frame extraction for efficient video classification”, ACM Transactions on Multimedia Computing, Communications and Applications, 19:3 (2023), 119, 17 pp.
  3. Savran K. R., Gan J. Q., Escobar J. J.. “A novel keyframe extraction method for video classification using deep neural networks”, Neural Computing and Applications, 35:34 (2023), pp. 24513–24524.
  4. Das M., Raj R., Saha P., Mathew B., Gupta M., Mukherjee A.. “HateMM: a multi-modal dataset for hate video classification”, Proceedings of the International AAAI Conference on Web and Social Media, 17, Proceedings of the Seventeenth International AAAI Conference on Web and Social Media (ICWSM 2023) (2023), pp. 1014–1023.
  5. Lei J., Sun W., Fang Y., Ye N., Yang S., Wu J.. “A model for detecting abnormal elevator passenger behavior based on video classification”, Electronics, 13:13 (2024), 2472, 15 pp.
  6. Amin J., Anjum M. A., Ibrar K., Sharif M., Kadry S., Crespo R. G.. “Detection of anomaly in surveillance videos using quantum convolutional neural networks”, Image and Vision Computing, 135 (2023), 104710.
  7. Cong I., Choi S., Lukin M. D.. “Quantum convolutional neural networks”, Nature Physics, 15 (2019), pp. 1273–1278.
  8. Jianmin H., Jie L.. “A video action recognition method via dual-stream feature fusion neural network with attention”, International Journal of Uncertainty, Fuzziness and Knowledge-Based Systems, 32:04 (2024), pp. 673–694.
  9. Trędowicz M., Struski Ł., Mazur M., Janusz S., Lewicki A., Tabor J.. PrAViC: probabilistic adaptation framework for real-time video classification, 2024, 12 pp.
  10. Gao T., Zhang M., Zhu Y., Zhang Y., Pang X., Ying J., Liu W.. “Sports video classification method based on improved deep learning”, Applied Sciences, 14:2 (2024), 948, 13 pp.
  11. Kanwal Y., Tabassam N.. “An attention mechanism-based CNN-BiLSTM classification model for detection of inappropriate content in cartoon videos”, Multimedia Tools and Applications, 83:11 (2024), pp. 31317–31340.
  12. He K., Zhang X., Ren S., Sun J.. “Deep residual learning for image recognition”, 2016 IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2016 (27-30 June 2016, Las Vegas, NV, USA), IEEE, 2016, ISBN 978-1-4673-8850-4, pp. 770–778.
  13. Ren S., He K., Girshick R., Sun J.. “Faster R-CNN: towards real-time object detection with region proposal networks”, Proceedings of the 28th International Conference on Neural Information Processing Systems. 1, NIPS'15 (December 7–12, 2015, Montreal, Canada), MIT Press, Cambridge, 2015, ISBN 9781510825024, pp. 91–99.
  14. Tan M., Le Q. V.. “EfficientNet: rethinking model scaling for convolutional neural networks”, Proceedings of the 36th International Conference on Machine Learning, ICML 2019 (9-15 June 2019, Long Beach, California, USA), Proceedings of Machine Learning Research, vol. 97, ICML, 2019, ISBN 9781510886988, pp. 6105–6114.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать


Creative Commons License
Эта статья доступна по лицензии Creative Commons Attribution 4.0 International License.

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».