Алгоритм идентификации аномальных действий

Обложка

Цитировать

Полный текст

Открытый доступ Открытый доступ
Доступ закрыт Доступ предоставлен
Доступ закрыт Доступ платный или только для подписчиков

Аннотация

Исследование посвящено проблеме распознавания человеческой деятельности (Human Activity Recognition, HAR) и определения нормальных и аномальных действий в зависимости от ситуации. Автоматизированное обнаружение аномальных действий с помощью технологий компьютерного зрения и оперативное реагирование позволяют усовершенствовать работу служб быстрого реагирования, тем самым спасти человеческие жизни или пресечь правонарушения. В работе представлен всесторонний обзор методов распознавания человеческой деятельности и выявления аномальных действий на основе глубокого обучения. Исследуются различные классификации аномальных действий, и затем обсуждаются и анализируются методы глубокого обучения и нейросетевые архитектуры, используемые для обнаружения аномальных действий. На основе проведенного сравнительного анализа различных подходов предложен алгоритм распознавания человеческой активности и разработана нейронная сеть, которая определяет насильственные и ненасильственные действия с точностью 92,22% в 150 эпохах.

Полный текст

Доступ закрыт

Об авторах

Намир Мохамед Хади

МИРЭА – Российский технологический университет

Автор, ответственный за переписку.
Email: hadi@mirea.ru
ORCID iD: 0009-0000-7122-5942
SPIN-код: 4079-2513
ResearcherId: LEM-0157-2024

ассистент, кафедра компьютерной и информационной безопасности

Россия, г. Москва

Дмитрий Геннадьевич Андрюшенков

МИРЭА – Российский технологический университет

Email: andryushenkov@mirea.ru
ORCID iD: 0009-0004-5927-9795
SPIN-код: 4113-2967

ассистент, кафедра компьютерной и информационной безопасности

Россия, г. Москва

Александр Николаевич Чесалин

МИРЭА – Российский технологический университет

Email: chesalin@mirea.ru
ORCID iD: 0000-0002-1154-6151
SPIN-код: 4334-5520
Scopus Author ID: 57210931888
ResearcherId: D-8080-2019

кандидат технических наук, заведующий, кафедра компьютерной и информационной безопасности

Россия, г. Москва

Список литературы

  1. Aberkane S., Elarbi M. Deep reinforcement learning for real-world anomaly detection in surveillance videos. URL: https://sci-hub.ru/10.1109/ispa48434.2019.8966795 (data of accesses: 28.01.2024).
  2. Agahian S., Negin F., Köse С. An efficient human action recognition framework with pose-based spatiotemporal features. URL: https://www.sciencedirect.com/science/article/pii/S2215098618312345?via%3Dihub (data of accesses: 02.02.2024).
  3. Al-Dhamari A., Sudirman R., Mahmood N.H. Transfer deep learning along with binary support vector machine for abnormal behavior detection. URL: https://www.researchgate.net/publication/340145184_Transfer_Deep_Learning_Along_With_Binary_Support_Vector_Machine_for_Abnormal_Behavior_Detection#fullTextFileContent (data of accesses: 24.01.2024).
  4. Amrani H., Micucci D., Paolo N. Unsupervised deep learning-based clustering for human activity recognition. URL: https://www.researchgate.net/publication/365337299_Unsupervised_Deep_Learning-based_clustering_for_Human_Activity_Recognition#fullTextFileContent (data of accesses: 27.01.2024).
  5. Contardo P., Tomassini S., Falcionelli N. et al. Combining a mobile deep neural network and a recurrent layer for violence detection in videos. URL: https://ceur-ws.org/Vol-3402/paper05.pdf (data of accesses: 25.01.2024).
  6. Duong H.-T., Le V.-T., Hoang V. Deep learning-based anomaly detection in video surveillance: A survey. URL: https://typeset.io/papers/deep-learning-based-anomaly-detection-in-video-surveillance-29l7zb9s (data of accesses: 26.01.2024).
  7. Elesawy M., Hussein M., El Massih M.A. Real life violence situations dataset. URL: https://www.kaggle.com/datasets/mohamedmustafa/real-life-violence-situations-dataset (data of accesses: 03.02.2024).
  8. Gu T., Dolan-Gavitt B., Garg S. BadNets: Identifying vulnerabilities in the machine learning model supply chain. URL: https://arxiv.org/abs/1708.06733 (data of accesses: 03.02.2024).
  9. Haq Qazi E.U., Zia T., Almorjan A. Deep learning-based digital image forgery detection system. URL: https://www.researchgate.net/publication/359153551_Deep_Learning-Based_Digital_Image_Forgery_Detection_System (data of accesses: 03.02.2024).
  10. Jayaswal R., Dixit M. Framework for anomaly classification using deep transfer learning approach. URL: https://iieta.org/journals/ria/paper/10.18280/ria.350309 (data of accesses: 24.01.2024).
  11. Jia C., Yi W., Wu Y. et al. Abnormal activity capture from passenger flow of elevator based on unsupervised learning and fine-grained multi-label recognition. URL: https://arxiv.org/abs/2006.15873 (data of accesses: 28.01.2024).
  12. Jia J.-G., Zhou Y.-F., Hao X.-W. et al. Two-stream temporal convolutional networks for skeleton-based human action recognition. URL: https://sci-hub.ru/10.1007/s11390-020-0405-6 (data of accesses: 30.01.2024).
  13. Lathifah N., Lin H.-I. A brief review on behavior recognition based on key points of human skeleton and eye gaze to prevent human error. In: Proceedings of the 2022 13th Asian Control Conference (ASCC). Jeju Island, Republic of Korea, 2022. Pp. 1396–1403.
  14. Lin C.-B., Dong Z., Kuan W.-K., Huang Y.-F. A framework for fall detection based on openpose skeleton and LSTM/GRU models. URL: https://www.researchgate.net/publication/348142284_A_Framework_for_Fall_Detection_Based_on_OpenPose_Skeleton_and_LSTMGRU_Models (data of accesses: 29.01.2024).
  15. Lin F.-C., Ngo H.-H., Dow C.-R. et al. Student behavior recognition system. for the classroom environment based on skeleton pose estimation and person detection. URL: https://www.researchgate.net/publication/353746430_Student_Behavior_Recognition_System_for_the_Classroom_Environment_Based_on_Skeleton_Pose_Estimation_and_Person_Detection (data of accesses: 30.01.2024).
  16. Maqsood R., Bajwa UI., Saleem G. et al. Anomaly recognition from surveillance videos using 3D convolutional neural networks. URL: https://arxiv.org/pdf/2101.01073 (data of accesses: 03.02.2024).
  17. Naik A., Gopalakrishna M. Deep-violence: Individual person violent activity detection in Video. URL: https://www.researchgate.net/publication/349393071_Deep-violence_individual_person_violent_activity_detection_in_video (data of accesses: 29.01.2024).
  18. Nauman M.A., Shoaib M. Identification of anomalous behavioral patterns in crowd scenes. URL: https://www.techscience.com/cmc/v71n1/45453/html (data of accesses: 29.01.2024).
  19. Pang G., Shen C., Cao L., Hengel A. Deep learning for anomaly detection: A review. URL: https://ink.library.smu.edu.sg/cgi/viewcontent.cgi?article=8019&context=sis_research (data of accesses: 26.01.2024).
  20. Pawar K., Attar V. Deep learning approaches for video-based anomalous activity detection. URL: https://www.sci-hub.ru/10.1007/s11280-018-0582-1 (data of accesses: 26.01.2024).
  21. Pimentel T., Monteiro M., Veloso A., Ziviani N. Deep active learning for anomaly detection. URL: https://sci-hub.ru/10.1109/ijcnn48605.2020.9206769 (data of accesses: 27.01.2024).
  22. Simonyan K., Zisserman A. Two-stream convolutional networks for action recognition in videos. URL: https://arxiv.org/pdf/1406.2199 (data of accesses: 28.01.2024).
  23. Sultani W., Chen C., Shah M. Real-world anomaly detection in surveillance videos. URL: https://paperswithcode.com/paper/real-world-anomaly-detection-in-surveillance (data of accesses: 03.02.2024).
  24. Tomar S., Sharma A.K., Tina, Gupta K. Pose based activity recognition using supervised machine learning algorithms. URL: https://www.ijert.org/research/pose-based-activity-recognition-using-supervised-machine-learning-algorithms-IJERTV10IS120084.pdf (data of accesses: 27.01.2024).
  25. Tran D., Bourdev L., Fergus R. et al. Learning spatiotemporal features with 3D convolutional networks. URL: https://arxiv.org/pdf/1412.0767 (data of accesses: 28.01.2024).
  26. Tran D.A., Fischer P., Smajic A., So Y. Real-time object detection for autonomous driving using deep learning. URL: https://www.researchgate.net/publication/350090136_Real-time_Object_Detection_for_Autonomous_Driving_using_Deep_Learning (data of accesses: 26.01.2024).
  27. Vrskova R., Hudec R., Kamencay P., Sykora P. A new approach for abnormal human activities recognition based on ConvLSTM architecture. URL: https://www.researchgate.net/publication/360159604_A_New_Approach_for_Abnormal_Human_Activities_Recognition_Based_on_ConvLSTM_Architecture (data of accesses: 28.01.2024).
  28. Zhang F., Bazarevsky V., Vakunov A. et al. Mediapipe hands: On-device real-time hand tracking. URL: https://arxiv.org/pdf/2006.10214.pdf (data of accesses: 01.02.2024).
  29. Zhao Y., Deng B., Shen Ch. et al. Spatio-temporal autoencoder for video anomaly detection. URL: https://sci-hub.ru/10.1145/3123266.3123451 (data of accesses: 28.01.2024).

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать
2. Рис. 1. Обучение с учителем [24]

Скачать (899KB)
Метаданные
3. Рис. 2. Обучение с частичным привлечением учителем на примере GAN

Скачать (794KB)
Метаданные
4. Рис. 3. Обучение без учителя [4]

Скачать (1MB)
Метаданные
5. Рис. 4. Трансферное обучение на примере распознавания аномальных действий [3]

Скачать (544KB)
Метаданные
6. Рис. 5. Глубокое активное обучение [21]: re – внешнее вознаграждение; ri – внутреннее вознаграждение; s – наблюдение; a – действие

Скачать (377KB)
Метаданные
7. Рис. 6. Глубокое обучение с подкреплением [1]

Скачать (1MB)
Метаданные
8. Рис. 7. Пример обнаружения аномальных действий на основе глубоких гибридных моделей [3] (на нижних снимках – аномальное поведение толпы)

Скачать (1MB)
Метаданные
9. Рис. 8. Архитектура двухпоточной сети [22]

Скачать (174KB)
Метаданные
10. Рис. 9. Операция 3D-свертки для обнаружения аномальных действий [16]

Скачать (1MB)
Метаданные
11. Рис. 10. Архитектура ConvLSTM [27]

Скачать (505KB)
Метаданные
12. Рис. 11. Схема работы алгоритма с помощью OpenPose [14]

Скачать (1MB)
Метаданные
13. Рис. 12. Исходное изображение

Скачать (704KB)
Метаданные
14. Рис. 13. Выходное изображение с метками

Скачать (750KB)
Метаданные
15. Рис. 14. Скелет, полученный из изображения в трехмерном пространстве

Скачать (340KB)
Метаданные
16. Рис. 15. Примеры различных аномалий

Скачать (2MB)
Метаданные
17. Рис. 16. Архитектура Resnet50v2 [9]

Скачать (997KB)
Метаданные
18. Рис. 17. Алгоритм распознавания аномальных действий

Скачать (1MB)
Метаданные
19. Рис. 18. Графики потерь и точности на обучающей и валидационной выборке

Скачать (357KB)
Метаданные
20. Рис. 19. Матрица ошибок

Скачать (264KB)
Метаданные
21. Рис. 20. Отчет о классификации

Скачать (231KB)
Метаданные
22. Рис. 21. Обнаружение насильственных действий

Скачать (2MB)
Метаданные
23. Рис. 22. Обнаружение ненасильственных действий

Скачать (2MB)
Метаданные