Informacionnye TehnologiiInformacionnye TehnologiiИнформационные технологии1684-6400New Technologies Publishing House70224610.17587/it.31.419-425Neural network technologiesНейросетевые технологииResearch ArticleResearch of neural network models of gesture recognition in the presence of negative factorsИсследование нейросетевых моделей распознавания жестов при наличии негативных факторовBuldakovaT. I.БулдаковаТ. И.
Russian Federation

Dr. Sc., Professor

д-р техн. наук, проф.

buldakova@bmstu.ruGordeevV. A.ГордеевВ. А.
Russian Federation

Master’s Student

магистрант

gordeevva@student.bmstu.ruBauman Moscow State Technical UniversityМосковский государственный технический университет имени Н. Э. Баумана150820253184194250602202606022026Copyright ©; 2025, Informacionnye TehnologiiCopyright ©; 2025, Информационные технологии2025Informacionnye TehnologiiИнформационные технологииhttps://journals.eco-vector.com/1684-6400/article/view/702246

The problem of automatic recognition of gesture images for computer vision systems is considered. The process of preparing the initial data, creating a training and test dataset is described. A custom dataset has been created, as well as integration and preparation of external data. Research of popular neural network methods of sign language recognition has been conducted and an assessment of their effectiveness in the presence of negative factors has been obtained. Recommendations are given to improve the quality of gesture recognition.

Рассмотрена задача автоматического распознавания изображений жестов для систем компьютерного зрения. Описаны процесс подготовки исходных данных, создание обучающего и тестового наборов данных. Создан собственный набор данных, а также выполнены интеграция и подготовка внешних данных. Проведено исследование популярных нейросетевых методов распознавания жестового языка и получена оценка их эффективности при наличии негативных факторов. Приведены рекомендации по повышению качества распознавания жестов.

gesturesimagesrecognition methodsnegative factorsneural networksжестыизображенияметоды распознаваниянегативные факторынейронные сетиValdivieso L., Vàsconez J. P., Barona L., Benalcàzar M. E. Recognition of Hand Gestures Based on EMG Signals with Deep and Double-Deep Q-Networks, Sensors, 2023, vol. 23(8), p. 3905, DOI: 1O.339O/S23O839O5.Valdivieso L., Vásconez J. P., Barona L., Benalcázar M. E. Recognition of Hand Gestures Based on EMG Signals with Deep and Double-Deep Q-Networks // Sensors. 2023. Vol. 23, N. 8. P. 3905. DOI: 10.3390/s23083905.Ma’asum F. F. M., Sulaiman S., Saparon A. An overview of hand gestures recognition system techniques, IOP Conference Series: Materials Science and Engineering, IOP Publishing, Bristol, UK, 2015, vol. 99, p. 012012, DOI: 10.1088/1757-899X/99/1/012012.Ma’asum F. F. M., Sulaiman S., Saparon A. An overview of hand gestures recognition system techniques // IOP Conference Series: Materials Science and Engineering. IOP Publishing: Bristol, UK. 2015. Vol. 99. P. 012012. DOI: 10.1088/1757-899X/99/1/012012.Katasev A. S., Tukhbatullin T. I. Sign language recognition using a convolutional neural network, Vestnik Tekhnologicheskogo universiteta, 2023, vol. 26, no. 4, pp. 53—57, DOI: 10.55421/1998-7072_2023_26_4_53 (in Russian).Катасев А. С., Тухбатуллин Т. И. Распознавание языка жестов с помощью сверточной нейронной сети // Вестник Технологического университета. 2023. Т. 26, № 4. С. 53—57. DOI: 10.55421/1998-7072_2023_26_4_53.Grif M. G., Lakiya R., Prikhodko A. L., Bakeev M. A., Rajalakshmi E. Recognition of Russian and Indian sign languages based on machine learning, Sistemy analiza i obrabotki dannykh, 2021, no. 3(83), pp. 53—74, DOI: 10.17212/2782-2001-2021-3-53-74 (in Russian).Гриф М. Г., Элаккия Р., Приходько А. Л., Бакаев М. А., Раджалакшми Е. Распознавание русского и индийского жестовых языков на основе машинного обучения // Системы анализа и обработки данных. 2021. № 3 (83). С. 53—74. DOI: 10.17212/2782-2001-2021-3-53-74.Yasen M., Jusoh S. S. A systematic review on hand gesture recognition techniques, challenges and applications, PeerJ Computer Science, 2019, no. 5, DOI: 10.7717/peerj-cs.218.Yasen M., Jusoh S. S. A systematic review on hand gesture recognition techniques, challenges and applications // PeerJ Computer Science. 2019. N. 5. DOI:10.7717/peerj-cs.218.Cheok M. J., Omar Z., Jaward M. H. A review of hand gesture and sign language recognition techniques, International Journal of Machine Learning and Cybernetics, 2019, vol. 10, pp. 131—153, DOI: 1O.1OO7/S13O42-017-O7O5-5.Cheok M. J., Omar Z., Jaward M. H. A review of hand gesture and sign language recognition techniques // International Journal of Machine Learning and Cybernetics. 2019. Vol. 10. P. 131—153. DOI: 10.1007/s13042-017-0705-5.Ryumin D. A., Kagirov I. A., Aksenov A. A., Karpov A. A. Analytical review of models and methods of automatic recognition of gestures and sign languages, Informatsionno-upravlyayushchie sistemy, 2021, no. 6 (115), pp. 10—20, DOI: 10.31799/1684-88532021-6-10-20 (in Russian).Рюмин Д. А., Кагиров И. А., Аксенов А. А., Карпов А. А. Аналитический обзор моделей и методов автоматического распознавания жестов и жестовых языков // Информационно-управляющие системы. 2021. № 6 (115). С. 10—20. DOI: 10.31799/1684-8853-2021-6-10-20.Kurbanova K. Sh. Research of stages, types of modeling and methods of gesture recognition, Informacionnye tehnologii, 2024, vol. 30, no. 2, pp. 85—90, DOI: 10.17587/it.30.85-90 (in Russian).Курбанова К. Ш. Исследование этапов, типов моделирования и методов распознавания жестов // Информационные технологии. 2024. Т. 30, № 2. С. 85—90. DOI 10.17587/it.30.85-90.Buldakova T. I., Suyatinov S. I. Biological Principles of Integration Information at Big Data Processing, International Russian Automation Conference (RusAutoCon), Sochi, Russia, 2019, p. 8867710, DOI: 1O.11O9/RUSAUTOCON.2O19.886771O.Buldakova T. I., Suyatinov S. I. Biological Principles of Integration Information at Big Data Processing // International Russian Automation Conference (RusAutoCon), Sochi, Russia. 2019. P. 8867710. DOI: 10.1109/RUSAUTOCON.2019.8867710.Kuntsevich A. A., Kulik G. V., Zhitnik M. E. Machine learning technologies and image capture for sign language recognition, Big Data and Advanced Analytics, 2020, no. 6-2, pp. 308—310 (in Russian).Кунцевич А. А., Кулик Г. В., Житник М. Е. Технологии машинного обучения и захват изображений для распознавания языка жестов // Big Data and Advanced Analytics. 2020. № 6-2. С. 308—310.Vishnevskaya Yu. A., Buldakova T. I. Application of a synergetic model for character recognition, Yuzhno-Uralskaya molodezhnaya shkola po matematicheskomu modelirovaniyu: Sbornik trudov IV vserossiyskoy studencheskoy nauchno-prakticheskoy konferentsii, Chelyabinsk, SUSU Publishing Center, 2021, pp. 58—62 (in Russian).Вишневская Ю. А., Булдакова Т. И. Применение синергетической модели для распознавания символов // Южно-Уральская молодежная школа по математическому моделированию: Сборник трудов IV всероссийской студенческой научно-практической конференции. Челябинск: Издательский центр ЮУрГУ, 2021. С. 58—62.Liu W., Anguelov D., Erhan D., Szegedy C., Reed S., Fu C.-Y., Berg A. SSD: Single Shot MultiBox Detector, Leibe B., Matas J., Sebe N., Welling M. (eds), Computer Vision — ECCV 2016. Lecture Notes in Computer Science, 2016, vol. 9905, pp. 21—37, Springer, Cham, DOI: 10.1007/978-3-319-46448-0_2.Liu W., Anguelov D., Erhan D., Szegedy C., Reed S., Fu C.-Y., Berg A. SSD: Single Shot MultiBox Detector // Leibe B., Matas J., Sebe N., Welling M. (eds) Computer Vision ECCV 2016. Lecture Notes in Computer Science. 2016. Vol. 9905. P. 21—37. Springer, Cham. DOI: 10.1007/978-3-319-46448-0_2.Ghosh A., Sufian A., Sultana F., Chakrabarti A., De D. Fundamental Concepts of Convolutional Neural Network, Balas V., Kumar R., Srivastava R. (eds) Recent Trends and Advances in Artificial Intelligence and Internet of Things. Intelligent Systems Reference Library, 2020, vol. 172, Springer, Cham., DOI: 10.1007/978-3-030-32644-9_36.Ghosh A., Sufian A., Sultana F., Chakrabarti A., De D. Fundamental Concepts of Convolutional Neural Network // Balas V., Kumar R., Srivastava R. (eds) Recent Trends and Advances in Artificial Intelligence and Internet of Things. Intelligent Systems Reference Library. 2020. Vol. 172. Springer, Cham. DOI: 10.1007/978-3-030-32644-9_36.Tammina S. Transfer learning using VGG-16 with Deep Convolutional Neural Network for Classifying Images, International Journal of Scientific and Research Publications (IJSRP), 2019, vol. 9, iss. 10, DOI: 10.29322/IJSRP.9.10.2019.p9420.Tammina S. Transfer learning using VGG-16 with Deep Convolutional Neural Network for Classifying Images // International Journal of Scientific and Research Publications (IJSRP). 2019. Vol. 9, Iss. 10. DOI: 10.29322/IJSRP.9.10.2019.p9420.Theckedath D., Sedamkar R. R. Detecting Affect States Using VGG16, ResNet50 and SE-ResNet50 Networks, SN Computer Science, 2020, vol. 1, no. 79, DOI: 10.1007/s42979-020-0114-9.Theckedath D., Sedamkar R. R. Detecting Affect States Using VGG16, ResNet50 and SE-ResNet50 Networks // SN Computer Science. 2020. Vol. 1, N. 79. DOI: 10.1007/s42979-020-0114-9.