Informacionnye TehnologiiInformacionnye TehnologiiИнформационные технологии1684-6400New Technologies Publishing House70228310.17587/it.31.370-378Intelligent systems and technologiesИнтеллектуальные системы и технологииResearch ArticleGesture recognition algorithm using artificial neural network and random forest in hybrid working environmentАлгоритм распознавания жестов с использованием искусственной нейронной сети и метода случайного леса в гибридной рабочей средеGurbanovaK. S.КурбановаК. Ш.
Azerbaijan

Chief Specialist, Training-Innovation Centre

главный специалист Учебно-инновационного центра

kemalewamil@gmail.comInstitute of Information Technology of The Ministry of Science and Education of the Azerbaijan RepublicИнститут Информационных Технологий Министерства науки и образования Азербайджана150720253173703780602202606022026Copyright ©; 2025, Informacionnye TehnologiiCopyright ©; 2025, Информационные технологии2025Informacionnye TehnologiiИнформационные технологииhttps://journals.eco-vector.com/1684-6400/article/view/702283

The dynamic development of information and communication technologies (ICT), artificial intelligence and digital technologies has contributed to the development of multi-level information systems. In addition to other fields, gesture-human-machine systems have improved and have a more user-friendly interface. The improvement of gesture-human-machine systems not only facilitates the communication and social adaptation of hearing-impaired people, but also expands user opportunities. Automatic recognition of gestures has enabled remote control of devices in the robotics field. The article clarifies the process of recording the parameters of the hand showing the gesture and the working principle of the recognition methods. The gesture recognition algorithm was analyzed using an artificial neural network and a random forest method in a hybrid working environment. Suggestions were made to eliminate the shortcomings that arose in the training process.

Динамичное развитие информационных и коммуникационных технологий, искусственного интеллекта и цифровых технологий способствовало развитию многоуровневых информационных систем в разных сферах при­менения. К примеру, совершенствование систем "жест—человек—машина" и создание более удобного интер­фейса не только облегчает задачу общения и социальной адаптации слабослышащих людей, но и расширяет возможности пользователей. Автоматическое распознавание жестов позволило удаленно управлять устрой­ствами в сфере робототехники. В статье рассматривается процесс записи параметров руки, отображающей жест, и принцип работы методов распознавания. Алгоритм распознавания жестов был проанализирован с при­менением искусственной нейронной сети и метода случайного леса в гибридной рабочей среде. Внесены пред­ложения по устранению недостатков в тренировочном процессе.

gesturesartificial intelligencerecognition technologiesgesture-human-machine systemsmachine learningdecision treeneural networkclassificationжестыискусственный интеллекттехнологии распознаваниясистемы "жест—человек—машина"машинное обучениеклассификацияGurbanova K. Sh. Overview of gesture control technologies, Informacionnye Tehnologii, 2024, vol. 30, no. 6, pp. 300—306.Курбанова К. Ш. Обзор технологий управления жестами // Информационные технологии. 2024. Т. 30, № . 6. C. 300—306.W. H. O. 2 February 2024, Deafness and hearing loss, available at: https://www.who.int/news-room/fact-sheets/detail/ deafness-and-hearing-loss (date of access: 01/06/2024).W. H. O. 2 February 2024, Deafness and hearing loss. URL: https://www.who.int/news-room/fact-sheets/detail/ deafness-and-hearing-loss, (date of access: 01/06/2024).Gurbanova K. Sh. Gesture language: hstory, development stages and current state, Problems of information society, 2018, no. 1, pp. 94—99.Gurbanova K. Sh. Gesture language: history, development stages and current state // Problems of information society. 2018. N. 1. P. 94—99.Gurbanova K. Sh. Research of stages, types of modeling and methods of gesture recognition, Informacionnye Tehnologii, 2024, vol. 30, no. 2, pp. 85—90.Курбанова К. Ш. Исследование этапов, типов моделирования и методов распознавания жестов // Информационные технологии. 2024. Т. 30, № 2. С. 85—90.Gurbanova K. Sh., Abdullayeva F. J. A comparative analysis of gesture recording technologies and recognition methods, Problems of Information Society, 2023, vol. 14, no. 1, pp. 43—52.Gurbanova K. Sh., Abdullayeva F. J. A comparative analysis of gesture recording technologies and recognition methods // Problems of Information Society. 2023. Vol. 14, N. 1. P. 43—52.Chuikov A. V., Vulfin A. M. Gesture recognition system based on neural network technologies, Vestnik Ugatu, 2017, no. 3 (77), pp. 113–122.Чуйков А. В., Вульфин А. М. Система распознавания жестов на основе нейросетевых технологий // Вестник Угату. 2017. № 3 (77). C. 113—122.Chen G., Ge K. A fusion recognition method based on multifeature hidden markov model for dynamic hand gesture, Computational Intelligence and Neuroscience, 2020, vol. 2020, no. 1, pp. 8871605.Chen G., Ge K. A fusion recognition method based on multifeature hidden markov model for dynamic hand gesture // Computational Intelligence and Neuroscience. 2020. Vol. 2020, N. 1. P. 8871605.Bondareva V. E., Chernomorova T. S. Application of neural networks for sign language recognition, Intelligent Technologies in Science and Education Proceedings of the International Scientific and Practical Conference, November 24—25, 2023 Novocherkassk Conference organizers, 2023, pp. 59—65.Бондарева В. Е., Черноморова Т. С. Применение нейронных сетей для распознавания языка жестов // Интеллектуальные технологии в науке и образовании. Материалы Междунар. науч.-практ. конф. 24—25 ноября 2023 года Новочеркасск. 2023. С. 59—65.Roshchina E. V., Kireev V. A. Overview of decision support algorithms and intelligent systems used in sign language recognition, Infocommunication technologies: current issues of the digital economy: Collection of scientific papers of the III International scientific and practical conference, January 25—26, 2023, Ekaterinburg, 2023, pp. 139—144.Рощина E. В., Киреев В. А. Обзор алгоритмов поддержки принятия решений и интеллектуальных систем, используемых при распознавании языка жестов // Инфокоммуникационные технологии: актуальные вопросы цифровой экономики: Сб. науч. тр. III Междунар. науч.-практ. конф. 25—26 января 2023 г. Екатеринбург, 2023. С. 139—144.Imamverdiev Yu. N., Aliguliyev R. M. Models and methods of managing information security of the electronic state, Baku, Publishing house "Information Technologies", 2021, 280 p.Имамвердиев Ю. Н., Алигулиев Р. М. Модели и методы управления информационной безопасностью электронного государства. Баку: Информационные технологии, 2021. 280 с.Cheng D. KNN algorithm with data-driven k value, Advanced Data Mining and Applications: 10th International Conference, Guilin, China. Proceedings 10, Springer International Publishing, December 19—21, 2014, pp. 499—512.Cheng D. KNN algorithm with data-driven k value // Advanced Data Mining and Applications: 10th International Conference. Guilin, China. Proceedings 10. Springer International Publishing, December 19—21. 2014. P. 499—512.Christopher A. K-Nearest Neighbor, Feb 2, 2021, available at: https://medium.com/swlh/k-nearest-neighbor-ca2593d7a3c4 (date of access: 09/06/2024).Christopher A. K-Nearest Neighbor, Feb 2, 2021. URL: https://medium.com/swlh/k-nearest-neighbor-ca2593d7a3c4 (date of access: 09/06/2024).Escalante H. J., Morales E. F., Sucar L. E. A naive bayes baseline for early gesture recognition, Pattern Recognition Letters, 2016, vol. 73, pp. 91—99.Escalante H. J., Morales E. F., Sucar L. E. A naive bayes baseline for early gesture recognition // Pattern Recognition Letters. 2016. Vol. 73. P. 91—99.Simatupang I., Pamungkas D., Risandriya S. Nave Bayes classifier for hand gestures recognition, Proceedings of the 3rd International Conference on Applied Engineering, 2020, pp. 110—114.Simatupang I., Pamungkas D., Risandriya S. Naive Bayes classifier for hand gestures recognition // Proceedings of the 3rd International Conference on Applied Engineering. 2020. P. 110—114.Jia R., Yang L., Li Y., Xin Z. Gestures recognition of sEMG signal based on Random Forest, IEEE 16 th Conference on Industrial Electronics and Applicationes, 2021, pp. 1673—1678.Jia R., Yang L., Li Y., Xin Z. Gestures recognition of sEMG signal based on Random Forest // IEEE 16 th Conference on Industrial Electronics and Applications? 2021. P. 1673—1678.Yusupova L. Kh., Popov D. V. Analysis of existing methods and technologies for solving the problem of gesture recognition, Innovative Ideas of Young Researchers, 2020, pp. 86—94.Юсупова Л. Х., Попов Д. В. Анализ существующих методов и технологий для решения задачи распознавания жестов // Инновационные идеи молодых исследователей. 2020. С. 86—94.Kozyra P. S., Savelievb A. I. Analysis of the effectiveness of machine learning methods in the problem of gesture recognition based on the data of electromyographic signals, Computer Research and Modeling, 2021, vol. 13, no. 1, pp. 175—194.Козырь П. С., Савельев А. И. Анализ эффективности методов машинного обучения в задаче распознавания жестов на основе данных электромиографических сигналов // Компьютерные исследования и моделирование. 2021. Т. 13, № 1. С. 175—194.Tolmachev S. V., Grishina L. S. Research of the influence of the activation function of an artificial neural network in solving the problem of pattern recognition, Step into science, 2021, no. 4, pp. 77–82.Толмачев С. В., Гришина Л. С. Исследование влияния функции активации искусственной нейронной сети при решении задачи распознавания образов // Шаг в науку. 2021. № 4. С. 77—82.Bogdanov M. R., Shakhmametova G. R., Oskin N. N., Kornilov A. V. Biometric identification based on gait, Systems of Control, Communication and Security, 2024, no. 1, pp. 191—212.Богданов М. Р., Шахмаметова Г. Р., Оськин Н. Н., Корнилов А. В. Биометрическая идентификация, основанная на походке // Системы управления, связи и безопасности. 2024. № 1. С. 191—212.Das S., Imtiaz M. S., Neom N. H., Siddique N., Wang H. A hybrid approach for Bangla sign language recognition using deep transfer learning odel with random forest classifier, Expert Systems with Applications, 2023, vol. 213, pp. 118914.Das S., Imtiaz M. S., Neom N. H., Siddique N., Wang H. A hybrid approach for Bangla sign language recognition using deep transfer learning odel with random forest classifier // Expert Systems with Applications. 2023. Vol. 213. P. 118914.Polin Y. A., Zudilova T. V., Ananchenko I. V., Voytiuk T. E. Decision trees in classification problems: application features and methods for improving the quality of classification, Modern high technologies, 2020, no. 9, pp. 59—63.Полин Я. А., Зудилова Т. В., Ананченко И. В., Войтюк Т. Е. Деревья решений в задачах классификации: особенности применения и методы повышения качества классификации // Современные наукоемкие технологии. 2020. № 9. С. 59—63.Breiman L. Random Forests. Machine Learning, University of California Berkeley, 2001, vol. 45 (1), pp. 5—32.Breiman L. Random Forests // Machine Learning. University of California Berkeley, 2001. Vol. 45 (1). Р. 5—32.Akishina E. P., Ivanov V. V., Kryanev A. V., Prikazchikova A. S. The comparative analysis of decision trees and neural networks methods in the credit institutions classification problem, Vestnik natsional’nogo issledovatel’skogo yadernogo universiteta "MIFI ", 2023, vol. 11, no. 6, pp. 442—449.Акишина Е. П., Иванов В. В., Крянев А. В., Приказчикова А. С. Сравнительный анализ методов деревьев решений и нейронных сетей в задаче классификации кредитных организаций // Вестник НИЯУ МИФИ. 2023. Т. 11, № 6. С. 442—449.Islam M. S., Mousumi S. S., Jessan N. A., Rabby A. S., Hossain S. A. Ishara-lipi: The first complete multipurposeopen access dataset of isolated characters for bangla sign language, Proceedings of the 2018 International Conference on Bangla Speech and Language Processing, Sylhet, Bangladesh, 21—22 September 2018, pp. 1—4.Islam M. S., Mousumi S. S., Jessan N. A., Rabby A. S., Hossain S. A. Isharalipi: The first complete multipurposeopen access dataset of isolated characters for bangla sign language. In Proceedings of the 2018 International Conference on Bangla Speech and Language Processing. Sylhet, Bangladesh, 21—22 September 2018. P. 1—4.Abedin T., Prottoy K. S., Moshruba A., Hakim S. B. Bangla sign language recognition using a concatenated bdsl network, Computer Vision and Image Analysis for Industry 4.0, Chapman and Hall/CRC, 2023, pp. 76—86.Abedin T., Prottoy K. S., Moshruba A., Hakim S. B. Bangla sign language recognition using a concatenated bdsl network // Computer Vision and Image Analysis for Industry 4.0. Chapman and Hall/CRC. 2023. P. 76—86.Pavlov V. А., Belov A. А., Nguen V. T., Jovanovski N., Ovsyannikova A.S. Comparison of neural networks for suppression of multiplicative noise in images, Computer Optics, 2024, vol. 48, no. 3, pp. 425—431.Павлов В. А., Белов А. А., Нгуен В. Т., Йовановски Н., Овсянникова А. С. Сравнение архитектур нейронных сетей для подавления мультипликативного шума на изображениях // Компьютерная оптика. 2024. Т. 48, № 3. C. 425—431.Avilov M. I., Shichkina Yu. A., Kupriyanov M. S. Monitoring of an information and communication computer network using a neural network module, News of SPbGETU "LETI", 2020, no. 5, pp. 34—45.Авилов М. И., Шичкина Ю. А., Куприянов М. С. Мониторинг информационно-коммуникационной компьютерной сети с применением модуля дополнительной диагностики // Известия СПбГЭТУ" ЛЭТИ". СПб. 2020. № 5. С. 34—45.