Informacionnye TehnologiiInformacionnye TehnologiiИнформационные технологии1684-6400New Technologies Publishing House70219510.17587/it.31.87-92Neural network technologiesНейросетевые технологииResearch ArticleStudy of neural network robustness in the task of pattern recognitionИсследование устойчивости нейронных сетей в задаче распознавания образовKharrasovK. R.ХаррасовК. Р.
Russian Federation

Assistant

ассистент

k.r.harrasov@edu.mtuci.ruMosevaM. S.МосеваМ. С.
Russian Federation

PhD, Senior Lecturer

канд. техн. наук, доц.

m.s.moseva@mtuci.ruGorodnichevM. G.ГородничевМ. Г.
Russian Federation

PhD, Assistant Professor

канд. техн. наук, доц.

m.g.gorodnichev@mtuci.ruMoscow Technical University of Communication and InformaticsМосковский технический университет связи и информатики1502202531287920402202604022026Copyright ©; 2025, Informacionnye TehnologiiCopyright ©; 2025, Информационные технологии2025Informacionnye TehnologiiИнформационные технологииhttps://journals.eco-vector.com/1684-6400/article/view/702195

The problem of stable pattern recognition in an image is considered. Types and types of attacks on machine learning systems and methods of defense against them are discussed. An experiment with the application of the described approach of robust image recognition to adversarial attacks is carried out and the reliability of conventional and robust neural network classifiers is compared on the basis of the resulting metrics.

Рассматривается задача устойчивого распознавания образов на изображении. Обсуждаются типы и виды атак на системы машинного обучения и методы защиты от них. Проведен эксперимент с использованием описанного подхода по устойчивому распознаванию образов в применении к состязательным атакам и выполнено сравнение надежности обычных и устойчивых нейросетевых классификаторов на основании итоговых метрик. В результате замены 33 % изображений из обучающей выборки на состязательные образцы обученная на таком наборе данных модель демонстрирует устойчивость к состязательным атакам без существенной потери точности детектирования и классификации обычных образцов.

pattern recognitionrobustnessadversarial attackadversarial trainingраспознавание образовробастностьсостязательная атакасостязательное обучениеGoodfellow I., Shlens J., Szegedy C. Explaining and Harnessing Adversarial Examples, arXiv: 1412.6572.Goodfellow I., Shlens J., Szegedy C. Explaining and Harnessing Adversarial Examples // arXiv: 1412.6572.Goodfellow I., Yoshua B. Deep learning, Cambridge, Massachusetts, MIT Press, 2016, pp. 180—184.Goodfellow I., Yoshua B. Deep learning. Cambridge, Massachusetts: MIT Press, 2016. 184 с.The MNIST dataset of handwritten digits, available at: https://www.kaggle.com/datasets/hojjatk/mnist-dataset)Набор данных рукописных цифр MNIST. URL: https://www.kaggle.com/datasets/hojjatk/mnist-dataset).Goodfellow I., Warde-Farley D., Mirza M., Courville A., Yoshua B. Maxout Networks, arXiv: 1302.4389.Goodfellow I., Warde-Farley D., Mirza M., Courville A., Yoshua B. Maxout Networks // arXiv: 1302.4389.Moosavi-Dezfooli S.-M., Fawzi A., Frossard P. DeepFool: A Simple and Accurate Method to Fool Deep Neural Networks, 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). P. 2574—2582.Moosavi-Dezfooli S.-M., Fawzi A., Frossard P. DeepFool: A Simple and Accurate Method to Fool Deep Neural Networks // 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). P. 2574—2582.Su J., Vargas D. V., Kouichi S. One pixel attack for fooling deep neural networks, arXiv: 1710.08864.Su J., Vargas V. D., Kouichi S. One pixel attack for fooling deep neural networks. arXiv: 1710.08864Li H., Namiot D. A Survey of Adversarial Attacks and Defenses for image data on Deep Learning, International Journal of Open Information Technologies, 2022, vol. 10, no. 5, pp. 9—16.Li H., Namiot D. A Survey of Adversarial Attacks and Defenses for image data on Deep Learning // International Journal of Open Information Technologies. 2022. Vol. 10, N. 5. P. 9—16.Namiot D., Ilyushin E., Chizhov I. The rationale for working on robust machine learning, International Journal of Open Information Technologies, 2021, vol. 9, no. 11, pp. 68—74.Namiot D., Ilyushin E., Chizhov I. The rationale for working on robust machine learning // International Journal of Open Information Technologies, 2021. Vol. 9, N. 11. P. 68—74.Namiot D., Ilyushin E., Chizhov I. Artificial intelligence and cybersecurity, International Journal of Open Information Technologies, 2022, vol. 10, no. 9, pp. 135—147.Namiot D., Ilyushin E., Chizhov I. Artificial intelligence and cybersecurity // International Journal of Open Information Technologies. 2022. Vol. 10, N. 9. P. 135—147.Schott L., Rauber J., Bethge M., Brendel W. Towards the first adversarially robust neural network model on MNIST, arXiv: 1805.09190.Schott L., Rauber J., Bethge M., Brendel W. Towards the first adversarially robust neural network model on MNIST // arXiv: 1805.09190.Song Y., Kim T., Nowozin S., Ermon S., Kushman N. PixelDefend: Leveraging Generative Models to Understand and Defend against Adversarial Examples, arXiv: 1710.10766.Song Y., Kim T., Nowozin S., Ermon S., Kushman N. PixelDefend: Leveraging Generative Models to Understand and Defend against Adversarial Examples // arXiv: 1710.10766.Madry A., Makelov A., Schmidt L., Tsipras D., Vladu A. Towards Deep Learning Models Resistant to Adversarial Attacks, arXiv: 1706.06083.Madry A., Makelov A., Schmidt L., Tsipras D., Vladu A. Towards Deep Learning Models Resistant to Adversarial Attacks // arXiv: 1706.06083.