Informacionnye TehnologiiInformacionnye TehnologiiИнформационные технологии1684-6400New Technologies Publishing House70411810.17587/it.32.134-142Modeling and optimizationМоделирование и оптимизацияResearch ArticleDeepfake detection using an optimal ensemble of deep learning modelsДетекция дипфейков с использованием оптимального ансамбля моделей глубокого обученияLapsarA. P.ЛапсарьА. П.
Russian Federation

Cand. of Tech. Sc., Associate Professor

канд. техн. наук, доц.

lapsar1958@mail.ruPogulyayG. S.ПогуляйГ. С.
Russian Federation

Postgraduate

аспирант

gena.pogulyay.0000@mail.ruRostov State University of Economics (RINH)Ростовский государственный экономический университет (РИНХ)13032026323Informacionnye TehnologiiИнформационные технологии1341421103202611032026Copyright ©; 2026, Informacionnye TehnologiiCopyright ©; 2026, Информационные технологии2026Informacionnye TehnologiiИнформационные технологииhttps://journals.eco-vector.com/1684-6400/article/view/704118

The article proposes a method for combined detection of deepfakes based on the ensemble of several deep learning models that differ as much as possible in their properties. The method involves the use of ResNet, EfficientNet and MobileNe models. The integral result of the combination is formed by averaging the partial detection probabilities. The results of an experimental study are presented, demonstrating the advantages of the synthesized method when working with heterogeneous types of deepfakes.

Предложен метод комбинированного выявления дипфейков, основанный на ансамблировании нескольких моделей глубокого обучения, максимально различающихся по своим свойствам. Метод предполагает использование моделей ResNet, EfficientNet и MobileNet, которые дополняют друг друга при детекции фальшивого контента. Интегральный результат объединения формируется путем усреднения частных вероятностей обнаружения. Показано, что ансамблирование повышает точность и надежность детекции дипфейков по сравнению с одиночными моделями. Приведены результаты экспериментального исследования, демонстрирующие заявленные преимущества синтезированного метода при работе с разнородными типами дипфейков.

Deep learningdeepfakefake detectionmodel combinationconvolutional networksensemble learningcomputer visionmodel robustnessdigital forensicsглубокое обучениедипфейкдетекция подделоккомбинирование моделейсверточные сетиансамблированиекомпьютерное зрениеустойчивость моделицифровая криминалистикаTolosana R., Vera-Rodriguez R., Fierrez J. et al. DeepFakes and Beyond: А Survey of Face Manipulation and Fake Detection, Information Fusion, 2020, vol. 64, pp. 131—148.Tolosana R., Vera-Rodriguez R., Fierrez J. et al. DeepFakes and Beyond: А Survey of Face Manipulation and Fake Detection // Information Fusion. 2020. Vol. 64. P. 131—148.Verdoliva L. Media Forensics and DeepFakes: An Overview, IEEE J. Selected Topics in Signal Processing, 2020, vol. 14, no. 5, pp. 910—932.Verdoliva L. Media Forensics and DeepFakes: An Overview // IEEE J. Selected Topics in Signal Processing. 2020. Vol. 14, N. 5. P. 910—932.Heusen L., Hassen S., Yoo C. Remote Photoplethysmography for DeepFake Face Detection, Pattern Recognition Letters, 2023, vol. 174, pp. 19—26.Heusen L., Hassen S., Yoo C. Remote Photoplethysmography for DeepFake Face Detection // Pattern Recognition Letters. 2023. Vol. 174. P. 19—26.14. Mirsky Y., Lee W. The Creation and Detection of Deepfakes: А Survey, ACM Computing Surveys, 2021, vol. 54, no. 1, art. 85.Mirsky Y., Lee W. The Creation and Detection of Deepfakes: А Survey // ACM Computing Surveys. 2021. Vol. 54, N. 1. Art. 85.Papadopoulos A., Verdoliva L. One-Class Domain Adaptation for Generic Deepfake Detection, Pattern Recognition, 2023, vol. 141, Art. 109584.Papadopoulos A., Verdoliva L. One-Class Domain Adaptation for Generic Deepfake Detection // Pattern Recognition. 2023. Vol. 141. Art. 109584.Dang H., Liu F., Stehouwer L. et al. Accuracy vs. Efficiency Trade-off in DeepFake Detection, Proc. IEEE/CVF Conf. on Computer Vision and Pattern Recognition (CVPR), 2020, pp. 2209—2218.Dang H., Liu F., Stehouwer L. et al. Accuracy vs. Efficiency Trade-off in DeepFake Detection // Proc. IEEE/CVF Conf. on Computer Vision and Pattern Recognition (CVPR). 2020. P. 2209—2218.Stennikov V. A., Barakhtenko E. A., Sokolov D. V., Mayorov G. S. Automation of calculations in the design of an integrated energy system based on its digital twin, Informacionnye Tehnologii, 2024, vol. 30, no. 3, pp. 140—149 (in Russian).Стенников В. А., Барахтенко Е. А., Соколов Д. В., Майоров Г. С. Автоматизация вычислений при проектировании интегрированной энергетической системы на основе ее цифрового двойника // Информационные технологии. 2024. Т. 30, № 3. С. 140—149.Li Y., Yang X., Sun P. et al. Celeb-DF v2: А Large-Scale Dataset for DeepFake Forensics, Proc. IEEE/CVF Conf. on Computer Vision and Pattern Recognition (CVPR), 2020, pp. 3207—3216.Li Y., Yang X., Sun P. et al. Celeb-DF v2: А Large-Scale Dataset for DeepFake Forensics // Proc. IEEE/CVF Conf. on Computer Vision and Pattern Recognition (CVPR). 2020. P. 3207—3216.Guarnera L., Giudice O., Battiato S. GAN Fingerprints Identify DeepFake Images, Proc. IEEE/CVF Int. Conf. on Computer Vision Workshops (ICCV Workshops), 2021, pp. 122—131.Guarnera L., Giudice O., Battiato S. GAN Fingerprints Identify DeepFake Images // Proc. IEEE/CVF Int. Conf. on Computer Vision Workshops (ICCV Workshops). 2021. P. 122—131.Rössler A., Verdoliva L., Riess C. et al. FaceForensics++: Learning to Detect Manipulated Facial Images, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021, vol. 43, no. 1, pp. 501—514.Rössler A., Verdoliva L., Riess C. et al. FaceForensics++: Learning to Detect Manipulated Facial Images // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2021. Vol. 43, N. 1. P. 501—514.Zhuang J., Wang L., Liu Q. Exploring Self-Supervised Vision Transformers for DeepFake Detection, arXiv preprint arXiv:2405.00355, 2024, available at: https://arxiv.org/abs/2405.00355 (date of access: 25.05.2025).Zhuang J., Wang L., Liu Q. Exploring Self-Supervised Vision Transformers for DeepFake Detection // arXiv preprint arXiv:2405.00355. 2024. URL: https://arxiv.org/abs/2405.00355 (дата обращения: 25.05.2025)Mirsky Y., Kalbo N., Elovici Y. CTGAN-Fake: Cross-Domain Generalization for Deepfake Detection, IEEE Transactions on Information Forensics and Security, 2024, vol. 19, pp. 1700—1714.Mirsky Y., Kalbo N., Elovici Y. CTGAN-Fake: Cross-Domain Generalization for Deepfake Detection // IEEE Transactions on Information Forensics and Security. 2024. Vol. 19. P. 1700—1714.Haliassos A., Kommando J., Ma S. et al. LipForensics: Audio-Visual Deepfake Detection by Fusing Phonetic and Visual Traces, Proc. IEEE/CVF Int. Conf. on Computer Vision (ICCV), 2021, pp. 428—437.Haliassos A., Kommando J., Ma S. et al. LipForensics: Audio-Visual Deepfake Detection by Fusing Phonetic and Visual Traces // Proc. IEEE/CVF Int. Conf. on Computer Vision (ICCV). 2021. P. 428—437.Koohpayegani S-A., Mannan U., Rastegari M. Self-Prior 3D GAN Forensics, Proc. 38th Neural Information Processing Systems Conf. (NeurIPS), 2024.Koohpayegani S-A., Mannan U., Rastegari M. Self-Prior 3D GAN Forensics // Proc. 38th Neural Information Processing Systems Conf. (NeurIPS). 2024.Deng X., Momeni F. Masked Autoencoders Are Few-Shot Learners for DeepFake Forensics, Proc. European Conf. on Computer Vision (ECCV). 2022. (LNCS 13695), pp. 375—392.Deng X., Momeni F. Masked Autoencoders Are Few-Shot Learners for DeepFake Forensics // Proc. European Conf. on Computer Vision (ECCV). 2022. (LNCS13695). P. 375—392.Han H., Noh H., Yoo C. Video Deepfake Detection Using Hybrid CNN-LSTM-Transformer Architecture, Multimedia Tools and Applications, 2024.Han H., Noh H., Yoo C. Video Deepfake Detection Using Hybrid CNN-LSTM-Transformer Architecture // Multimedia Tools and Applications. 2024.Salibekyan S. M. Dataflow-driven translation of high-level languages, Informacionnye Tehnologii, 2024, vol. 30, no. 5, pp. 261—268 (in Russian).Салибекян С. М. Трансляция языков высокого уровня, управляемая потоками данных // Информационные технологии. 2024. Т. 30, № 5. С. 261—268.Bosse S., Garrido P. Benign vs. Malign: Real-Time Deepfake Detection on Mobile Devices, Proc. IEEE/CVF Conf. on Computer Vision and Pattern Recognition Workshops (CVPR Workshops), 2023, pp. 123—132.Bosse S., Garrido P. Benign vs. Malign: Real-Time Deepfake Detection on Mobile Devices // Proc. IEEE/CVF Conf. on Computer Vision and Pattern Recognition Workshops (CVPR Workshops). 2023. P. 123—132.Korobkin D. M., Fomenkov S. A., Zlobin A. R., Vereshchak G. A. Formation of metrics of innovation potential and prospects of technological forecasting, Informacionnye Tehnologii, 2023, vol. 29, no. 4, pp. 215—223 (in Russian).Коробкин Д. М., Фоменков С. А., Злобин А. Р., Верещак Г. А. Формирование метрик инновационного потенциала и перспектив технологического прогнозирования // Информационные технологии. 2023. Т. 29, № 4. С. 215—223.