Informacionnye TehnologiiInformacionnye TehnologiiИнформационные технологии1684-6400New Technologies Publishing House70244210.17587/it.30.622-632Intelligent systems and technologiesИнтеллектуальные системы и технологииResearch ArticleTokenization of political texts in BERT models using ICF+ ontologiesТокенизация политических текстов в BERT-моделях с использованием ICF+-онтологийhttps://orcid.org/0000-0003-1694-7410KashirinI. Yu.КаширинИ. Ю.
Russian Federation

Dr. Tech. Sc., Professor

д-р техн. наук, проф.

igor-kashirin@mail.ruRyazan State Radio Engineering University named after V. F. UtkinРязанский государственный радиотехнический университет имени В. Ф. Уткина1512202430126226320902202609022026Copyright ©; 2024, Informacionnye TehnologiiCopyright ©; 2024, Информационные технологии2024Informacionnye TehnologiiИнформационные технологииhttps://journals.eco-vector.com/1684-6400/article/view/702442

The design of machine learning language models, as well as their ensembles, used in complex analytics of news texts of domestic and Western electronic media is considered. An example of software implementation of a new language neural network model with problem-oriented ontological tokenization is given. The language used as tools is Python v.3.10, Anaconda v.2.1. The effectiveness of the approach in comparison with the best foreign analogues is confirmed by a series of experiments using the example of classifying news articles according to their ideological orientation into Western and English-language Russian ones.

Рассматривается проектирование языковых моделей машинного обучения, а также их ансамблей, применяемых в сложной аналитике новостных текстов отечественных и западных электронных средств массовой информации. Приводится пример программной реализации новой языковой нейросетевой модели с проблемноориентированной онтологической токенизацией. В качестве инструментария используется язык Python v.3.10, Anaconda v.2.1. Эффективность подхода в сравнении с лучшими зарубежными аналогами подтверждается серией экспериментов на примере классификации новостных статей по их идеологической направленности на западные и англоязычные российские.

Bert modelsontological modelsICF + relationtokenizerretrieverpolitical newsensembles of ML modelsforecastingsemantic similarityBert-моделионтологические моделиICF +-отношениетокенайзерретриверполитические новостиансамбли ML-моделейпрогнозированиесемантическое сходствоAnastas’yev A. A., Astashkin M. S., Agafonov P. A., Kashirin I. Yu. Determining the reliability of news using knowledge-based ML models, IIASU’23 — Artificial intelligence in management, control, and data processing systems. Proceedings of the II All-Russian scientific conference (Moscow, April 27—28, 2023), 2023, vol. 2, pp. 21—27.Анастасьев А. А., Асташкин М. С., Агафонов П. А., Каширин И. Ю. Определение достоверности новостей с использованием Ml-моделей, основанных на знаниях // IIA-SU’23 — Artificial intelligence in management, control, and data processing systems. Proceedings of the II All-Russian scientific conference (Moscow, April 27—28, 2023). 2023. Vol. 2. Р. 21—27.Platonov Ye. N., Rudenko V. Yu. Identification and classification of toxic statements by machine learning methods, Data modeling and analysis, 2022, vol. 12, no. 1, pp. 27—48.Платонов Е. Н., Руденко В. Ю. Выявление и классификация токсичных высказываний методами машинного обучения // Моделирование и анализ данных. 2022. Т. 12, № 1. C.27—48.Badjatiya P., Gupta S., Gupta M., Varma V. Deep learning for hate speech detection in tweets, Proceedings of the 26th International Conference on World Wide Web Companion, 2017, pp. 759—760.Badjatiya P., Gupta S., Gupta M., Varma V. Deep learning for hate speech detection in tweets // Proceedings of the 26th International Conference on World Wide Web Companion. 2017. P. 759—760.Agrawal A., An A. Affective representations for sarcasm detection, 41st International ACM SIGIR Conference on Research and Development in Information Retrieval, SIGIR 2018, pp. 1029—1032.Agrawal A., An A. Affective representations for sarcasm detection // 41st International ACM SIGIR Conference on Research and Development in Information Retrieval. SIGIR 2018. P. 1029—1032.BingLiu H., Shu L., Yu Ph. S. BERT post-training for review reading comprehension and aspect-based sentiment analysis, arXiv preprint arXiv:1904.02232 (2019).BingLiu H., Shu L., Yu Ph.S. BERT post-training for review reading comprehension and aspect-based sentiment analysis // arXiv preprint arXiv:1904.02232 (2019).Chiarcos C., Apostol E.-S., Kabashi B., Truică C.-O. Modelling frequency, attestation, and corpus-398 based information with OntoLex-FrAC, Proceedings of the 29 th International Conference on 400 Computational Linguistics, pp. 4018—4027.Chiarcos C., Apostol E.-S., Kabashi B., Truică C.-O. Modelling frequency, attestation, and corpus-398 based information with OntoLex-FrAC // In Proceedings of the 29th International Conference on 400 Computational Linguistics. 2022. P. 4018—4027.Roumeliotis K. I., Tselikas N. D. ChatGPT and Open-AI Models: A Preliminary Review, Future Internet, 2023, vol. 15, pp. 192, available at: https: //doi.org/10.3390 /fi15060192.Roumeliotis K. I., Tselikas N. D. ChatGPT and Open-AI Models: A Preliminary Review // Future Internet. 2023. Vol. 15. P. 192. https: //doi.org/10.3390 /fi15060192.An international repository for data analysis and original technological solutions. [Electronic resource]. 2024. Date of update: 10.04.2024. URL: https://www.kaggle.com/ (date of access: 16.04.2022).Международный репозиторий для анализа данных и оригинальных технологических решений. [Электронный ресурс]. 2024. Дата обновления: 10.04.2024. URL: https://www. kaggle.com/ (дата обращения: 16.04.2022).International repository of language neural network models. [Electronic resource], 2024, update date: 12.03.2024, available at: https://huggingface.co/models (date of access: 26.09.2023).Международный репозиторий языковых нейросетевых моделей. [Электронный ресурс]. 2024. Дата обновления: 12.03.2024. URL: https://huggingface.co/models. (дата обращения: 26.09.2023).Kashirin I. Yu. Application of hierarchical number theory in the construction of ICF taxonomy for optimization of neural networks, Vestnik RGRTU, 2022, pp. 118—126Каширин И. Ю. Применение иерархической теории чисел при построении таксономии ICF для оптимизации нейронных сетей // Вестник РГРТУ. 2022. С. 118—126.Bader F., Calvanese D., MacGuinness D., Nardi D., Patel Schneider P. ed. The Description Logics Handbook. Theory, Implementation and Applications, New York, Cambridge University Press, 2003.The Description Logics Handbook. Theory, Implementation and Applications. Ed. By F. Bader, D. Calvanese, D. MacGuinness, D. Nardi, P. Patel Schneider. New York: Cambridge University Press, 2003.Kashirin I. Yu., Filatov I. Yu. Formalized Description of Intuitive Perception Of Spatial Situations, 2019 8th Mediterranean Conference on Embedded Computing (MECO), Budva, Montenegro, 2019, pp. 1—4.Kashirin I. Yu., Filatov I. Yu. Formalized Description Of Intuitive Perception Of Spatial Situations // 2019 8th Mediterranean Conference on Embedded Computing (MECO), Budva, Montenegro. 2019. P. 1—4.Duineveld A. J., Stoter R., Weiden M. R., Kenepa B., Benjamins V. R. WonderTools? A comparative study of ontological engineering tools, International Journal of Human-Computer Studies , 2000, vol. 52, no. 6, pp. 1111—1133.Duineveld A. J., Stoter R., Weiden M. R., Kenepa B., Benjamins V. R. WonderTools? A comparative study of ontological engineering tools // International Journal of Human-Computer Studies. 2000. Vol. 52, N. 6. P. 1111—1133.Kashirin D. I., Kashirin I. YU., Pyl’kin A. N. Polimorficheskoye predstavleniye znaniy v Semantic Web, Moscow, Goryachaya liniya — Telekom, 2009, 138 p.Каширин Д. И., Каширин И. Ю., Пылькин А. Н. Полиморфическое представление знаний в Semantic Web. М.: Горячая линия — Телеком, 2009. 138 с.Kashirin I. Yu. Iyerarkhicheskiye chisla dlya proyektirovaniya taksonomiy iskusstvennogo intellekta ICF, Vestnik RGRTU, 2020, no. 71, pp. 71—82.Каширин И. Ю. Иерархические числа для проектирования таксономий искусственного интеллекта ICF // Вестник РГРТУ. 2020. № 71. С.71—82.Definition of hierarchical numbers. [Electronic resource], 2024, update date: 03/04/2024, available at: https://kashirin.net/ definition-of-hierarchical-numbers (access date: 04/16/2022).Definition of hierarchical numbers. [Electronic resource]. 2024. Update date: 03/04/2024. URL: https://kashirin.net/defini- tion-of-hierarchical-numbers (access date: 04/16/2022).