Infokommunikacionnye tehnologiiInfokommunikacionnye tehnologiiИнфокоммуникационные технологии2073-3909Povolzhskiy State University of Telecommunications and Informatics68982810.18469/ikt.2024.22.1.13New information technologiesНовые информационные технологииResearch ArticleDevelopment of a natural language processing tool for solving the application problem of extracting statistical data from textРазработка инструмента обработки естественного языка для решения прикладной задачи извлечения статистических данных из текстаZakharovaO. I.ЗахароваО. И.
Russian Federation

Associated Professor of Information Systems and Technologies Department, Deputy Head of the Research Laboratory of Artificial Intelligence, PhD in Technical Science

к.т.н., доцент, доцент кафедры информационных систем и технологий (ИСТ), заместитель заведующего научно-исследовательской лабораторией искусственного интеллекта (НИЛ ИИ)

o.zaharova@psuti.ruBednyakS. G.БеднякС. Г.
Russian Federation

Associated Professor of Information Systems and Technologies Department, PhD in Pedagogical Sciences

к.п.н., доцент, доцент кафедры ИСТ

s.bednyak@psuti.ruPovolzhskiy State University of Telecommunications and InformaticsПоволжский государственный университет телекоммуникаций и информатики09032025221931022308202523082025Copyright ©; 2025, Zakharova O.I., Bednyak S.G.Copyright ©; 2025, Захарова О.И., Бедняк С.Г.2025Zakharova O.I., Bednyak S.G.Захарова О.И., Бедняк С.Г.https://creativecommons.org/licenses/by-nc-nd/4.0https://journals.eco-vector.com/2073-3909/article/view/689828

Text analytics is used to explore textual content and obtain new variables from raw text, which can be used as input data for forecasting models or other statistical methods, including for solving fundamental problems. The purpose of the research: to analyze machine learning algorithms, practical developments in this field and to develop an integrated software instrument for text processing, using the structure of the algorithm, based on the BasicStats, ReadabilityStats, SovChLit libraries, allowing to extract statistics from raw texts of large volumes in Russian. A method of extracting sta-tistical data from raw texts of large volumes based on machine learning and natural language processing in Python has been implemented, with the possibility of embedding it into other projects. A software instrument that use the functionality of textary library adapted for Russian language was developed, which allows to work with both texts and Doc-objects generated with spaCY library. The study was conducted using real text data collected from the information and news portal for the Samara region «63.ru» (in the context of the implementation of the conceptual project «Data Farm» by the artificial intelligence research laboratory). The developed software for extracting statistical data from text allows analyzing large volumes of text data and extracting useful information from them. It can be integrated into other software solutions as one of the linking modules in the of code optimization chain for text data processing programs.

Текстовая аналитика используется для изучения текстового содержимого и получения новых переменных из необработанного текста, которые можно использовать в качестве входных данных для моделей прогнозирования или других статистических методов, в том числе при решении фундаментальных задач. Цель исследования: проанализировать алгоритмы машинного обучения, практические наработки в этой области и разработать интегрируемый программный инструмент обработки текста, используя структуру алгоритма, на основе библиотек BasicStats, ReadabilityStats, SovChLit, позволяющий извлекать статистику из текстов большого объема на русском языке. Реализован метод извлечения статистических данных из необработанных текстов больших объемов на основе машинного обучения и обработки естественного языка на языке Python, с возможностью встраивания в другие проекты. Разработан программный инструмент, использующий функционал адаптированной для русского языка библиотеки textary, который позволяет работать как с текстами, так и с Doc-объектами, подготовленными с помощью библиотеки spaCY. Для проведения исследования были задействованы реальные текстовые данные, собранные с информационно-новостного портала по Самарской области «63.ru» (в рамках реализации концептуального проекта «Ферма данных» научно-исследовательской лаборатории искусственного интеллекта). Разработанный программный инструмент извлечения статистических данных из текста позволяет анализировать большие объемы текстовых данных и извлекать из них полезную информацию. Его можно интегрировать в другие программные решения, как один из связующих модулей в цепи оптимизации кода для программ по обработке текстовых данных.

Natural Language Processing; natural language processing algorithm; text processing; statistical extraction; machine learning; PythonNatural Language Processing; алгоритм обработки естественного языка; обработка текста; извлечение статистических данных; машинное обучение; PythonZakharova O.I. Development of a system for analysis and processing of text data. Problemy tekhniki i tekhnologij telekommunikacij (PTiTT-2023): materialy XXV Mezhdunarodnoj nauchno-tekhnicheskoj konferencii. Kazan’: KNITU-KAI, 2023, pp. 261–262. (In Russ.)Захарова О.И. Разработка системы анализа и обработки текстовых данных // Проблемы техники и технологий телекоммуникаций (ПТиТТ-2023): материалы XXV Международной научно-технической конференции. Казань: КНИТУ-КАИ, 2023. С. 261–262.Kuleshov S.V., Zaitseva A.A., Levashkin S.P. Technologies and principles of unstructured distributed data processing in the context of modern media content providing. Informatizaciya i svyaz’, 2020, no. 5. pp. 22–28. DOI: 10.34219/2078-8320-2020-11-5-22-28 (In Russ.)Кулешов С.В., Зайцева А.А., Левашкин С.П. Технологии и принципы сбора и обработки неструктурированных распределенных данных с учетом современных особенностей предоставления медиа-контента // Информатизация и связь. 2020. № 5. С. 22–28. DOI: 10.34219/2078-8320-2020-11-5-22-28Zakharova O.I. Semantic analysis and synthesis of text data. Vestnik Voronezhskogo gosudarstvennogo universiteta. Seriya: Sistemnyj analiz i informacionnye tekhnologii, 2023, no. 4, pp. 182–208. DOI: 10.17308/sait/1995-5499/2023/4/182-208 (In Russ.)Захарова О.И. Семантический анализ и синтез текстовых данных. Вестник Воронежского государственного университета. Серия: Системный анализ и информационные технологии. 2023. № 4. С. 182–208. DOI: 10.17308/sait/1995-5499/2023/4/182-208Smetanin S., Komarov M. Deep transfer learning baselines for sentiment analysis in Russian. Information Processing & Management, 2021, vol. 58, no. 3, pp. 102484. DOI:10.1016/j.ipm.2020.102484. URL: https://www.sci-hub.ru/10.1016/j.ipm.2020.102484 (accessed: 28.06.2024).Smetanin S., Komarov M. Deep transfer learning baselines for sentiment analysis in Russian // Information Processing & Management. 2021. Vol. 58, no. 3. P. 102484. DOI:10.1016/j.ipm.2020.102484. URL: https://www.sci-hub.ru/10.1016/j.ipm.2020.102484 (дата обращения: 28.06.2024).Shavrina T.O. Methods of computational linguistics in the evaluation of artificial intelligence systems. Voprosy yazykoznaniya, 2021, no. 6, pp. 117–138. DOI: 10.31857/0373-658X.2021.6.117-138 (In Russ.)Шаврина Т.О. О методах компьютерной лингвистики в оценке систем искусственного интеллекта // Вопросы языкознания. 2021. № 6. С. 117–138. DOI: 10.31857/0373-658X.2021.6.117-138Leshchinskaya N.M., Kolesnik M.A. Implementation of artificial intelligence technologies in Russia. Sociologiya iskusstvennogo intellekta, 2023, vol. 4, no. 2, pp. 63–72. (In Russ.)Лещинская Н.М., Колесник М.А. Внедрение технологий искусственного интеллекта в России // Социология искусственного интеллекта. 2023. Т. 4, № 2. С. 63–72.Hartmann J. et al. Comparing automated text classification methods. International Journals of Research Marketing, 2019, vol. 36, no. 1, pp. 20–36. DOI:10.1016/j.ijresmar.2018.09.009. URL: https://www.sci-hub.ru/10.1016/j.ijresmar.2018.09.009 (accessed: 20.07.2024).Comparing automated text classification methods / J. Hartmann [et al.] // International Journals of Research Marketing. 2019. Vol. 36, no. 1. P. 20–36. DOI:10.1016/j.ijresmar.2018.09.009. URL: https://www.sci-hub.ru/10.1016/j.ijresmar.2018.09.009 (дата обращения: 20.07.2024).Liu Y. et al. A robustly optimized BERT pretraining approach. URL: https://arxiv.org/pdf/1907.11692.pdf (accessed: 28.07.2024).A robustly optimized BERT pretraining approach / Y. Liu [et al.]. URL: https://arxiv.org/pdf/1907.11692.pdf (дата обращения: 28.07.2024).Zakharova O.I., Levashkin S.P., Ivanov K.N. Modern Python libraries for collecting data from the Internet. Problemy tekhniki i tekhnologij telekommunikacij (PTiTT-2020): materialy XXII Mezhdunarodnoj nauchno-tekhnicheskoj konferencii, Samara: PSUTI, 2020, pp. 316–317. (In Russ.)Захарова О.И., Левашкин С.П., Иванов К.Н. Современные библиотеки Python для сбора данных из интернета // Проблемы техники и технологий телекоммуникаций (ПТиТТ-2020): материалы XXII Международной научно-технической конференции. Самара: ПГУТИ, 2020. С. 316–317.Ansari G.J. et al. A novel machine learning approach for scene text extraction. Future Generation Computer Systems, 2018, vol. 87, pp. 328–340. DOI: 10.1016/J.FUTURE.2018.04.074A novel machine learning approach for scene text extraction / G.J. Ansari [et al.] // Future Generation Computer Systems. 2018. Vol. 87. P. 328–340. DOI: 10.1016/J.FUTURE.2018.04.074Kim H. et al. Towards perfect text classification with Wikipedia-based semantic Naïve Bayes learning. Neurocomputing, 2018, vol. 315, pp. 128–134. DOI: 10.1016/J.NEUCOM.2018.07.002Towards perfect text classification with Wikipedia-based semantic Naïve Bayes learning / H. Kim [et al.] // Neurocomputing. 2018. Vol. 315. P. 128–134. DOI: 10.1016/J.NEUCOM.2018.07.002Kratzwald B. et al. Deep learning for affective computing: Text-based emotion recognition in decision support. Decision Support Systems, 2018, vol. 115, pp. 24–35. DOI: 10.1016/J.DSS.2018.09.002Deep learning for affective computing: Textbased emotion recognition in decision support / B. Kratzwald [et al.] // Decision Support Systems. 2018. Vol. 115. P. 24–35. DOI: 10.1016/J.DSS.2018.09.002Taylor E.M. et al. Web opinion mining and sentimental analysis. Advanced Techniques in Web Intelligence-2, 2013, pp. 105–126. DOI: 10.1007/978-3-642- 33326-2_5Web opinion mining and sentimental analysis / E.M. Taylor [et al.] // Advanced Techniques in Web Intelligence-2. P. 105–126. DOI: 10.1007/978-3-642-33326-2_5Wang Z. et al. A hybrid model of sentimental entity recognition on mobile social media. EURASIP Journal on Wireless Communications and Networking. DOI: 10.1186/s13638-016-0745-7. URL: https://sci-hub.ru/10.1186/s13638-016-0745-7 (accessed: 25.08.2024).A hybrid model of sentimental entity recognition on mobile social media / Z. Wang [et al.] // EURASIP Journal on Wireless Communications and Networking. DOI: 10.1186/s13638-016-0745-7. URL: https://sci-hub.ru/10.1186/s13638-016-0745-7 (дата обращения: 25.08.2024).Altınel B., Ganiz M.C. Semantic text classification: A survey of past and recent advances. Information Processing & Managemen, 2018, vol. 54, no. 6, pp. 1129–1153. DOI: 10.1016/J.IPM.2018.08.001Altınel B., Ganiz M.C. Semantic text classification: A survey of past and recent advances // Information Processing & Managemen. 2018. Vol. 54, no. 6. P. 1129–1153. DOI: 10.1016/J.IPM.2018.08.001Chatterjee A. et al. Understanding emotions in text using deep learning and big data. Computers in Human Behavior, 2019, vol. 93, pp. 309–317. DOI: 10.1016/J.CHB.2018.12.029Understanding emotions in text using deep learning and big data / A. Chatterjee [et al.] // Computers in Human Behavior. 2019. Vol. 93. P. 309–317. DOI: 10.1016/J.CHB.2018.12.029Mazharul S.M. et al. Sentiment analysis of tweet data. Hoque Chowdhury. URL: https://www.researchgate.net/publication/324965434_SENTIMENT_ANALYSIS_OF_TWEET_DATA (accessed: 27.4.2024).Sentiment analysis of tweet data / S.M. Mazharul [et al.] // Hoque Chowdhury. URL: https:// www.researchgate.net/publication/324965434_SENTIMENT_ANALYSIS_OF_TWEET_DATA (дата обращения: 27.4.2024).Allahyari M. et al. A Brief Survey of Text Mining: Classification, Clustering and Extraction Techniques. URL: https://www.researchgate.net/publication/318336890_A_Brief_Survey_of_Text_Mining_Classification_Clustering_and_Extraction_Techniques (accessed: 30.08.2024).A brief survey of text mining: classification, clustering and extraction techniques / M. Allahyari [et al.]. URL: https://www.researchgate.net/publication/318336890_A_Brief_Survey_of_Text_Mining_Classification_Clustering_and_Extraction_Techniques (дата обращения: 30.08.2024).Hedderich M.A. et al. A survey on recent approaches for natural language processing in low-resource scenarios. Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 2021, pp. 2545–2568.A survey on recent approaches for natural language processing in low-resource scenarios / M.A. Hedderich [et al.] // Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. 2021. P. 2545–2568.Popovski G., Seljak B.K., Eftimov T. A survey of named-entity recognition methods for food information extraction. IEEE Access, 2020, vol. 8, pp. 31586–31594. DOI: 10.1109/ACCESS.2020.2973502Popovski G., Seljak B.K., Eftimov T. A survey of named-entity recognition methods for food information extraction // IEEE Access. 2020. Vol. 8. P. 31586–31594. DOI: 10.1109/ACCESS.2020.2973502Devlin J. et al. Bert: Pre-training of deep bidirectional transformers for language understanding. URL: https://arxiv.org/pdf/1810.04805 (accessed: 29.08.2024).Bert: Pre-training of deep bidirectional transformers for language understanding / J. Devlin [et al.]. URL: https://arxiv.org/pdf/1810.04805 (дата обращения: 29.08.2024).Canete J. et al. Spatish pre-trained BERT model and evaluation data. Accepted as a workshop paper at PML4DC (ICLR). URL: https://www.researchgate.net/publication/372962444_Spanish_Pre-trained_BERT_Model_and_Evaluation_Data (accessed: 20.08.2024).Spatish pre-trained BERT model and evaluation data / J. Canete [et al.] // Accepted as a workshop paper at PML4DC (ICLR). URL: https://www.researchgate.net/publication/372962444_Spanish_Pre-trained_BERT_Model_and_Evaluation_Data (дата обращения: 20.08.2024).Ivanov K.N., Zakharova O.I. Natural language processing. application of language models. Aktual’nye problemy informatiki, radiotekhniki i svyazi: materialy XXX Rossijskoj nauchnotekhnicheskoj konferencii. Samara: PSUTI, 2023, pp. 155–156. (In Russ.)Иванов К.Н., Захарова О.И. Обработка естественного языка. Применение языковых моделей // Актуальные проблемы информатики, радиотехники и связи: материалы XXX Российской научно-технической конференции. Самара: ПГУТИ, 2023. С. 155–156.