Informacionnye TehnologiiInformacionnye TehnologiiИнформационные технологии1684-6400New Technologies Publishing House70207910.17587/it.31.517-525Intelligent systems and technologiesИнтеллектуальные системы и технологииResearch ArticleAlgorithm for detection relevant text elements based on morphological and frequency analysisАлгоритм выявления значимых текстовых элементов на основе морфологического и частотного анализаVeselovskyV. M.ВеселовскийВ. М.
Russian Federation

Student

студент

vladveselovskij4147@gmail.comKhalabiyaR. F.ХалабияР. Ф.
Russian Federation

Ph.D. in Engineering sciences, Associate Professor

канд. техн. наук, доц.

rustam-capitan@mail.ruStepanovaI. V.СтепановаИ. В.
Russian Federation

Ph.D. in Geology and Mineralogy Sciences, Associate Professor

канд. геол.-минерал. наук, доц.

ivs_rrr@mail.ruMoscow Technical University of Communications and InformaticsМосковский технический университет связи и информатики1510202531105175250202202602022026Copyright ©; 2025, Informacionnye TehnologiiCopyright ©; 2025, Информационные технологии2025Informacionnye TehnologiiИнформационные технологииhttps://journals.eco-vector.com/1684-6400/article/view/702079

The main object of this work is to automate the process of detection key words and phrases using modern natural language processing methods, which will improve the structure and classification of text data, as well as adapt them for further integration with classification systems. For this purpose, algorithm for automatic detection of key words and phrases from texts in Russian language is proposed for use in working with complex multi-level classification systems such as UDC, GRNTI. This algorithm can work with single texts without linking them to collections of documents. А joint frequency and morphological analysis was used to detect keywords and phrases, take into account the structure of the document. When detection of key phrases, lexical and grammatical patterns consists of adjectives and nouns were used as well as stable combinations of nouns. The algorithm effective works with large texts divided into segments (ones of relevant). To adjust the rank of a relevant text element calculated using frequency analysis. А special coefficient is introduced that depend on the areas of occurrence of keywords. The comparative analysis showed that, in comparison with the TF-IDF and TextRank algorithms, the developed algorithm demonstrates high efficiency in detection key words. The integration of the automatic text analysis algorithm with classification systems discovers an additional opportunities to structure knowledge and to improve process efficiency the large amounts of data.

Предложен алгоритм автоматического извлечения ключевых слов и фраз из текстов на русском языке для использования в работе со сложными многоуровневыми классификационными системами типа УДК, ГРНТИ. Алгоритм может работать на единичных текстах без их привязки к коллекциям документов. Для обнаружения ключевых слов и фраз использован совместный частотный и морфологический анализ с учетом структуры документа. Проведенный сравнительный анализ показал, что в сравнении с алгоритмами TF-IDF и TextRank разработанный алгоритм демонстрирует более высокую эффективность в выявлении ключевых фраз.

text analysiskeywordkey phrasesstable combinationfrequency analysisfrequency dictionarytokenizationlemmatizationmorphological analysistext classificationанализ текстаключевое словоключевые фразыустойчивое сочетаниечастотный анализчастотный словарьтокенизациялемматизацияморфологический анализклассификация текстовFomin V. V. Osochkin A. A. А comparative study of the index of the frequency and morphological methods for automatic text summarisation of texts, Novye Obrazovatel’nye Strategii v Sovremennom Informatsionnom Prostranstve, 2020, pp. 189—197(in Russian).Фомин В. В., Осочкин А. А. Сравнительное исследование индексных частотно-морфологических методов автореферирования текстов // Новые образовательные стратегии в современном информационном пространстве. 2020. С. 189—197.Larionov V. D. Comparison of algorithms for extracting keywords from Russian-language news articles, Zametki po Informatike i Matematike: Sbornik nauchnykh statei, Yaroslavl, Yaroslavskii gosudarstvennyi universitet im. P. G. Demidova, 2021, vol. 13, p. 118—125 (in Russian).Ларионов В. Д. Сравнение алгоритмов для извлечения ключевых слов из русскоязычных новостных статей // Заметки по информатике и математике: Сборник научных статей. Выпуск 13. Ярославль: Ярославский государственный университет им. П. Г. Демидова, 2021. С. 118—125.Mokhammad Zh. Kh. Keyword extraction based on large language models, Izvestiya YuFU. Tekhnicheskie Nauki, 2024, no. 5 (241), pp. 143—151, DOI: 10.18522/2311-3103-2024-5-143-151 (in Russian).Мохаммад Ж. Х. Извлечение ключевых фраз на основе больших языковых моделей // Известия ЮФУ. Технические науки. 2024. № 5(241). С. 143—151. DOI: 10.18522/23113103-2024-5-143-151.Romanadze E. L., Sudakov V. A., Kislinsky V. G. Development of a Keyphrase Extraction Method Based on a Probabilistic Topic Model, Modelirovanie i Analiz Dannykh, 2022, vol. 12, no 2, pp. 20—33, DOI: 10.17759/mda.2022120202 (in Russian).Романадзе Е. Л., Судаков В. А., Кислинский В. Г. Разработка метода извлечения ключевых слов на основе вероятностной тематической модели // Моделирование и анализ данных. 2022. Т. 12, № 2. С. 20—33. DOI: 10.17759/mda.2022120202.Ovchinnikova K. A., Sidorova E. A. Generation of lexical and syntactic patterns of ontological design based on competence assessment questions, Sistemnaya Informatika, 2022, no. 21, pp. 47—64, DOI: 10.31144/SI.2307-6410.2022.N21.P47-64.Овчинникова К. А., Сидорова Е. А. Генерация лексико-синтаксических паттернов онтологического проектирования на основе вопросов оценки компетенции // Системная информатика. 2022. № 21. С. 47—64. DOI: 10.31144/ SI.2307-6410.2022.N21.P47-64.Abanin D. A., Kurmyza P. S., Sherkunov V. V. Development of algorithms and tools for extracting structure and keywords from text documents, Vestnik Ul’yanovskogo Gosudarstvennogo Tekhnicheskogo Universiteta, 2022, no. 4 (100), pp. 46—51 (in Russian).Абанин Д. А., Курмыза П. С., Шеркунов В. В. Разработка алгоритмов и средств извлечения структуры и ключевых слов из текстовых документов // Вестник Ульяновского государственного технического университета. 2022. № 4 (100). С. 46—51.Mokhammad Zh. Kh., Mansur A. M., Kravchenko Yu. А., Bova V. V. А method for extracting keywords based on a new ranking function, Informatsionnye Tekhnologii, 2022, vol. 28, no. 9, pp. 465—474, DOI: 10.17587/it.28.465-474 (in Russian).Мохаммад Ж. Х., Мансур А. М., Кравченко Ю. А., Бова В. В. Метод извлечения ключевых фраз на основе новой функции ранжирования // Информационные технологии. 2022. Т. 28, № 9. С. 465—474. DOI: 10.17587/it.28.465-474Savelyev A. O., Kuznetsov S. A. Estimation of similarity of weakly structured datasets based on cosine similarity and TF- IDF, Molodezh’ i sovremennye informatsionnye tekhnologii: Sbornik trudov XVIII Mezhdunarodnoi nauchno-prakticheskoi konferentsii, Tomsk, Natsional’nyi issledovatel’skii Tomskii politekhnicheskii universitet, 2021, pp. 334—335 (in Russian).Савельев А. О., Кузнецов С. А. Оценка сходства наборов слабоструктурированных данных на базе косинусного сходства и TF-IDF // Молодежь и современные информационные технологии: Сборник трудов XVIII Международной научно-практической конференции. Томск: Национальный исследовательский Томский политехнический университет, 2021. С. 334—335.Palmov S. V., Salikhov R. R. Comparative analysis of the PYMORPHY3 and PYMYSTEM3 libraries, Nauka i Biznes: Puti Razvitiya, 2024, no. 6(156), pp. 45—49 (in Russian).Пальмов С. В., Салихов Р. Р. Сравнительный анализ библиотек PYMORPHY3 и PYMYSTEM3 // Наука и бизнес: пути развития. 2024. № 6 (156). С. 45—49.Ivanova I. V., Palmina K. S. Using Python to tokenize text in sentiment analysis, Nauchnye Issledovaniya v Sovremennom Mire. Teoriya i Praktika: Sbornik izbrannykh statei Vserossiiskoi (natsional’noi) nauchno-prakticheskoi konferentsii, Saint-Petersburg, Gumanitarnyi natsional’nyi issledovatel’skii institut "NATSRAZVITIE", 2021, pp. 83—88 (in Russian).Иванова И. В., Пальмина К. С. Использование Python для токенизации текста при сентимент-анализе // Научные исследования в современном мире. Теория и практика: Сборник избранных статей Всероссийской (национальной) научно-практической конференции. СПб: Гуманитарный национальный исследовательский институт "НАЦРАЗВИТИЕ", 2021. С. 83—88.Ayoshin I. T., Fedorov V. A., Gorodov A. A., Goncharov А. E. Tokenizing words and selecting n-grams from text on natural language, Reshetnevskie chteniya: Materialy XXV Mezhdunarodnoi nauchno-prakticheskoi konferentsii, Krasnoyarsk,Sibirskii gosudarstvennyi universitet nauki i tekhnologii imeni akademika M. F. Reshetneva, 2021, vol. 2, pp. 14—16.Ayoshin I. T., Fedorov V. A., Gorodov A. A., Goncharov А. E. Tokenizing words and selecting n-grams from text on natural language // Решетневские чтения: Материалы XXV Международной научно-практической конференции. Часть 2. Красноярск: Сибирский государственный университет науки и технологий имени академика М. Ф. Решетнева, 2021. С. 14—16.Shklyarova E. Yu., Zemlyanskaya S. Yu. Extracting useful information from scientific publications using NLP PYTHON libraries: analysis and practical experience, Materialy XIV Mezhdunarodnoi nauchno-tekhnicheskoi konferentsii Informatika, Upravlyayushchie Sistemy, Matematicheskoe i Komp’yuternoe Modelirovanie, 2023, pp. 318—324 (in Russian).Шклярова Е. Ю., Землянская С. Ю. Извлечение полезной информации из научных публикаций с использованием NLP библиотек PYTHON: Анализ и практический опыт // Материалы XIV Международной научно-технической конференции Информатика, управляющие системы, математическое и компьютерное моделирование (ИУСМКМ-2023). 2023. С.318—324.Politsyna E. V., Politsyn S. A., Porechnyi A. S., Rykunov А. N. Analysis of the quality of work and expansion of the capabilities of morphological analysis tools for texts in Russian, Vestnik VGU, Seriya: Sistemnyi analiz i Informatsionnye Tekhnologii, 2023, no. 2, pp.171—180, DOI: 10.17308/sait/1995- 5499/2023/2/171-180 (in Russian).Полицына Е. В., Полицын С. А., Поречный А. С., Рыкунов А. Н. Анализ качества работы и расширение возможностей инструментов морфологического анализа текстов на русском языке // Вестник ВГУ, Серия: Системный анализ и информационные технологии. 2023.№ 2. С.171—180. DOI: 10.17308/sait/1995-5499/2023/2/171-180.Kovalevskii P. O. Automatic text processing (lemmatization problem), Yazyk, Kul’tura, Mental’nost’: Problemy i Perspektivy Filologicheskikh Issledovanii: Sbornik IV Mezhdunarodnoi nauchnoi konferentsii, Kursk, Yugo-Zapadnyi gosudarstvennyi universitet, 2022, pp. 135—138 (in Russian).Ковалевский П. О. Автоматическая обработка текста (проблема лемматизации) // Язык, культура, ментальность: проблемы и перспективы филологических исследований: Сборник IV Международной научной конференции. Курск: Юго-Западный государственный университет, 2022. С. 135—138.Khramtsov N. S. The problems of evaluating algorithms for automatic keyword, Novye informatsionnye tekhnologii v avtomatizirovannykh sistemakh, 2019, no. 22, pp. 199—203(in Russian).Храмцов Н. С. Проблематика оценивания алгоритмов автоматического извлечения ключевых слов // Новые информационные технологии в автоматизированных системах. 2019. № 22. С. 199—203.Ghukasyan Ts. G. Character N-gram-Based Word Embeddings for Morphological Analysis of Texts. Trudy ISP RAN, 2020, vol. 32, issue 2, pp. 7—14, DOI: 10.15514/ISPRAS-2020-32(2)-1 (in Russian).Гукасян Ц. Г. Векторные модели на основе символьных н-грамм для морфологического анализа текстов// Труды ИСПРАН. 2020. Т. 32, Вып. 2. С.7—14. DOI: 10.15514/ ISPRAS-2020-32(2)-1.