Higher certification commission List: Opportunities and Limitations Regarding the Integration into the System for Scientific Research Evaluation
- Authors: Tretyakova O.V.1
-
Affiliations:
- Vologda Research Center of the Russian Academy of Sciences
- Issue: Vol 94, No 12 (2024)
- Pages: 1115–1128
- Section: ОРГАНИЗАЦИЯ ИССЛЕДОВАТЕЛЬСКОЙ ДЕЯТЕЛЬНОСТИ
- URL: https://journals.eco-vector.com/0869-5873/article/view/677535
- DOI: https://doi.org/10.31857/S0869587324120056
- EDN: https://elibrary.ru/RIKBXH
- ID: 677535
Cite item
Full Text
Abstract
The article is devoted to the formation of “white lists” of scientific periodicals, which have acquired special significance in connection with the reformatting of the system of scientific research assessment in Russia. An assessment is given of the initiative of the Russian regulator to create a categorized list of peer-reviewed scientific publications, the list of publications approved for use in the state scientific certification in economic and sociological disciplines is analyzed. The limitations of this list that complicate its integration into the national system of scientific results assessment are identified, and ways to overcome them are proposed. A pool of journals of low scientific quality is determined; criteria for identifying publications of inadequate quality in the procedures for assessing scientific periodicals are substantiated. The results obtained are important from the point of view of developing models for assessing scientific research that are not tied to international scientometric bases and take into account the interests of national journals.
Full Text
После ухода с российского рынка компаний, владеющих глобальными индексами цитирования “Web of Science” и “Scopus”, отечественная система оценки результативности научных исследований, привязанная до 2022 г. к показателям международных наукометрических баз данных (МНБД), подверглась вынужденной трансформации. Постановлением Правительства РФ введён мораторий на учёт публикаций в журналах МНБД как обязательных при оценке госзаданий, заявок на гранты и госпрограммы [1]. В качестве альтернативы различные экспертные группы предложили использовать в системе мониторинга научной результативности национальные инструменты, разработанные на основе так называемых “белых списков” научной периодики.
“Белые списки” представляют собой ранжированные перечни научных журналов, сформированные национальными экспертными сообществами для оценки научных организаций и исследователей по формальным признакам. Подобные перечни довольно широко применяются в мировой практике [2]. Часто национальные списки включают журналы, не охваченные международными базами данных, в том числе по отдельным дисциплинам, в частности социально-гуманитарным [3, 4]. В ряде стран, например в Польше и Чехии [5, 6], перечни ведущих журналов, выходящих на национальных языках, дополняют в системах оценки списки международных изданий, включённых в МНБД, но за публикации в них начисляется меньше баллов. Более совершенными, по мнению экспертов [7, 8], являются модели, не привязанные к международным базам и учитывающие интересы национальных журналов наравне с международными. Такие решения реализованы в скандинавских странах на базе “норвежской модели” – собственной системы оценки исследований, основанной на белом списке ранжированных по уровням качества журналов и издательств [2, 9]. Разнообразие подходов к составлению “белых списков” обусловлено многокритериальностью и размытостью параметров качества научных журналов [10]. Это в свою очередь порождает проблемы, связанные с неоднородностью готовых перечней и отсутствием единых требований к их наполнению.
В России первые “белые списки” журналов создавались локально на институциональном уровне и использовались отдельными научными организациями и вузами для стимулирования исследователей по показателям публикационной активности. Когда в 2022 г. акценты научной политики сместились на приоритетное распространение результатов научных исследований на национальном уровне и возникла необходимость учёта качества публикаций, включённых в национальные информационные ресурсы, вопросы формирования “белых списков” научной периодики приобрели государственное значение. По поручению Минобрнауки России разработан “Белый список” научных журналов [11], который планируют использовать в процедурах оценки результативности научных организаций [12]. Проведена категоризация перечня рецензируемых научных изданий, в которых должны быть опубликованы основные научные результаты диссертационных исследований на соискание учёной степени кандидата и доктора наук (далее – перечень ВАК) [13].
Результаты этой работы получили предварительные оценки в научном сообществе, хотя справедливости ради следует заметить, что данный опыт всё ещё не осмыслен должным образом. Что касается “Белого списка”, то эксперты отмечают несовершенство методологии его формирования – без учёта мнения профессионального академического сообщества [14]. Список критикуют за неполноту охвата периодики, а также за существенные недоработки методики ранжирования журналов по уровням качества [15, 16]. Категорированный перечень ВАК получил преимущественно общие оценки, касающиеся его места в системе государственной научной аттестации [17] и подходов к формированию основной версии и дополнительной, которая регламентирует ранжирование индексируемых в МНБД журналов [16]. Вместе с тем состав категорий в предметных дисциплинах не получил всестороннего освещения. Чтобы сделать однозначные выводы о пригодности категорированного перечня ВАК для внедрения в систему оценки результативности научных исследований и разработок, необходима серия исследований, посвящённых анализу качества журналов, которыми представлена в перечне каждая научная дисциплина. Учитывая наш экспертный опыт, мы изучили состав журналов по экономическим и социологическим дисциплинам.
Цель исследования – дать оценку инициативе российского регулятора по созданию категорированного перечня рецензируемых научных изданий и провести анализ списка изданий, утверждённого для использования в государственной научной аттестации по экономическим и социологическим дисциплинам. В работе выявлены ограничения перечня, затрудняющие его интеграцию в национальную систему оценки научных результатов, предложены пути их преодоления. Полученные результаты важны для разработки моделей оценки научных исследований, не привязанных к международным наукометрическим базам и учитывающих интересы национальных журналов.
МЕТОДОЛОГИЧЕСКИЕ ОСНОВЫ ИССЛЕДОВАНИЯ
Для исследования были отобраны журналы, которые включены в категорированный перечень ВАК по экономическим и социологическим научным специальностям [13]. Общее число изданий в выборке составило 408 единиц. Журналы ранжированы по трём группам в соответствии с категорией, присвоенной каждому изданию Высшей аттестационной комиссией при Минобрнауки России.
Чтобы сопоставить результаты оценки журналов перечня ВАК, лежащие в основе ранжирования изданий по категориям, с оценкой независимых экспертов, в каждой группе выделены журналы, включённые в международные наукометрические базы данных “Web of Science”, “Scopus” и “Russian Science Citation Index” (RSCI), высокое качество которых подтверждено независимой экспертизой на международном и национальном уровне. Результаты анализа позволили определить, какое место занимают ведущие экономические и социологические журналы в категорированном перечне ВАК.
Центральная часть исследования посвящена журналам, не отвечающим стандартам научного качества. В выборку для анализа были включены издания, не индексируемые в РИНЦ, а также те, которые публикуют более 200 статей в год. Критерий, регламентирующий годовой объём журналов, связан со сложившимися практиками рецензирования: очевидно, что переполненные редакционные портфели не позволяют провести качественную экспертизу статей. В самых крупных ведущих экономических журналах, в которых приняты строгие критерии отбора рукописей после рецензирования, ежегодно публикуется порядка 100 научных статей. В 2021–2023 гг. количество статей, вышедших в ведущих экономических журналах, составило: “Вопросы экономики” – 85–94, “Экономика региона” – 92–95, “Экономические и социальные перемены: факты, тенденции, прогноз” – 88–89. Около 150 исследований ежегодно публикует издание “Мировая экономика и международные отношения” – 145–165 статей в 2021–2023 гг. (по данным РИНЦ по состоянию на октябрь 2024 г.).
Комплексный анализ был построен на сочетании количественных и качественных методов. Определены две группы параметров, характеризующих редакционную политику изданий и содержание публикаций: во-первых, критерии оценки редакционно-издательских процессов (регулярность и соразмерность объёма выпусков; соблюдение заявленной периодичности издания; сроки рецензирования и публикации статей; максимальное число рецензий на одного эксперта; финансовая модель издания); во-вторых, критерии оценки качества научного контента (академический вклад в область знаний; развёрнутое обоснование методологии исследования; обоснование новизны полученных результатов).
Анализ динамики числа опубликованных статей и вышедших номеров позволил определить издания, которые регулярно не соблюдают заявленный объём выпусков и их периодичность, и зафиксировать факты резкого увеличения объёма журналов и публикацию неоправданно большого числа статей. В оценке журналов по этим критериям мы исходили из того, что несоблюдение регулярного объёма выпусков – признак “нестабильности их состояния, неопределённости политики” [18], а издания, нарушающие график выхода или число номеров, по мнению экспертов, вообще не могут считаться периодическими [18]. Случаи кратного увеличения объёма свидетельствуют о недобросовестности изданий. В международной практике этот показатель стал одним из основных при выявлении так называемых “хищнических” журналов [18].
Поскольку определяющим признаком научных изданий считается отбор публикаций на основе экспертизы, в ходе исследования было важно выявить журналы, в которых рецензирование отсутствует либо носит формальный характер. Так как не существует официальных процедур, позволяющих регламентировать статус рецензируемых изданий, редакции определяют его самостоятельно. На практике далеко не все журналы, заявленные как рецензируемые, отбирают рукописи на основе экспертизы. Исходя из анализа годовых объёмов выпусков, сроков и условий рецензирования и выхода статей в свет установлены журналы, которые публикуют слишком большое число статей, не оправданное объективными возможностями экспертизы, рецензируют рукописи в короткие сроки, принимают рецензии от авторов статей, имеют высокую долю заключений, подготовленных одними и теми же экспертами. Мы квалифицировали такие журналы как имеющие признаки формального рецензирования или нерецензируемые и заключили, что они не отвечают базовым стандартам научных изданий. В ходе оценки финансовой модели выделены коммерческие журналы, ориентированные на срочную публикацию статей.
Полученные выводы дополнены результатами оценки качества научного контента. Не ставилась задача охарактеризовать научный уровень журналов, для оценки их содержания использовались параметры, по которым можно выявить тексты описательно-реферативного характера, не содержащие научных результатов и не вносящие вклад в развитие той или иной дисциплины. Важным здесь стал критерий, связанный с оценкой методологии исследования. Отсутствие в статьях обоснования методологии даёт основание полагать, что за такими текстами, как правило, не стоят реально проведённые исследования, в них используются преимущественно вторичные данные.
Анализ выборки по совокупности критериев позволил выделить группу журналов, которые мы квалифицировали как коммерческие издания низкого научного уровня. От научных рецензируемых журналов, политика которых также может предусматривать взимание платы с авторов за некоторые виды редакционных услуг, эти издания отличаются нацеленностью на быструю публикацию максимально возможного числа статей любого качества и получение прибыли за счёт авторов. Количество выпусков и объём каждого из них напрямую зависят от потока поступающих на рассмотрение рукописей и значительно различаются вследствие сокращения или увеличения их числа. Такие журналы нельзя считать рецензируемыми, потому что научная экспертиза рукописей не проводится, а редакции часто симулируют процесс рецензирования, прибегая к различным формальным процедурам, не нацеленным на реальную проверку научного качества статей.
Результаты исследования ограничены масштабом выборки, в которую вошли экономические и социологические журналы, выпускающие более 200 статей в год. Полагаем, что среди изданий другого профиля и меньшего объёма также есть журналы низкого научного уровня. Полученные данные позволили выявить проблемные точки в сформированном перечне ВАК, который утверждён для государственной научной аттестации. Очевидно, что для внедрения списка в систему оценки научной деятельности необходима предварительная экспертиза изданий, включённых в него, с привлечением широкого круга экспертов и использованием инструментов, позволяющих отсеивать журналы, не удовлетворяющие критериям научного качества.
ЭМПИРИЧЕСКАЯ ОЦЕНКА ЖУРНАЛОВ
Исследование построено на выборке журналов, включённых в категорированный перечень ВАК по экономическим и социологическими научным специальностям. Объём выборки составил 408 единиц.
Рис. 1. Распределение экономических и социологических журналов по категориям в перечне ВАК
Источник: составлено автором по данным категорированного перечня ВАК [13].
На рисунке 1 представлено распределение журналов в перечне ВАК по категориям: 108 изданий включены в первую категорию (К1), 206 изданий – во вторую (К2), 94 издания – в третью (К3). Большинство журналов, индексируемых в МНБД и в RSCI, как наиболее научно значимые отнесены к первой категории (61 журнал (К1) – 56%). Высокий научный уровень этих изданий подтверждён независимой экспертизой, в результате которой они вошли в МНБД “Web of Science” и/или “Scopus”, а также в RSCI. Основной массив журналов второй категории представлен журналами, индексируемыми только в РИНЦ. Доля высокорейтинговых журналов в этой категории минимальная: всего пять изданий, включённых в МНБД и RSCI, входят в К2. В третьей категории высокорейтинговые журналы отсутствуют.
В то же время анализ показал, что в категорированный перечень ВАК включены в том числе и издания, которые не индексируются в РИНЦ. Среди экономических и социологических журналов таких выявлено 14 (табл. 1). За исключением одного журнала из К2 все они отнесены в перечне ВАК к 3-й категории. Большинство неиндексируемых в РИНЦ изданий выпускают коммерческие и некоммерческие организации, а также физические лица. Библиометрические показатели этих журналов в РИНЦ не рассчитываются либо рассчитываются частично. По своему составу журналы, не индексируемые в РИНЦ, неоднородны. Среди них есть как издания, которые по разным причинам ещё не включены в РИНЦ, так и журналы, которые ранее в РИНЦ индексировались, но были исключены из списка по причине несоответствия требованиям научной и издательской этики. В системе РИНЦ эти журналы не дифференцированы. Тем не менее исключённый журнал можно определить по наличию у него рассчитанных библиометрических показателей в системе РИНЦ за какой-либо период и отметки об отсутствии индексации в РИНЦ в карточке журнала. У новых журналов, которые ранее не индексировались, метрик нет.
Таблица 1. Сведения об экономических и социологических журналах из перечня ВАК, не индексируемых в РИНЦ
№ п/п | Журнал | Учредитель/издатель | Категория ВАК | Архив на eLIBRARY.R U | Библиометрические показатели РИНЦ |
1 | Образование. Наука. Научные кадры | ООО «Издательство политической литературы “ Единство”» (Москва) | 2 | 2011–2024 гг. | Рассчитаны по 2022 г. включительно |
2 | Век качества | ООО «НИИ экономики связи и информатики “ Интерэкомс”» (Москва) | 3 | 2009–2024 гг. | Не рассчитываются |
3 | Вестник ВЭГУ | Частное образовательное учреждение высшего образования “ Восточная экономико-юридическая гуманитарная академия ” (Уфа) | 3 | 1996–2019 гг. В настоящее время не выходит. С 2020 г. – 0 ст. | Частично не рассчитаны с 2019 г. |
4 | Государственный аудит. Право. Экономик а | Государственный НИИ системного анализа Счётной палаты Российской Федерации (Москва) | 3 | 2009–2017 гг. В настоящее время не выходит. С 2017 г. – 0 ст. | Частично не рассчитаны с 2017 г. |
5 | Евразийское пространство: экономика, право, общество | Юго-Осетинский научно-исследовательский институт им. З.Н. Ванеева (Цхинвал) | 3 | 2021–2024 гг. | Не рассчитываются |
6 | Журнал прикладных исследований | ООО “ Университет дополнительного профессионального образования” (Вологда) | 3 | 2020–2024 гг. | Рассчитаны с 2019 г. |
7 | Индустриальная экономика | ООО “ Университет дополнительного профессионального образования” (Вологда) | 3 | 2020–2024 гг. | Рассчитаны с 2019 г. |
8 | Прогрессивная экономика | Индивидуальный предприниматель К.И. Панина (Белгород) | 3 | 2021–2024 гг. | Не рассчитываются |
9 | Региональная и отраслевая экономика | ООО “ Университет дополнительного профессионального образования” (Вологда) | 3 | 2022–2024 гг. | Не рассчитываются |
10 | Самоуправление | РОО “ Вольное экономическое общество Москвы” | 3 | 2010–2023 гг. | Не рассчитаны с 2022г. |
11 | Социальные и экономические системы | Научный центр изучения социально-экономических конфликтов (Вологда) | 3 | 2018–2024 гг. | Рассчитаны с 2019 г. |
12 | Управленческий учёт | ООО “ Финпресс” (Саратов) | 3 | 2008–2024 гг. | Не рассчитываются |
13 | Финансовая экономика | Фонд содействия развитию экономической науки и образования “ Экономика” (Москва) | 3 | 2009–2023 гг. | Не рассчитываются |
14 | Финансовый бизнес | А.С. Лукин; Издательский Дом “ Финансовый бизнес” (Москва) | 3 | 2009–2024 гг. | Рассчитаны по 2022 г. включительно |
Источник: составлено автором по данным РИНЦ (по состоянию на май 2024 г.), документа ВАК при Минобрнауки России “Итоговое распределение журналов Перечня ВАК по категориям К1, К2, К3 в 2023 году” (по состоянию на декабрь 2023 г.).
Два журнала – “Вестник ВЭГУ” и “Государственный аудит. Право. Экономика” – в настоящее время не выходят. В РИНЦ архивные выпуски “Вестника ВЭГУ” не размещаются с 2020 г., а номера журнала “Государственный аудит. Право. Экономика” отсутствуют с 2017 г. По этой причине мы не оцениваем их показатели. Анализ остальных изданий, не индексируемых в РИНЦ, свидетельствует, что все они не соответствуют основным критериям качества – наиболее значимым для характеристики научных журналов [19]. Так, оценка динамики числа опубликованных статей и вышедших в свет выпусков журналов (табл. 2) позволяет сделать вывод, что десять изданий (п. 3–12 в табл. 2) не соблюдают периодичность и объём выпусков. Это свидетельствует об их нестабильности и неопределённости редакционной политики.
Самые значительные нарушения периодичности допустили следующие журналы: “Индустриальная экономика” (4 выпуска в 2020 г., 22 выпуска в 2021 г., 32 выпуска в 2022 г., 8 выпусков в 2023 г.), “Управленческий учёт” (6 выпусков в 2020 г., 31 выпуск в 2021 г., 37 выпусков в 2022 г., 15 выпусков в 2023 г.), “Журнал прикладных исследований” (7 выпусков в 2020 г., 28 выпусков в 2021 г., 41 выпуск в 2022 г., 14 выпусков в 2023 г.).
Что касается регулярного нарушения объёма изданий, то, например, в 2022 г. в разных выпусках журнала “Финансовая экономика” опубликовано от 37 до 104 статей, “Управленческий учёт” – от 14 до 65 статей, “Финансовый бизнес” – от 24 до 82 статей. В 2023 г. номера журнала “Евразийское пространство: экономика, право, общество” включают от 10 до 39 статей, “Социальные и экономические системы” – от 8 до 17 статей (по данным РИНЦ по состоянию на май 2024 г.).
Были зафиксированы факты резкого увеличения объёма журналов. В таблице 2 цветом выделены периоды, в течение которых число опубликованных статей кратно увеличилось. Максимальные темпы роста – у журнала “Финансовая экономика”: в 2018 г. напечатано 1720 статей, что в 50 раз превышает число публикаций в 2017 г.
Нарушения регулярности и объёма выпусков свидетельствуют о недобросовестности изданий и подтверждают, что их номера формируются не на основе определённой концепции, а путём включения в них всех поступивших в редакцию материалов. То есть речь идёт о превалировании коммерческих интересов. Количество выпусков и объём каждого из них варьируются из-за сокращения или увеличения потока поступающих на рассмотрение рукописей. Практически все рассмотренные издания ежегодно публикуют более 200 статей. Отдельные журналы выпустили более тысячи публикаций: “Финансовая экономика” – 2053 статьи в 2019 г., 1720 в 2018 г. и 1091 в 2020 г.; “Управленческий учёт” – 1130 статей в 2022 г.; “Самоуправление” – 1020 в 2023 г. (табл. 2).
Таблица 2. Динамика числа опубликованных статей и вышедших выпусков экономических и социологических журналов, не индексируемых в РИНЦ
№ п / п | Журнал | Число опубликованных статей, ед. (число выпусков, ед. ) | ||||||||
2015 | 2016 | 2017 | 2018 | 2019 | 2020 | 2021 | 2022 | 2023 | ||
1 | Образование. Наука. Научные кадры | 395 (6) | 246 (6) | 278 (6) | 252 (4) | 232 (4) | 283 (4) | 284 (4) | 273 (4) | 263 (4) |
2 | Век качества | 56 (4) | 32 (4) | 33 (4) | 25 (4) | 41 (4) | 49 (4) | 54 (4) | 56 (4) | 50 (4) |
3 | Евразийское пространство: экономика, право, общество | – | – | – | – | – | – | 57 (4) | 159 (6) | 253 (11) |
4 | Журнал прикладных исследований | – | – | – | – | – | 91 (7) | 403 (28) | 579 (41) | 395 (14) |
5 | Индустриальная экономика | – | – | – | – | 14 (4) | 44 (4) | 309 (22) | 447 (32) | 228 (8) |
6 | Прогрессивная экономика | – | – | – | – | – | – | 50 (12) | 40 (12) | 80 (12) |
7 | Региональная и отраслевая экономика | – | – | – | – | – | – | – | 36 (4) | 198 (7) |
8 | Самоуправление | 146 (12) | 153 (12) | 66 (4) | 158 (8) | 573 (8) | 687 (7) | 812 (6) | 884 (5) | 1020 (6) |
9 | Социальные и экономические системы | 41 (6) | 39 (6) | 43 (6) | 43 (6) | 228 (14) | 149 (12) | |||
10 | Управленческий учёт | 146 (12) | 150 (12) | 147 (12) | 141 (12) | 140 (12) | 64 (6) | 999 (31) | 1130 (37) | 784 (15) |
11 | Финансовая экономика | 72 (5) | 31 (4) | 34 (4) | 1720 (9) | 2053 (12) | 1091 (12) | 765 (12) | 840 (12) | 703 (12) |
12 | Финансовый бизнес | 70 (6) | 73 (6) | 63 (6) | 51 (6) | 48 (6) | 136 (7) | 647 (12) | 425 (12) | 662 (12) |
Источник: составлено автором по данным РИНЦ (по состоянию на май 2024 г.).
Очевидно, что такие объёмные редакционные портфели не могут быть подвергнуты качественному рецензированию. Анализ информации о процедуре рецензирования, размещённой на официальных сайтах журналов по состоянию на май 2024 г., показал, что качество экспертизы в большинстве случаев совершенно не соответствует общепринятым стандартам (табл. 3). Так, многие журналы принимают рецензии от авторов. Это издания “Образование. Наука. Научные кадры”, “Век качества”, “Журнал прикладных исследований”, “Индустриальная экономика”, “Региональная и отраслевая экономика”, “Самоуправление”. Если рецензирование проводится, то в основном членами редколлегии и в очень короткие сроки – до пяти дней в изданиях “Евразийское пространство: экономика, право, общество”, “Журнал прикладных исследований”, “Индустриальная экономика”, “Региональная и отраслевая экономика”, “Самоуправление”. Установлены факты подготовки огромного числа экспертных заключений одним рецензентом. По данным РИНЦ, один и тот же эксперт в период с 2020 по 2021 г. подготовил 101 отзыв для журнала “Индустриальная экономика” и 165 – для “Журнала прикладных исследований1”. На сайтах ряда изданий (“Управленческий учёт”, “Социальные и экономические системы”) вообще отсутствует раздел о рецензировании, регламентирующий порядок и сроки экспертизы рукописей, критерии их отбора, что даёт основание предполагать, что это нерецензируемые журналы. О формальном подходе к рецензированию в ряде журналов, об отсутствии строгого отбора рукописей на основании экспертизы свидетельствует в том числе и низкий (в основном) научный уровень опубликованных работ.
В нескольких изданиях выявлены факты грубого нарушения публикационной этики. Так, в журнале “Индустриальная экономика”, издаваемом ООО “Университет дополнительного профессионального образования”, обнаружены работы несуществующих авторов. В 2019 г. здесь опубликован ряд статей, заимствованных с небольшими коррективами из других журналов. В метаданных публикаций были сохранены аффилиации авторов (в основном с научными организациями, в том числе институтами РАН), но ФИО реальных авторов заменены на данные несуществующих учёных, что подтверждает отсутствие их профилей в системе РИНЦ. Например, текст статьи “Подготовка кадров для экономики региона” (“Индустриальная экономика”. 2019. № 4) заимствован с некоторыми сокращениями из статьи “Подготовка научных кадров для экономики региона”, опубликованной в журнале “Проблемы развития территории” (2012. № 4). Первым автором публикации указана О.П. Жарихина, профиль которой отсутствует в РИНЦ, в аффилированной организации такого сотрудника нет. Поскольку целый ряд статей с подобными нарушениями был опубликован в 2019 г., а в декабре 2020 г. журнал был включён в перечень ВАК по специальности “08.00.05 – Экономика и управление народным хозяйством”2, можно предположить, что подобные манипуляции преследовали цель в короткие сроки создать контент из научных статей авторов, аффилированных с академическими организациями, то есть контент, который удовлетворяет требованиям, предъявляемым к рецензируемым научным изданиям для включения в перечень ВАК. Наличие статей несуществующих авторов, у которых отсутствуют профили в РИНЦ, обнаружено и в других журналах издателя, в частности в выпусках “Журнала прикладных исследований”, вышедших в 2018 г. Используя международную терминологию, данные издания можно отнести к “хищническим”.
Рис. 2. Финансовые модели экономических и социологических журналов, не индексируемых в РИНЦ
Источник : составлено автором по информации с официальных сайтов журналов (по состоянию на май 2024 г.).
Изучение финансовых моделей (рис. 2), применяемых при издании журналов, не индексируемых в РИНЦ, показало, что условием публикации в них, как правило, является оплата автором услуг редакции либо обязательное оформление подписки. При этом стоимость подписки обычно завышена, то есть фактически это полный аналог оплаты публикации авторами. На сайтах четырёх журналов размещена информация об отсутствии оплаты. Однако признаки “хищнических” изданий (взрывной рост публикаций, этические проблемы), выявленные в трёх из них (учредитель – упомянутое ООО “Университет дополнительного профессионального образования”), дают основания полагать, что их финансовая модель так или иначе сопряжена с коммерческой деятельностью организации-учредителя. У ряда журналов финансовая модель непрозрачная: на сайте нет информации о наличии или отсутствии авторской платы за публикации.
Таким образом, анализ изданий, не индексируемых в РИНЦ, позволяет утверждать, что они не отвечают как базовым формальным требованиям, так и критериям качества, предъявляемым к научным журналам: нарушаются периодичность и объём выпусков, рукописи или не рецензируются или их экспертиза носит формальный характер, публикуется огромное количество статей ненадлежащего качества, которые по сути не являются научными произведениями. Эти журналы не нацелены на то, чтобы стать площадкой для обсуждения научных проблем, они ориентированы преимущественно на получение прибыли за счёт оплаты публикаций авторами. Такие журналы следует квалифицировать как коммерческие, нерецензируемые или формально рецензируемые издания низкого научного качества.
Таблица 3. Политика рецензирования и качество научного контента в экономических и социологических журналах из перечня ВАК, не индексируемых в РИНЦ
№ п/п | Журнал | Рецензирование | Наличие статей низкого научного уровня | ||
Принимаются рецензии от авторов | Короткие сроки рецензирования, система быстрых публикаций | Отсутствует раздел о рецензировании на сайте | |||
1 | Образование. Наука. Научные кадры | V | V | ||
2 | Век качества | V | V | ||
3 | Евразийское пространство: экономика, право, общество | V | V | ||
4 | Журнал прикладных исследований | V | V | V | |
5 | Индустриальная экономика | V | V | V | |
6 | Прогрессивная экономика | V | V | ||
7 | Региональная и отраслевая экономика | V | V | V | |
8 | Самоуправление | V | V | V | |
9 | Социальные и экономические системы | V | V | ||
10 | Управленческий учёт | V | V | ||
11 | Финансовая экономика | V | V | ||
12 | Финансовый бизнес | V |
Источник: составлено автором по информации с официальных сайтов журналов (по состоянию на май 2024 г.).
Поскольку эти журналы не индексируются ни в РИНЦ, ни в МНБД, они не соответствуют требованию, которое предъявляют к рецензируемым научным журналам для включения в перечень ВАК, изложенному в пункте 11: “издание должно быть зарегистрировано в Российском индексе научного цитирования (РИНЦ) и/или в другой системе научного цитирования, определяемой международными договорами Российской Федерации и/или рекомендациями Комиссии” [20]. Согласно правилам формирования перечня ВАК [21], в случае несоответствия журнала требованиям, в том числе обозначенным в пункте 11, при наличии рекомендации Высшей аттестационной комиссии Министерство науки и высшего образования РФ исключает издание из перечня ВАК. Однако проведённый нами анализ показал, что на практике данное правило не работает, о чём свидетельствует присутствие в перечне ВАК довольно большого числа журналов, не удовлетворяющих заявленным требованиям. Полагаем, что причина кроется в отсутствии механизмов взаимодействия экспертной группы РИНЦ, которая проводит регулярную оценку качества журналов и прекращает индексацию “нарушителей”, и экспертных советов ВАК, осуществляющих мониторинг перечня рецензируемых изданий.
Среди индексируемых в РИНЦ журналов, включённых в категорированный перечень ВАК, тоже есть издания, в которых публикуется очень большое число статей. Мы выделили 16 таких журналов: 10 среди изданий, отнесённых ко второй категории (К2), и 4 – к третьей (К3). Их количественные и качественные характеристики обобщены в таблице 4.
Учредителями и издателями журналов являются коммерческие ненаучные организации, некоммерческие организации, физические лица (индивидуальные предприниматели). В журналах публикуется от двухсот до нескольких сотен, а в ряде изданий – более тысячи статей: “Инновации и инвестиции” – 1261 статья в 2023 г.; “Экономика и управление: проблемы, решения” – 1320 в 2023 г.; “Экономика и предпринимательство” – 3457 в 2023 г. В отношении всех изданий, кроме одного, зафиксированы периоды, в течение которых число опубликованных статей кратно увеличилось. Максимальные темпы роста у журнала “Экономика и предпринимательство”: в период с 2010 по 2013 г. число опубликованных статей увеличилось в 32 раза (табл. 4).
Таблица 4. Характеристики экономических и социологических журналов из Перечня ВАК, индексируемых в РИНЦ и публикующих более 200 статей в год
№ п/п | Журнал | Учредитель | Категория ВАК | Число опубликованных статей | Признаки формального рецензирования | Оплата публикаций авторами | Наличие статей низкого научного уровня | |||
Период кратного увеличения объёма: число статей (год) | 2021 | 2022 | 2023 | |||||||
1 | Modern Economy Success | ИП Клюева Марина Маратовна (Белгород) | 2 | 8 (2016) 133 (2017) | 240 | 250 | 300 | V | V | |
2 | Инновации и инвестиции | ООО “ Русайнс ” (Москва) | 2 | 14 (2007) 90 (2008) | 643 | 613 | 1261 | Р А | V | V |
3 | Проблемы экономики и юридической практики | Издательский дом “ Юр-ВАК ” (Москва) | 2 | – | 286 | 249 | 243 | н / д | V | |
4 | Социально-гуманитарные знания | ООО «Издательство “ Кнорус ” » (Москва) | 2 | 52 (2007) 234 (2008) | 223 | 253 | 382 | Р А | V | V |
5 | Финансовые рынки и банки | ООО «Издательство “ Кнорус ” » (Москва) | 2 | 60 (2019) 131 (2020) | 237 | 263 | 312 | Р А | V | V |
6 | Экономика и предпринимательство | Горин С.В. | 2 | 68 (2010) 169 (2011) 469 (2012) 2150(2013) | 3482 | 3494 | 3457 | С | V | V |
7 | Экономика и управление: проблемы, решения | Издательский дом “ Научная библиотека ” (Москва) | 2 | 10 (2011) 117 (2012) | 808 | 778 | 1320 | С | V | V |
8 | Экономика строительства | ООО “ Русайнс ” (Москва) | 2 | 42 (2021) 142 (2022) | 42 | 142 | 384 | Р А | V | V |
9 | Экономика устойчивого развития | Общественная академия инновационного устойчивого развития (Краснодар) | 2 | 93 (2011) 148 (2012) | 190 | 151 | 255 | V | V | |
10 | Экономика, предпринимательство и право | ООО “ Первое экономическое издательство ” (Москва) | 2 | 63 (2019) 222 (2020) | 198 | 217 | 426 | V | V | |
11 | Экономика: вчера, сегодня, завтра | Издательский дом “ Аналитика Родис ” (Ногинск) | 2 | 36 (2015) 274 (2016) | 514 | 589 | 762 | С | V | V |
12 | Экономические науки | ООО “ Экономические науки ” | 2 | 41 (2005) 202 (2006) | 485 | 663 | 592 | V | V | |
13 | Московский экономический журнал | Фомин Александр Анатольевич | 3 | 11 (2015) 164 (2016) | 788 | 766 | 668 | Р А , С | V | V |
14 | Наука и образование: хозяйство и экономика, предпринимательство, право и управление | Некоммерческая организация “Фонд поддержки образования и науки в Ростовской области ” (Ростов -на-Дону) | 3 | 90 (2010) 234 (2011) | 417 | 354 | 333 | Р А | V | V |
15 | Наука Красноярья | Научно-инновационный центр (Красноярск) | 3 | 54 (2015) 143 (2016) | 461 | 364 | 264 |
| V | V |
16 | Общество: социология, психология, педагогика | Издательский дом “ ХОРС ” (Краснодар) | 3 | 76 (2015) 377 (2016) | 331 | 379 | 256 | С | V | V |
Условные обозначения: Р А – принимаются готовые рецензии от авторов статей; С – срочные публикации, сопровождающиеся короткими сроками рецензирования |
Источник: составлено автором по данным РИНЦ и официальным сайтам журналов (по состоянию на май 2024 г.).
Анализ информации о процедуре экспертизы и отборе рукописей, размещённой на официальных сайтах журналов по состоянию на май 2024 г., позволил установить, что рецензирование в основном носит формальный характер либо вообще отсутствует. В изданиях “Инновации и инвестиции”, “Московский экономический журнал”, “Наука и образование: хозяйство и экономика, предпринимательство, право и управление”, “Социально-гуманитарные знания”, “Финансовые рынки и банки”, “Экономика строительства” допускается предоставление рецензий авторами в виде отзыва доктора наук, содержащего рекомендацию о публикации статьи. На сайтах изданий “Экономика и предпринимательство” и “Экономические науки” процедура рецензирования не описана. Ряд изданий ориентирован на срочную публикацию статей. Так, короткие сроки рецензирования заявлены “Московским экономическим журналом”, изданиями “Общество: социология, психология, педагогика”, “Экономика и предпринимательство”, “Экономика и управление: проблемы, решения”, “Экономика: вчера, сегодня, завтра”.
Были установлены и другие факты, которые свидетельствуют о несоблюдении редакциями процедуры научной экспертизы, обеспечивающей качество отбираемых к публикации работ. Так, в журнале “Экономика устойчивого развития” рецензирование всех статей проводится силами редакции. При подаче статей в журнал “Проблемы экономики и юридической практики” авторы самостоятельно прикладывают отчёты о проверке рукописей в системе “Антиплагиат”. Издательство, выпускающее журнал “Экономика: вчера, сегодня, завтра”, оказывает услуги по “рецензированию на заказ”, и авторы рукописей могут заключить некий “договор, который даёт дополнительные гарантии на публикацию экономической статьи в журнале” (по данным, размещённым на официальных сайтах журналов, по состоянию на май 2024 г.). В целом можно сделать вывод, что редакции журналов, имеющих завышенные объёмы, имитируют процесс рецензирования, фактически лишь декларируют свои издания как рецензируемые, подменяя научную экспертизу формальным процедурами.
О формальном подходе к рецензированию в указанных изданиях свидетельствует низкое научное качество большинства опубликованных статей. В ходе изучения контента выпусков во всех журналах выявлено множество статей описательно-реферативного характера, не содержащих оригинальных результатов научных исследований. В большинстве из них не описана и не обоснована методология исследований, не просматривается вклад авторов в развитие предметного поля. Все эти журналы взимают плату с авторов за публикацию статей. По информации, указанной на официальных сайтах по состоянию на май 2024 г., стоимость публикации варьируется от 8 тыс. до 16.5 тыс. рублей и более, причём большинство изданий приветствуют ускоренную публикацию статей за повышенную плату. Редакции разрешают многократную публикацию одного и того же автора в пределах одного выпуска, поощряя такое поведение скидками на оплату издательских услуг. Например, журнал “Экономика и предпринимательство” допускает единовременную подачу 10 и более статей.
Таким образом, журналы, публикующие большое число статей, что противоречит объективным возможностям экспертизы, не отвечают стандартам научных изданий. Это коммерческие проекты, ориентированные на быструю публикацию большого числа статей любого качества и получение прибыли за счёт оплаты издательских услуг авторами. Учитывая формальный подход к рецензированию и неприемлемое научное качество публикуемых работ, такие журналы должны официально квалифицироваться как псевдорецензируемые или нерецензируемые, что не позволит использовать их в сфере государственной научной аттестации.
***
Подводя итоги, можно сделать следующие выводы.
- Под влиянием внешних условий система оценки эффективности научных исследований подверглась трансформации. В результате смещения приоритетов с учёта качества международных журналов и их рангов к учёту качества национальных журналов появилась потребность в новых инструментах, альтернативных МНБД. Разработанные с этой целью “Белый список” научных журналов и категорированный перечень ВАК нуждаются в детальной оценке научного сообщества на предмет пригодности для внедрения в национальную систему оценки научных исследований.
- Проанализирована довольно большая группа журналов социально-экономического профиля, ранжированных в категорированном перечне ВАК. Объём выборки составил почти 15% всех изданий, включённых в перечень, что позволяет экстраполировать основные выводы исследования на весь список. Прежде всего удалось установить, что если в первую категорию перечня (К1) входит большинство ведущих журналов, качество которых подтверждено независимой экспертизой МНБД и RSCI, то среди журналов второй (К2) и третьей (К3) категорий присутствуют издания, уровень которых не соответствует научным стандартам. Часть этих журналов не индексируется в РИНЦ, но по каким-то причинам продолжает оставаться в перечне ВАК. По нашему мнению, такие журналы следует квалифицировать как коммерческие и/или псевдорецензируемые издания низкого научного уровня и исключить из использования в сфере государственной научной аттестации.
- Поскольку в категорированный перечень ВАК входят коммерческие издания низкого научного уровня, а также журналы, не индексируемые в РИНЦ, что противоречит требованиям к рецензируемым научным изданиям для включения в перечень ВАК, необходимо провести дополнительную экспертизу перечня ВАК, в частности журналов, причисленных ко второй и третьей категориям. Помимо этого, нужно разработать механизмы, которые позволили бы сопрягать результаты деятельности экспертов РИНЦ по исключению “мусорных” журналов с деятельностью экспертных советов ВАК по мониторингу перечня рецензируемых изданий. Издания, исключённые из РИНЦ, следует своевременно исключать из перечня ВАК, чтобы пресекать неэтичные практики в издательской деятельности.
- В ходе анализа был сформирован базовый пул критериев, наиболее значимых для выявления журналов ненадлежащего качества в процедурах оценки научной периодики. К ним мы отнесли: регулярное нарушение периодичности и объёма выпусков; резкое увеличение объёма; публикацию неоправданно большого числа статей в год; формальный подход к рецензированию (короткие сроки экспертизы, приём готовых рецензий от авторов рукописей, большое число рецензий одного эксперта); низкое качество публикуемого контента (избыточное количество статей в номере и за год, часто очень коротких, а также описательно-реферативного характера, не содержащих научных результатов и не вносящих вклад в развитие данной научной дисциплины); ориентированность на продажу издательских услуг (срочная публикация статей за повышенную плату, поощрение единовременной подачи в редакцию нескольких рукописей). Данные критерии могли бы быть использованы экспертами для оценки журналов по всем дисциплинам.
- Недостатки списка социально-экономических журналов, которые составляют довольно большую долю в общем перечне ВАК, существенно ограничивают возможности его использования в системе оценки результативности научных исследований и разработок. Методика формирования перечня предполагает как наукометрическую, так и экспертную оценку изданий. Однако на деле в нём присутствуют в том числе и журналы низкого научного уровня, издания, не индексируемые в РИНЦ, а также не издающиеся на текущий момент. Это подрывает легитимность перечня в научном сообществе и не позволяет рассматривать его в качестве эффективного инструмента оценки научных исследований.
1 См. профиль рецензента в РИНЦ: https://elibrary.ru/author_profile.asp?id=396289
2 Перечень рецензируемых научных изданий, в которых должны быть опубликованы основные научные результаты диссертаций на соискание учёной степени кандидата наук, на соискание учёной степени доктора наук. https://vak.minobrnauki.gov.ru/uploader/loader?type=19&name=91107547002&f=27993
About the authors
O. V. Tretyakova
Vologda Research Center of the Russian Academy of Sciences
Author for correspondence.
Email: olga.tretyackova@yandex.ru
кандидат филологических наук, ведущий научный сотрудник, заведующий отделом редакционно-издательской деятельности и научно-информационного обеспечения ВолНЦ РАН.
Russian Federation, VologdaReferences
- Постановление Правительства от 19 марта 2022 г. № 414 “О некоторых вопросах применения требований и целевых значений показателей, связанных с публикационной активностью” (в редакции постановлений Правительства Российской Федерации от 19.09.2022 № 1655, от 10.11.2023 № 1884). http://government.ru/docs/all/139807/Government Resolution of March 19, 2022 No. 414 “On Certain Issues of Applying Requirements and Target Values of Indicators Related to Publication Activity” (as amended by the Resolutions of the Government of the Russian Federation of September 19, 2022, no. 1655, of November 10, 2023 no. 1884). http://government.ru/docs/all/139807/ (In Russ.)
- Pölönen J., Guns R., Kulczycki E. et al. National Lists of Scholarly Publication Channels: An Overview and Recommendations for Their Construction and Maintenance // Journal of Data and Information Science. 2020, vol. 6, no. 1, pp. 1–37. https://doi.org/10.2478/jdis-2021-0004
- De Filippo D., Aleixandre-Benavent R., Sanz-Casado E. Toward a Classification of Spanish Scholarly Journals in Social Sciences and Humanities Considering Their Impact and Visibility // Scientometrics. 2020, vol. 125, no. 2, pp. 1709–1732. https://doi.org/10.1007/s11192-020-03665-5
- Ferrara A., Bonaccorsi A. How Robust is Journal Rating in Humanities and Social Sciences? Evidence from a Large-Scale, Multi-Method Exercise // Research Evaluation. 2016, vol. 25, no. 3, pp. 279–291. https://doi.org/10.1093/reseval/rvv048
- Kulczycki E., Rozkosz E.A. Does an Expert-Based Evaluation Allow Us to Go Beyond the Impact Factor? Experiences from Building a Ranking of National Journals in Poland // Scientometrics. 2017, vol. 111, no. 1, pp. 417–442. https://doi.org/10.1007/s11192-017-2261-x
- Good B., Vermeulen N., Tiefenthaler B., Arnold E. Counting quality? The Czech Performance-Based Research Funding System // Research Evaluation. 2015, vol. 24, no. 2, pp. 91–105. https://doi.org/10.1093/reseval/rvu035
- Третьякова О.В. Национальные списки научных журналов: обзор мировой практики // Journal of Institutional Studies. 2023. Т. 15. № 3. С. 20–39. https://doi.org/10.17835/2076-6297.2023.15.3.020-039. Tretyakova O.V. National lists of scientific journals: a review of world practice // Journal of Institutional Studies. 2023, vol. 15, no. 3, pp. 20–39. https://doi.org/10.17835/2076-6297.2023.15.3.020-039 (In Russ.)
- Косяков Д.В., Селиванова И.В., Гуськов А.Е. Два контура оценки результативности научных организаций в России: текущее состояние и перспективы развития с точки зрения международного опыта // Вестник Российской академии наук. 2024. Т. 94. № 1. С. 32–54. https://doi.org/10.31857/S0869587324010063. Kosyakov D.V., Selivanova I.V., Guskov A.E. Two contours of assessing the performance of scientific organizations in Russia: current state and development prospects from the point of view of international experience // Bulletin of the Russian Academy of Sciences. 2024, vol. 94, no. 1, pp. 32–54. https://doi.org/10.31857/S0869587324010063 (In Russ.)
- Sivertsen G. The Norwegian Model in Norway // Journal of Data and Information Science. 2018, vol. 3, no. 4, pp. 3–19. https://doi.org/10.2478/jdis-2018–0017
- Балацкий Е.В., Екимова Н.А., Третьякова О.В. Методы оценки качества научных экономических журналов // Journal of Institutional Studies. 2021. Т. 13. № 2. С. 27–52. https://doi.org/10.17835/ 2076-6297.2021.13.2.027-052. Balatsky E.V., Ekimova N.A., Tretyakova O.V. Methods for assessing the quality of scientific economic journals // Journal of Institutional Studies. 2021, vol. 13, no. 2, pp. 27–52. https://doi.org/10.17835/2076-6297.2021.13.2.027-052 (In Russ.)
- “Белый список” научных журналов. https://journalrank.rcsi.science/ru/“White list” of scientific journals. https://journalrank.rcsi.science/ru/ (In Russ.)
- Полихина Н.А., Тростянская И.Б., Гришакина Е.Г., Паркачева В.Л. Оценка результатов научных исследований: роль и возможности журналов частных университетов // Научный редактор и издатель. 2023. Т. 8. № 1 (прил.). С. 16–31. https://doi.org/10.24069/SEP-23-10. Polikhina N.A., Trostyanskaya I.B., Grishakina E.G., Parkacheva V.L. Evaluation of scientific research results: the role and possibilities of private university journals // Scientific editor and publisher. 2023, vol. 8, no. 1 (supplement), pp. 16–31. https://doi.org/10.24069/SEP-23-10 (In Russ.)
- Итоговое распределение журналов Перечня ВАК по категориям К1, К2, К3 в 2023 году (по состоянию на декабрь 2023 г.). https://vak.minobrnauki.gov.ru/uploader/loader?type=19&name=92685697002&f=23355. Final distribution of journals of the HAC List by categories K1, K2, K3 in 2023 (as of December 2023). https://vak.minobrnauki.gov.ru/uploader/loader?type=19&name=92685697002&f=23355 (In Russ.)
- Кочетков Д.М. Белый список российских журналов: вопросы, ждущие ответа // Научный редактор и издатель. 2022. Т. 7. № 2. С. 185–190. https://doi.org/10.24069/SEP-22-48. Kochetkov D.M. White list of Russian journals: questions awaiting answers // Scientific editor and publisher. 2022, vol. 7, no. 2, pp. 185–190. https://doi.org/10.24069/SEP-22-48 (In Russ.)
- Третьякова О.В. Российский опыт составления национальных списков научных журналов: ошибки, задачи и перспективы // Terra Economicus. 2023. Т. 21. № 3. С. 102–121. https://doi.org/10.18522/2073-6606-2023-21-3-102-121. Tretyakova O.V. Russian experience in compiling national lists of scientific journals: errors, tasks and prospects // Terra Economicus. 2023, vol. 21, no. 3, pp. 102–121. https://doi.org/10.18522/2073-6606-2023-21-3-102-121 (In Russ.)
- Мохначёва Ю.В. Журнальные списки и рейтинги российских изданий: противоречия и возможные пути их устранения // Управление наукой: теория и практика. 2024. Т. 6. № 2. С. 147–167. https://doi.org/10.19181/smtp.2024.6.2.11. Mokhnacheva Yu.V. Journal lists and ratings of Russian publications: contradictions and possible ways to eliminate them // Science Management: Theory and Practice. 2024, vol. 6, no. 2, pp. 147–167. https://doi.org/10.19181/smtp.2024.6.2.11 (In Russ.)
- Куракова Н.Г., Цветкова Л.А. Категоризация Перечня ВАК и его место в национальной системе оценки эффективности исследований и разработок // Менеджер здравоохранения. 2022. № 10. С. 4–13. https://doi.org/10.21045/1811-0185-2022-10-4-13. Kurakova N.G., Tsvetkova L.A. Categorization of the VAK List and its place in the national system for assessing the effectiveness of research and development // Healthcare Manager. 2022, no. 10, pp. 4–13. https://doi.org/10.21045/1811-0185-2022-10-4-13 (In Russ.)
- Кириллова О. В., Кузнецов А.Ю., Диментов А.В. и др. Категории и критерии оценки российских журналов и программы их развития // Научная периодика: проблемы и решения. 2014. № 5 (23). С. 20–34. Kirillova O.V., Kuznetsov A.Yu., Dimentov A.V., et al. Categories and criteria for evaluating Russian journals and their development programs // Scientific periodicals: problems and solutions. 2014, no. 5 (23), pp. 20–34. (In Russ.)
- Кириллова О.В., Тихонова Е.В. Критерии качества научного журнала: измерение и значимость // Научный редактор и издатель. 2022. Т. 7. № 1. С. 12–27. https://doi.org/10.24069/SEP-22-39. Kirillova O.V., Tikhonova E.V. Quality criteria of a scientific journal: measurement and significance // Scientific editor and publisher. 2022, vol. 7, no. 1, pp. 12–27. https://doi.org/10.24069/SEP-22-39 (In Russ.)
- Требования к рецензируемым научным изданиям для включения в перечень рецензируемых научных изданий, в которых должны быть опубликованы основные научные результаты диссертаций на соискание учёной степени кандидата наук, на соискание учёной степени доктора наук. Приложение № 2 (п. 11) к приказу Министерства науки и высшего образования Российской Федерации от 31 мая 2023 г. № 534. http://publication.pravo.gov.ru/document/0001202307110017?index=7 Requirements for peer-reviewed scientific publications for inclusion in the list of peer-reviewed scientific publications in which the main scientific results of dissertations for the degree of candidate of sciences, for the degree of doctor of sciences must be published. Appendix No. 2 (clause 11) to the order of the Ministry of Science and Higher Education of the Russian Federation dated May 31, 2023 No. 534. http://publication.pravo.gov.ru/document/0001202307110017?index=7 (In Russ.)
- Правила формирования перечня рецензируемых научных изданий, в которых должны быть опубликованы основные научные результаты диссертаций на соискание учёной степени кандидата наук, на соискание учёной степени доктора наук. Приложение № 1 (п. 13) к приказу Министерства науки и высшего образования Российской Федерации от 31 мая 2023 г. № 534. http://publication.pravo.gov.ru/document/0001202307110017?index=7 Rules for the formation of a list of peer-reviewed scientific publications in which the main scientific results of dissertations for the degree of candidate of sciences, for the degree of doctor of sciences should be published. Appendix No. 1 (clause 13) to the order of the Ministry of Science and Higher Education of the Russian Federation dated May 31, 2023, no. 534. http://publication.pravo.gov.ru/document/0001202307110017?index=7 (In Russ.)
