Results of scientometric work in the Military Medical Academy in 2016–2017

Full Text

Для эффективного управления научно-образовательной деятельностью образовательной организации высшего образования (далее – образовательная организация) необходимо проведение всесторонней информационной поддержки и создание системы объективной оценки результатов научной деятельности.

В настоящее время в международной и отечественной практике получили распространение критерии оценки, основанные на количестве публикаций и цитирований сотрудников организации, а также вычислении расчетных индексов в наукометрических системах и базах данных.

Наиболее известными из них за рубежом являются индексы на базе Web of Sciences (WoS) и Scopus. В тоже время может оцениваться наличие регистрации в реестре мировых ученых – ORCID и открытой базе научных публикаций – Google Scholar. В России расчет основных наукометрических показателей с 2005 г. осуществляется в информационно-аналитической системе «Российский индекс научного цитирования» (РИНЦ), ведущейся открытым акционерным обществом «Научная электронная библиотека» (НЭБ) на портале http://elibrary.ru. В настоящее время именно эти показатели в частности используются Министерством образования и науки России при определении рейтинга образовательной организации и мониторинга его научной деятельности.

С учетом необходимости повышения наукометрических показателей Военно-медицинской академии им. С.М. Кирова (ВМА), формирования отчетности по отдельным показателям, использующимся Высшей аттестационной комиссией и Министерством образования и науки Российской Федерации (РФ) при оценке научной деятельности было принято решение о проведении комплексной наукометрической работы под контролем руководства академии.

С изданием ряда внутренних нормативных актов с марта 2016 г. было назначено лицо ответственное за проведение наукометрической работы, проведен ряд тренингов и инструктажей для сотрудников академии и сборов с ответственными за научную работу в подразделениях. В рамках данной работы подготовлен ряд информационно-справочных мультимедийных материалов по регистрации и основам работы в основных наукометрических системах и базах данных.

Принято решение об обязательной регистрации и получении идентификационных кодов в наукометрических системах всех сотрудников академии, осуществляющих публикационную активность. При заполнении авторского профиля и при публикации научных трудов обязательным требованием стало указание академии как места работы авторов.

Рейтинг организации во многом зависит от публикационной активности ее авторов, которая, в свою очередь, зависит от возможностей осуществить публикацию в кратчайшие сроки. Большинство научных изданий имеет так называемый «портфель» статей, готовых к изданию, и при росте популярности издания и невозможности существенно нарастить объем и периодичность выпуска номеров сроки между написанием статьи и ее опубликованием существенно возрастают.

Наиболее популярными журналами у авторов академии за последние 5 лет являются Вестник Российской военно-медицинской академии (724 статьи) и Военно-медицинский журнал (439).

Для увеличения возможностей публикационной активности командованием академии было принято решение о возобновлении издания второго научного журнала – «Известия Российской военно-медицинской академии». Широкая тематика журнала позволила охватить актуальные вопросы военно-медицинской деятельности. В частности, освящены различные аспекты профессиональной деятельности военнослужащих [31, 55, 161], вопросы психологи и психофизиологии [134, 158]. Представлены современные технологии в лечебно-диагностической работе [8, 68,

95, 130], проблемы хирургической [50, 69, 80, 110, 152] и терапевтической патологии [42, 49, 70, 141], лабораторного дела [63, 146]. Важное место отведено проблемам организации медицинской службы и военно-профессионального образования [11, 64, 79, 84] изучению истории военной медицины [10, 71, 87, 97, 164], жизни и деятельности знаменитых ученых-медиков [107, 11, 144, 156]. Одним из основных направлений стало изучения фундаментальных вопросов физиологии и генетики человека [27, 47, 75. 92, 157, 162], в том числе при проведении экспериментальных исследований.

Весной 2017 г. произошло событие, существенно повлиявшее на количественные показатели и рейтинг всех организаций в РИНЦ – после проведения НЭБ работы по анализу и оценке журналов, индексируемых в РИНЦ, на предмет их соответствия общепринятым критериям научного рецензируемого издания из РИНЦ было исключено 344 журнала. Соответственно, практика по искусственному повышению наукометрических индексов (в первую очередь h-индекса) была во многом пресечена, что не замедлило отразиться на абсолютных показателях авторов и их организаций. При этом все публикации в НЭБ впервые были разделены на 3 группы: все публикации в НЭБ, публикации, входящие в РИНЦ и публикации, входящие в так называемое «ядро» РИНЦ.

Публикации в НЭБ, не входящие в РИНЦ (в частности все тезисы конференций) с этого момента не попадают в расчет показателей авторов и их организаций. Ядро РИНЦ составляет список журналов, который по мнению экспертных групп НЭБ представлен наиболее авторитетными изданиями достойными для включения в международные цитатно-аналитические базы, в частности в российский индекс научного цитирования (RSCI) на платформе WoS.

В этот же период ВМА заключила договор с НЭБ, позволяющий проводить работу с системой Science Index (SI).

Это позволило ответственным представителям академии:

• просматривать, анализировать и отбирать публикации и ссылки на свои публикации;
• добавлять найденные публикации в перечень своих работ;
• анализировать публикационную активность и цитируемость по большому числу библиометрических показателей;
• удалять ошибочно занесенные публикации или ссылки;
• осуществлять поиск по списку цитируемой литературы;
• идентифицировать организации в публикациях в качестве основного места работы авторов.

Работа представителей организации в системе SI лишь дополняет работу самих сотрудников в системе Science Index для авторов.

После регистрации в системе у каждого сотрудника появляется возможность добавления туда электронных версий своих научных трудов в непериодических изданиях, где он является единственным автором (рукописей диссертации, авторефератов, монографий). Также можно уточнять список своих публикаций и цитирований, удалить ошибочно привязанные публикации и цитирования однофамильцев, добавлять в свой профиль публикации и цитирования, не привязанные ранее по тем или иным причинам.

Число авторов академии, воспользовавшихся данной возможностью, за последний год выросло более чем в 3 раза – с 456 до 1621, что позволило добавить в профиль академии 10360 публикаций с 40035 цитированиями.

За счет работы представителей академии в рамках SI для организаций данные показатели увеличились более чем в 2 раза до 18415 публикаций с 80439 цитированиями.

В частности были внесены более 700 описаний новых, отсутствующих в РИНЦ высокорейтинговых публикаций. Для отсутствующих (умерших, уволившихся не зарегистрированных) сотрудников вместо регистрации были заведены информационные карточки авторов в РИНЦ. Это позволило в дальнейшем осуществлять в их отношении весь объем наукометрической работы, доступной для ответственного от организации в отношении зарегистрированных авторов. Для 228 наиболее высокорейтинговых публикаций было найдено и привязано 3501 цитирование, что и внесло наиболее существенный вклад в повышение индексов.

Статистика публикационной активности показала, что с 2006 по 2016 г. ежегодное число публикаций выросло в 2 раза (с 832 до 1666) причем после периода «стагнации» 2012–2014 гг. наблюдается рост – показатели в 2014, 2015 и 2016 гг. составили 1347, 1506 и 1666 соответственно.

В то же время доля всех публикаций академии в РИНЦ от всех имеющихся публикаций за это же период (в %) существенно снижалась – с 0,32–0,34 в 2006–2009 г. до 0,1762 в 2015 г., а в 2016 после начала наукометрической работы показала небольшой прирост – до 0,1764.

Основными направлениями публикационной активности сотрудников академии стали публикации в научных журналах (4467 публикаций) и статей в сборниках трудов конференции (741) Подавляющее число публикаций было сделано по направлениям «Медицина и здравоохранение» (13449) и «Биология» (1263).

Для оценки наукометрических показателей академии использовались сложившиеся в РИНЦ критерии оценки организаций, которые делятся на 2 группы показателей – за все время и за 5 последних лет.

Основными показателями для сравнения являются расчетные показатели (индексы) которые формируются из публикаций и цитирований за все время существования организации: h-index (индекс Хирша организации) – основной инструмент сравнения, g-index (индекс цитируемости всех статей организации), i-index (показатель количества авторов организации с высокими h-индексами).

Чтобы сравнивать организации одного профиля (уровня, принадлежности и др.) в РИНЦ создаются референтные группы сравнения отдельных организаций. На момент начала наукометрической работы академия находилась в общей группе – все организации РФ (2147) и в группе вузов РФ (764). По запросу представителя академии в 2017 г. академия была включена в дополнительные референтные группы сравнения «Медицинские учреждения РФ» (51) и «Вузы Министерства обороны РФ» (20) а также «Вузы – медицинское направление» (58).

Таким образом, стало возможным прямое сравнение академии по различным показателям с аналогичными организациями. Заочное сравнение академии осталось проводить только с одной группой организаций – определенного Правительством РФ перечня лучших вузов страны, включенных в программу 5/100.

Помимо сравнения в референтной группе организаций также возможно сужение результатов поиска по конкретному региону РФ (рисунок).

 

Рис. Пример сравнения по i-индексу в референтной группе медицинских вузов Санкт-Петербурга

 

Исследование распределения организаций по референтным выборкам показало, что наиболее подходящими и рейтинговыми организациями для сравнения академии являются различные группы вузов РФ. Изучение опыта работы вузов РФ в области наукометрии, их достижений а также публикаций характеризующих различные рейтинги вузов и итоги научной (наукометрической) работы показало, что основным сложившимся на практике инструментом сравнения стал h-index организации в конкретной референтной выборке. Учитывая различные традиции и практику цитирования в различных областях научных знаний для сравнения организаций из разных сфер науки по наукометрическим показателям применяются нормализованные показатели, позволяющие более адекватно сравнивать один и тот же показатель в медицине и других областях наук. Однако, на сегодняшний момент такая нормализация еще не вошла в отечественную практику и наиболее корректным является сравнение образовательных организаций одного научного направления.

На момент начала наукометрической работы в академии (март 2016 г.) основные наукометрические показатели имели следующие значения (табл. 1)

 

Таблица 1

Общие наукометрические показатели академии (март 2016 г.)

Показатель	Значение
Число публикаций организации в РИНЦ	10497
Число цитирований публикаций организации в РИНЦ	15793
Число авторов	1584
Число авторов, зарегистрированных в Science Index	456
h-индекс (индекс Хирша)	37
g-индекс	60
i-индекс	14

 

Поскольку на тот момент прямое сравнение академии с другими медицинскими вузами было невозможно, приходилось сопоставлять показатели академии с референтной группой сравнения «Вузы Министерства здравоохранения РФ». Среди 51 вуза данной группы показатель индекса Хирша ВМА (h=37) позволил бы ей находиться в этом рейтинге на 17-м месте (табл. 2).

 

Таблица 2

Рейтинг вузов Министерства здравоохранения РФ (март 2016 г.)

Место	Вуз	h-индекс
1	Первый Московский государственный медицинский университет им. И.М. Сеченова	118
2	Российская медицинская академия последипломного образования	80
3	Санкт-Петербургский государственный педиатрический медицинский университет	71
16	Смоленский государственный медицинский университет	39
17	Воронежский государственный медицинский университет имени Н.Н. Бурденко	36

Примечание: * – публикации стали делиться на «в НЭБ» и «в РИНЦ», расчет индексов стал производиться только по второй группе.

 

Показатель индекса цитируемости (g-индекс) ВМА (60) в группе сравнения вузов Министерства здравоохранения позволил бы находится на 20-м месте.

Таким образом, было определено, что исходя из методики расчета наукометрических показателей и оценки научной деятельности организаций, основными направлениями наукометрической работы в ВМА должны стать: поиск наиболее высокорейтинговых публикаций сотрудников а также поиск самих авторов, которые еще не зарегистрированы в РИНЦ, указали в качестве места работы другие организации, или не осуществили привязку своих высокорейтинговых публикаций к личному профилю, что позволило бы аффилировать данные публикации с академией.

При наличии в РИНЦ ссылки на публикацию автора ВМА формировалось описание публикации с указанием принадлежности автора к академии. В случае наличия публикации в РИНЦ с ошибочным отсутствием привязки автора к академии производилось изменение описания публикации с отправкой подтверждения библиографам РИНЦ (например, сканированной копии обложки и оглавления, где аффилиация автора с академией имелась).

В связи со сложившейся практикой обновления показателей организаций в РИНЦ осуществляется не в режиме on-line, а примерно 1 раз в 2 месяца. По состоянию на конец 2016–2017 учебного года последнее обновление осуществлялось 22 мая 2017 г. и показало достижение следующих результатов (табл. 3).

 

Таблица 3

Динамика наукометрических показателей ВМА в 2016–2017 г.

Показатель	18 марта 2016 г.	4 марта 2017 г.	22 мая 2017 г.
h-index	37	50	58
g-index	60	90	100
i-индекс	14	18	12*
Число публикаций в НЭБ (в РИНЦ)	10497	12889	15064 (11221)*
Число цитирований в НЭБ (в РИНЦ)	15793	28476	36316 (29560)*
Число авторов (зарегистрированных)	1584 (456)	2331 (1527)	2487 (1593)
Число статей за 5 лет	4744	5091	5955
Число авторов за 5 лет	1150	1629	1688
Число цитирований в РИНЦ	2975	4173	4732

 

Поскольку наукометрическая работа в большинстве образовательных организаций РФ проводится на постоянной основе, рост показателей целесообразно оценивать в первую очередь в изменении места вуза в соответствующей референтной группе сравнения.

Место ВМА оценивалось в группах сравнения организаций РФ, вузов РФ, медицинских вузов РФ и возможного места в числе лучших вузов, попавших в программу 5/100 (табл. 4).

 

Таблица 4

Наукометрические показатели ВМА в основных референтных группах сравнения (22.05. 2017 г.)

Показатель	Абс. число	Места в группах сравнения организаций
		все (2130)	вузы
			все (761)	вузы 5/100 (21)	мед. вузы (58)
Показатель за все время
h-index	58	206 (353)	90 (139)	18 (21)	14 (17)
g-индекс	100	189	79	15	15 (20)
i-индекс	12	349	160	20	10 (11)
Показатель за 5 лет (2012–2016)
Число публикаций в РИНЦ	5215	177	177	20	14
Число статей в журналах, входящих в Web of Science или Scopus	1119	66	34	19	7
Число статей в российских журналах из перечня ВАК и зарубежных журналах	3702	90	85	19	6
Число авторов, имеющих публикации в РИНЦ	1688	63	62	20	5
Число цитирований в РИНЦ	4732	259	195	20	18

 

Таким образом, помимо роста абсолютных значений показателей, ВМА существенно поднялась в относительном рейтинге мест в различных референтных группах, что свидетельствует о более качественном проведении наукометрической работы по отношению к другим организациям (рост в рейтинге по h-индекс на 58,4%) и вузам (+64,7%).

Основным механизмом повышения h-индекса академии стало выявление (или формирование описаний) высокорейтинговых публикаций авторов академии в РИНЦ с последующим поиском непривязанных цитирований данных публикаций.

Основными проблемами несоответствия наукометрических показателей организации в РИНЦ реальному состоянию оказались следующие:

• публикация может отсутствовать в РИНЦ даже при наличии большого числа ее цитирований;
• цитирования на публикацию могут присутствовать в РИНЦ в виде неправильного библиографического описания и находиться в непривязанных (или вообще отсутствующих) ссылках, пока ответственные от организации или сам автор их не найдет и не привяжет;
• цитирования на публикацию могут быть привязаны к другой (похожей) публикации, в том числе к другому тому, переизданию, публикации с похожим названием или автором.

При этом первичным с точки зрения РИНЦ является описание публикации, данное при первичном размещении в РИНЦ (даже ошибочное), а при любом его изменении библиографы РИНЦ могут запросить сканированную копию бумажного оригинала публикации или подтверждения описания из других достоверных источников (база данных РГБ и др.).

Эти особенности необходимо учитывать авторам ВМА, которые столкнутся с самостоятельным занесением своих работ в РИНЦ. В настоящий момент самостоятельно заносить в РИНЦ свои труды может любой сотрудник, который имеет на них полные юридические права (является единственным автором). В случае соавторства допускается самостоятельное размещение в РИНЦ трудов при наличии письменного согласия соавторов. При наличии трудов, юридические права на которые имеет академия, издание может быть размещено в рамках договора ВМА с РИНЦ на размещение непериодических изданий (только полнотекстовые версии). Также возможно размещение в РИНЦ описаний вместе со списком литературы (без полнотекстовой версии) для всех авторов, работающих (работавших) в ВМА и в рамках типового договора от организации, действующего для всех организаций РФ.

Данные возможности были использованы в ходе проведения работы над повышением рейтинга академии.

Полнота и актуальность публикаций и их цитирований в РИНЦ наиболее полно прослеживается с 90-х годов XX в., причем публикации последних лет имеют мало шансов стать высокорейтинговыми из-за того, что еще не успели набрать достаточное число цитирований. Таким образом, выявленные в ходе работы «лучшие» публикации следует оценивать только в контексте РИНЦ и особенностей его работы и индексирования. Так, в список лучших публикаций ВМА попали работы ее начальников за последние десятилетия – А.Н. Бельских, А.Б. Белевитина, Б.В. Гайдара и Ю.Л. Шевченко [48, 81, 114, 115, 118–120, 149, 180, 185]. Среди авторов, внесших наибольший исторический вклад в рейтинг академии, следует отметить профессора А.А. Новика [3, 73, 74, 116, 117, 121]. Из ныне действующих сотрудников академии наиболее весомый вклад в наукометрические показатели академии внесли старший научный сотрудник НИЦ профессор С.Г. Григорьев который совместно с В.И. Юнкеровым и М.В. Резванцевым подготовил выдержавшее несколько переизданий руководство по математико-статистической обработке данных медицинских исследований [56, 186–188], а также заведующий кафедрой и клиникой детских болезней имени М.С. Маслова профессор Н.П. Шабалов, чьи многократно переиздаваемые учебные труды [2, 88, 128, 129, 168–178] и статьи пользуются заслуженно популярностью как у обучаемых, так и у научных сотрудников. В этой связи следует отметить, что ссылки на отдельные тома одного и того же издания учитываются РИНЦем как отдельные объекты цитирования, а вот ссылки на отдельные главы тома (раздел пособия) к тому не добавляются, так как имеют отдельных авторов. Следовательно, при формировании списка литературы к научным трудам рекомендуется использовать цитирования на конкретный том изданий, а не на многотомное издание целиком или его отдельные главы (разделы).

Различные издания национального уровня (национальные руководства, рекомендации и др.) являются авторитетными трудами для значительного числа авторов и «собирают» большое число цитирований [5, 6, 15, 23, 39, 56, 72, 83, 103, 104, 112, 131, 133, 167, 190].

Широкой известностью в научном мире пользуются изданные авторами ВМА руководства и указания для различных областей медицинской науки и практики [1, 4, 7, 9, 13, 17–19, 21, 22, 24, 29, 30, 76, 89, 96, 98–100, 105, 123, 126, 151, 153, 189].

Из числа наиболее успешных учебников [44, 113], следует отметить труды В.О. Самойлова и Г.Н. Пономаренко, несколько переизданий которых вошли в список лучших учебных трудов ВМА [32, 33, 142, 143]. Также в список наиболее цитируемых публикаций вошел ряд учебных пособий [16, 54, 90, 101, 132].

Высокую цитируемость в РИНЦ получили монографии и диссертационные исследования авторов академии в области психологии и психиатрии [102, 148, 181], терапии [125, 183], хирургии [139], офтальмологии [38, 45, 182], неврологии [28, 147], пульмонологии и фтизиатрии [46, 136, 165, 166], физиологии и психофизиологии [34, 37, 53, 99, 122, 124, 159], фармакологии [66, 127, 179], диагностики [86] и ряда других [25, 26, 77, 91, 94, 145].

Во многом из-за специфики публикационной активности военной организации в числе наиболее популярных публикаций ВМА встречаются в основном отечественные источники, объем зарубежных (переводных, англоязычных трудов) составляет не более 10% [191–211].

Ряд наиболее рейтинговых трудов представлен статьями в авторитетных отечественных периодических изданиях в области хирургии [20, 40, 58–62, 140], терапии [35, 36, 67, 82, 93, 109, 184], физиологии, иммунологии и генетики человека [14, 41, 51, 65, 78, 83, 85, 154, 160, 163], клинической и лабораторной диагностики [12, 106, 155, 201], психологии [138], микробиологии и фармакотерапии [52, 57, 135–137, 150].

Для формирования научного рейтинга организации большое значение имеет открытость результатов научных исследований, представленных на сайте организации. В этой связи на сайте ВМА в 2016 г. был создан репозиторий научных трудов сотрудников подразделений. Для контроля наукометрических показателей были сформированы списки авторов со счетчиками их наукометрических показателей в РИНЦ, что позволило оперативно контролировать изменение значений без поиска авторского профиля в РИНЦ.

Важным направлением наукометрической работы стала унификация требований к подготовке научных трудов. К февралю 2017 г. Минобрнауки РФ разработало краткие рекомендации для авторов по подготовке и оформлению научных статей в журналах, индексируемых в международных наукометрических базах данных [108].

В соответствии с данными требованиями для осуществления научно-методической помощи сотрудникам ВМА и повышения их публикационной активности был подготовлен и издан внутренний регламентирующий документ по соблюдению структуры научных статей в соответствии с современными рекомендациями Минобрнауки РФ.

Изменены правила приема публикаций на научные мероприятия в ВМА с последующим изданием сборника научных трудов. Вместо практиковавшегося ранее приема тезисов (тезисы материалов на конференции – тип данных «THS» по классификации РИНЦ) стало обязательным правило приема материалов в видестатей (статья в сборнике трудов конференции – тип данных «PRC» по той же классификации). Это связано с тем, что с 2017 г. материалы размещаемые в НЭБ в виде тезисов и ссылки из них на другие статьи больше не идут в расчет наукометрических показателей авторов и организаций.

Для однозначной аффилиации научных трудов сотрудников академии было введено правило обязательного указания идентификационного кода автора в системе РИНЦ (т.н. SPIN-кода) при подаче материалов к публикации.

Выводы

1. Результаты проведенной работы в 2016–2017 гг. позволили существенно увеличить основные наукометрические показатели академии в референтных группах сравнения в РИНЦ. По состоянию на конец года h-индекс академии вырос до 58 (+57%) и продолжает расти¹. Привязка авторов и публикаций к организации позволила на 29% эффективнее повысить h-индекс, чем самостоятельная регистрация авторов как сотрудников ВМА и указания академии в качестве основного места работы в публикациях.
2. Для адекватного отражения публикационной активности ВМА в РИНЦ все авторы должны зарегистрироваться в системе Science Index для авторов (получить SPIN-код) и должны быть включены в список авторов в системе Science Index для организаций.
3. Начиная с 2015 г. доплаты за активность в публикации научных статей работникам СПбГУ рассчитываются и выплачиваются на основании сведений, полученных путем прямой выгрузки из баз WoS и Scopus с использованием имеющейся информации об идентификационных номерах, предоставленной научно-педагогическими работниками в управление кадров.
4. Перспективными направлениями наукометричеcкой работы, уже использующимися в других образовательных организациях являются следующие:
   
   • изменение обязанностей научно-педагогических работников с внесением в их трудовой договор об обязательной регистрации и ежеквартальной актуализации (редактировании) своего авторского профиля в наукометрических системах;
   • введение механизма материального стимулирования сотрудников и подразделений академии в целом в зависимости от их публикационной активности (в том числе по так называемой «дорожной карте»).
   • обязательная публикация всех результатов научной деятельности (статей, трудов конференций, монографий, НИРов, результатов изобретательской и рационализаторской деятельности) в РИНЦ и других наукометрических базах данных.

 

¹ По состоянию на начало 2017–2018 учебного года индекc ВМА вырос до 102, что позволило занять 4 место среди медицинских вузов и 48 место среди всех ВУЗов РФ (прим. ред.)

About the authors

D. N. Borisov

Военно-медицинская академия им. С.М. Кирова

Author for correspondence.
Email: borisov@vmeda.ru
Russian Federation, Санкт-Петербург

S. A. Mamaeva

Военно-медицинская академия им. С.М. Кирова

Email: borisov@vmeda.ru
Russian Federation, Санкт-Петербург

D. V. Ovchinnikov

Военно-медицинская академия им. С.М. Кирова

Email: borisov@vmeda.ru
Russian Federation, Санкт-Петербург

E. V. Ivchenko

Военно-медицинская академия им. С.М. Кирова

Email: borisov@vmeda.ru
Russian Federation, Санкт-Петербург

References

Supplementary files