Using scientometrics to estimate publication activity in modern Russia

Full Text

Гринёв А.В.

Объективная и справедливая оценка научного вклада каждого учёного, структурного подразделения университета или научно-исследовательского института с помощью наукометрических показателей остаётся одной из неразрешимых проблем управления научной деятельностью. Даже если взять для анализа только научные публикации, то можно столкнуться с немалыми трудностями и вопросами. Попробуем рассмотреть их с исторической точки зрения на примере современной России.

В 1991 г. страна стала правопреемницей СССР, где наукометрическим показателям не уделялось должного внимания, хотя именно в Советском Союзе ещё в 1960-х годах возник сам термин "наукометрия" [1]. Впрочем, дальше немногочисленных публикаций дело не пошло, в отличие от США, где в 1960 г. основатель наукометрии Юджин Гарфилд основал коммерческую компанию Институт научной информации (Institute of Scientific Information – ISI), которая с 1963 г. стала регулярно выпускать библиографические указатели научного цитирования (Science Citation Index). Со временем наукометрия в США превратилась в процветающую и приносящую хороший доход дисциплину, особенно после поглощения ISI корпорацией Thomson Reuters в 1992 г. и формирования всемирно известной библиографической базы данных (ББД) Web of Science, которая с октября 2016 г. перешла под управление компании Clarivate Analytics. Европа с некоторым отставанием включилась в этот бизнес, где издательская корпорация Elsevier, базирующаяся в Нидерландах, создала в 1995 г. крупнейшую ныне ББД Scopus.

Бурный расцвет наукометрии на Западе в 1960–1990-х годах, где её данные стали применять для оценки научных достижений и эффективности как отдельных учёных, так и целых университетов и даже стран, никак не отразился на ситуации в СССР, где продолжали практиковать весьма примитивные наукометрические показатели. В высших учебных заведениях Советского Союза научно-исследовательской работе (НИР) традиционно отводилась третьестепенная роль после учебной и методической деятельности. Считалось, что наукой должны заниматься в первую очередь академические и научно-исследовательские институты, а главная задача университетов – подготовка высокопрофессиональных кадров.

Как правило, главным показателем успешности НИР было общее количество публикаций за определённый отрезок времени по принципу "чем больше, тем лучше". Поэтому значительная часть профессорско-преподавательского состава институтов и университетов в основном ограничивалась изданием тезисов докладов, прочитанных на конференциях различного уровня. Предложения выйти за пределы простых количественных показателей выдвигались в СССР ещё в начале 1970-х годов [2], но они не нашли отклика у государственных органов, курирующих науку. Лишь изредка руководство вуза или академического института запрашивало более детальную наукометрическую информацию – количество монографий и статей, опубликованных их сотрудниками в журналах, рекомендованных Высшей аттестационной комиссией (ВАК). Такие запросы направлялись в нижестоящие подразделения обычно при составлении годового отчёта в Министерство образования СССР или Академию наук СССР, при подготовке конкурса на замещение вакантной должности, а также при защите диссертаций.

Существовали фундаментальные причины, препятствовавшие широкому внедрению в советскую практику элементов наукометрии. В отличие от стран Запада в СССР при тотальном господстве государства во всех сферах жизни общества, включая науку, конкуренция между учёными, научными коллективами и организациями была, скорее, исключением, чем правилом. Доминирование неформальных личных связей в университетской и научной среде, нежелание господствующей в советской науке бюрократии иметь независимые и объективные оценки эффективности НИР, способные подорвать её авторитет, привели к тому, что наукометрия и её показатели оказались задвинутыми на задний план, оставаясь объектом интереса энтузиастов.

После распада СССР Россия переживала эпоху тяжелейшего социально-экономического и духовного кризиса. В этих условиях вопрос стоял о выживании отечественной науки, и тут было просто не до широких наукометрических изысканий. Лишь в 2000-е годы по мере выхода страны из кризиса интерес к наукометрии начал оживать. Возобновились публикации (хотя и немногочисленные) статей и монографий, в которых затрагивалась наукометрическая проблематика. Значимым событием стало создание в 2005 г. РИНЦ – Российского индекса научного цитирования, поскольку зарубежные ББД индексировали не более 10 % всех научных журналов, выходивших в России. В следующем году приказом Министерства образования и науки РФ от 3 ноября № 273/745/68 были оформлены критерии индивидуальных показателей результативности научной деятельности (ПРНД) сотрудников академических НИИ и представителей профессорско-преподавательского состава вузов. В самом общем виде формула ПРНД имела следующий вид:

ПРНД = kJ + pM + rU + hD + sK + bP + gR + С,

где J – публикации в журналах; M – монографии; U – учебники; D – доклады на конференциях; K – научно-образовательные курсы; P – патенты; R – научное руководство; С – число ссылок на работы автора за отчётный период времени; k, p, r, h, s, b, g – весовые коэффициенты.

Приказ 2006 г. стал первой серьёзной попыткой на государственном уровне регламентировать и стимулировать с помощью специальных выплат научную работу российских учёных. Кроме того, в нём появился совершенно чуждый советской практике пункт о начислении баллов за цитирование, причём на это могло быть ассигновано до 25 % общего объёма фонда стимулирования научной работы. В целом предложенная в приказе Минобрнауки и РАН методика расчёта ПРНД оказалась далеко небезупречной. В частности, в неё вошли такие показатели, как разработка и переработка учебных курсов, читаемых в вузе, руководство дипломниками и аспирантами, – все эти виды работ в первую очередь относятся к учебно-методической и педагогической, а не к научной работе. В приказе наряду с научными статьями и монографиями в число публикаций попали учебники и учебно-методические пособия (пусть и с обязательным грифом Минобрнауки России), которые опять же нельзя признать полноценными научными работами [3, c. 62–65].

Что касается начисления баллов за публикационную активность, то и здесь не всё обстояло благополучно. Так, в анализируемом приказе за издание статьи в журнале, не имеющем импакт-фактора или с индексом менее 0,2, устанавливался балл 6, в то время как статье, опубликованной в рецензируемом российском или зарубежном журнале с индексом более 0,2, присваивался балл, равный импакт-фактору этого издания, умноженному на 45 или 30 соответственно. Из этого следует, что составители документа явно отдавали предпочтение публикациям в российской, а не в зарубежной научной периодике, что довольно спорно. В то же время вследствие применения приказа в незавидное положение попадали представители гуманитарных наук, поскольку в Web of Science Core Collection (WoSCC) журналы гуманитарной направленности не имели своего импакт-фактора, как многие подобные издания, индексированные в РИНЦ, а потому даже самая глубокая аналитическая работа по гуманитарной тематике неизменно получала низкий балл – 6 единиц. Причём в документе не разъяснялось, откуда и почему возникли упомянутые в нём цифры и коэффициенты, насколько они обоснованны с точки зрения научной логики и наукометрических расчётов. Приказ содержал также массу юридических и логических огрехов и прямо противоречил некоторым статьям Конституции РФ и Трудового кодекса РФ, вводя различные дискриминационные критерии. Тем не менее уже в 2007 г. его приняли как руководство к действию все управленческие структуры Министерства образования и науки РФ и институты РАН, при этом Академия наук 31 января того же года опубликовала разъяснительное письмо (№ 2-10115-7324/55).

В приказе оговаривалось, что учёт и оценка конкретных видов научной деятельности и публикаций с соответствующим начислением баллов и денежным вознаграждением отдавались целиком на усмотрение учёных советов вузов и академических НИИ. На первый взгляд, это была разумная мера, призванная учитывать научную специализацию и традиции, но в то же время создавалось благоприятное поле для различных злоупотреблений. И хотя приказ Минобрнауки России 2006 г. был позднее отменён другим (от 11 января 2010 г. № 1/1н/1) того же министерства и РАН, многие его положения утвердились на практике при разработке различных оценочных регламентов университетов и академических НИИ и используются до сих пор.

Новые правила учёта публикационной активности получили отражение в приказе Министерства образования и науки РФ от 14 октября 2009 г. № 406. В типовой методике, изложенной в приложении к приказу, были обозначены следующие критерии, по которым должна осуществляться отчётность научных учреждений:

• число публикаций работников научной организации в РИНЦ, отнесённое к численности исследователей, за 5 лет;
• их цитируемость, показанная в РИНЦ за предшествующий год;
• число публикаций сотрудников научной организации в журналах, индексируемых в Web of Science, с показателем их импакт-фактора за последние 5 лет и отдельно за предыдущий год;
• число опубликованных докладов, тезисов докладов, представленных работниками научной организации на крупных (более 150 участников) конференциях, симпозиумах и чтениях, а также конференциях, организованных в соответствии с планами федеральных органов исполнительной власти, государственных академий наук или на средства российских и международных фондов, включая РФФИ и РГНФ;
• число монографий и учебников, а также глав в них, соотнесённое с численностью исследователей.

Эти показатели затем легли в основу приказов и распоряжений различных государственных ведомств.

При анализе наукометрических показателей, зафиксированных в приказе 2009 г., в глаза бросается однобокая – "американская" – ориентация составителей исключительно на Web of Science и игнорирование данных ББД Scopus. Кроме того, включение импакт-фактора в число показателей при учёте публикаций в периодике, индексируемой РИНЦ и WoS, продолжало политику скрытой дискриминации гуманитарных дисциплин. Учёт учебников и глав в них явно демонстрировал непонимание авторами приказа сути научной работы. При этом не вводилось дифференциации книжной продукции ни по объёму, ни по престижности издательства: не имело значения, опубликована ли монография в Oxford University Press или в издательстве какого-нибудь второсортного университета в российской глубинке. Это замечание полностью применимо и к опубликованным докладам различных конференций и тезисам докладов, для которых вводился лишь примитивный количественный показатель – присутствие на мероприятии 150 и более участников.

Впрочем, все нормативные акты государственных органов 2006 и 2009 г., как и последующие подзаконные акты и распоряжения министерств, университетов и НИИ Академии наук реально не принесли существенных изменений, способных активизировать и оптимизировать деятельность российских учёных. В результате наша страна продолжала медленно, но верно проваливаться в международных рейтингах, которые фиксировали научную периодику. Если с 1980 по 1992 г. доля публикаций учёных РСФСР, по данным WoS, никогда не опускалась ниже 3 % от общемирового массива, а в лучшие времена доходила до 4,79 %, то только за один 1993 г. российский корпус журнальных публикаций сократился почти на 22 % [4, c. 52]. Естественно, что в дальнейшем из-за негативных социально-экономических процессов, происходивших в стране в 1990-х годах, ситуация стала ухудшаться. Кризисные явления в науке не были полностью преодолены и в 2000-х годах, в результате в 2011 г. доля российских публикаций составила всего 1,67 % от общемирового уровня [5, с. 41], причём в целом они не отличались высоким качеством, что проявлялось в крайне низком показателе цитирования на одну статью [6].

В 2012 г. на эту ситуацию, наконец, обратили внимание высшие лица государства. С целью предотвратить дальнейшее падение престижа страны в сфере международной публикационной активности 7 мая 2012 г. вышел указ Президента РФ № 599 "О мерах по реализации государственной политики в области образования и науки". В нём была поставлена задача увеличить к 2015 г. долю работ российских исследователей в общем количестве публикаций в мировых научных журналах, индексируемых в Web of Science, до 2,44 %. При этом разъяснений, почему в качестве рубежа взята именно эта цифра, а не, допустим, 2,5 %, не последовало; равным образом не комментировалась и односторонняя ориентация на WoS, хотя эта база данных уже подвергалась критике в российской научной литературе за нацеленность на американские (шире – англоязычные) журналы [7]. Этот факт особенно затрагивал социальные и гуманитарные дисциплины, что позднее подтвердили зарубежные специалисты в ходе специального библиометрического исследования [8].

После обнародования указа 2012 г. под него стала подстраиваться вся последующая государственная политика в сфере науки. Заметно выросло число публикаций в журналах, индексируемых в зарубежных ББД. Параллельно в России резко увеличилось количество публикаций по библио- и наукометрической тематике. Впрочем, несмотря на все усилия, контрольная цифра количества публикаций в ведущих международных изданиях так и не была достигнута в установленный указом срок, что заранее предсказывали наиболее прозорливые исследователи с помощью логического и математического анализа [4, c. 52–55]. В 2016 г. планку в 2,44 % практически удалось "взять", но в 2017 г. последовало падение публикационной активности до 2,37 %, что, возможно, связано с отдалёнными последствиями трансформации академического сектора науки и исчерпанием научных заделов. При этом доля цитируемости отечественных статей значительно выросла – до 65,5 % и почти сравнялась с долей цитируемости мирового потока (66,05 %) [9, с. 27, 30].

Другим следствием указа стало включение российских вузов в рейтинговую гонку как внутри страны, так и за рубежом. В 2013 г. была запущена амбициозная правительственная программа "5-100-2020", согласно которой в 2020 г. пять лучших российских вузов должны войти в сотню ведущих университетов мира (постановление Правительства РФ от 16 марта 2013 г. № 211). Среди разнообразных показателей, заявленных для продвижения конкретного вуза вверх по ступеням рейтинга, публикационная активность занимала одну из ключевых позиций. Неудивительно, что отобранные для выполнения программы "5-100-2020" 15 ведущих вузов России стали уделять повышенное внимание наукометрическим аспектам и достигли существенных успехов на пути усиления публикационной активности [10].

Нельзя сказать, что новые наукометрические регламенты вызвали у научной общественности прилив энтузиазма. По мнению ряда российских учёных, в частности академика РАН Е. Н. Каблова, сделав ставку на зарубежные рейтинговые агентства и информационно-аналитические базы данных, власти страны отдали право оценки НИР иностранным организациям без обсуждения этого вопроса с собственным научным сообществом. Тем самым, считает академик, Россия признала превосходство западной научной традиции над отечественной [11]. Более того, высокорейтинговые журналы, зарегистрированные в WoSCC, преимущественно американские и европейские, фактически подталкивали российских учёных к публикации своих работ за рубежом. Таким образом, под давлением государственной бюрократии и университетской администрации, добивавшихся выполнения формальных показателей, лучшие научные статьи пошли из России на экспорт, как её нефть и газ. Отечественные учёные, стремясь приспособиться к требованиям зарубежных редакций, зачастую вынуждены были вносить коррективы в разрабатываемые проекты и темы. К сожалению, в России в полной мере подтвердился социально-экономический закон Чарльза Гудхарта, который гласит: если экономический показатель становится целью для проведения экономической политики, прежние эмпирические закономерности, использующие данный показатель, перестают действовать [12]. Другими словами, навязывание формальных показателей превращает их в некий фетиш, самоцель системы в ущерб реальной содержательной деятельности. Так, погоня за рейтинговыми показателями в Пакистане, где действовала аналогичная нашей программа включения пяти университетов в число 300 лучших мировых вузов, имела следствием не только денежное стимулирование публикационной активности, но и различные злоупотребления и падение качества научных публикаций [13, c. 442–447].

У нас в стране директивное требование государственных органов учитывать только статьи (о других разновидностях научных публикаций речь не шла), индексированные в WoSCC, немедленно привело формальные показатели ряда научных дисциплин, в первую очередь гуманитарных, в плачевное состояние. Например, российские философы располагали только одним профессиональным журналом "Вопросы философии", индексированным WoS и Scopus. Аналогичным образом обстояли дела в библиотечно-информационной сфере, где лишь одно специализированное издание отражалось в ББД Scopus – "Scientific and Technical Information Processing" (переводная версия журнала "Научно-техническая информация"), а традиция публикаций в зарубежных журналах так и не сложилась [14, c. 24].

Подавляющая часть российских учёных, решением властей неожиданно вытолкнутых на международный конкурентный рынок научных публикаций со значительным преобладанием англо-американских изданий, ощутила себя людьми второго сорта: многие из них не имели опыта публикаций в зарубежных журналах и в должной мере не владели английским языком. Количество же русскоязычных изданий, индексируемых в ведущих зарубежных ББД, было ограничено. Ситуация усугублялась многократным разрывом в финансировании науки в развитых странах и в России [15, c. 278], крайне низким уровнем зарплат (за исключением министерской и университетской бюрократии) по сравнению с зарубежными коллегами, невозможностью в силу этого принимать участие в международных конференциях, знакомиться с новейшей литературой из-за платного доступа к PDF-копиям статей в зарубежной периодике [16]. Можно добавить, что низкий уровень зарплат большинства вузовских преподавателей оказывал дополнительное отрицательное воздействие на публикационную активность, заставляя их трудиться либо на 1,5–2 ставки, либо на нескольких работах в различных учебных заведениях. По этой причине специалисты институтов РАН нередко были вынуждены подрабатывать в вузах. В результате на занятие полноценной научной деятельностью не хватало ни времени, ни сил. Сюда надо добавить увеличившуюся учебную, а также методическую и организационную нагрузку в значительной части вузов России по сравнению с западными университетами [17, с. 5].

Тем не менее российские учёные старались приспособиться к давлению государственной бюрократии. Началась "публикационная гонка", что отнюдь не повышало качества статей [18, с. 15, 16]. В ход пошли не совсем честные приёмы, которые позволяли нивелировать указанные выше негативные факторы. Всё чаще стали выходить так называемые коллайдерные публикации, в которых число авторов доходило порой до 3 тыс. человек [19, с. 146–154; 20, c. 231], хотя реальными создателями текста были всего несколько учёных.

Другим нехитрым способом увеличить библиометрические показатели стало разделение научного исследования на несколько частей, после чего в журналы рассылались соответствующие фрагменты в виде статей или докладов, хотя всё можно было оформить в рамках одной научной работы. Для накрутки библиометрических показателей практиковался договор группы российских учёных с коллегами внутри страны или за рубежом включать друг друга в число соавторов, ссылаться на статьи друг друга и таким образом повышать цитируемость [21]. Кроме того, в России возник и расцвёл мошеннический бизнес "хищных" журналов и издательств, наживавшихся на платных публикациях [22]. Надо заметить, что подобное явление с 2008 г. получило распространение и за рубежом [23, c. 22].

О пагубности избранного пути бездумной абсолютизации наукометрических показателей предупреждали российские учёные, но их голоса правящая бюрократия не слышала. Не помогло ни официальное постановление бюро Отделения историко-филологических наук РАН от 16 октября 2013 г. № 62, ни открытое письмо от 5 августа 2014 г. академика-секретаря Отделения историко-филологических наук РАН В. А. Тишкова руководителю Федерального агентства научных организаций (ФАНО) М. М. Котюкову. В постановлении РАН указывалось, что опыт внедрения наукометрических систем в учреждениях гуманитарного профиля в странах Западной Европы и Америки оказался неудачным, и в настоящее время происходит отказ от использования индекса цитирования, а также индекса Хирша (h-индекс) и импакт-фактора журналов для мониторинга состояния гуманитарных дисциплин в пользу научной экспертизы. По этой причине бюро ОИФН РАН призвало отказаться от наукометрических показателей при оценке результативности научных организаций гуманитарного профиля и заменить их выводами независимых экспертов, включая авторитетных зарубежных учёных.

Но даже настойчивые призывы официальных учреждений РАН оказались бессильны перед мощью государственной бюрократической машины, для которой простая наукометрическая статистика выглядела куда доступнее и убедительнее, чем мнение экспертов, которых к тому же требовалось предварительно собрать, организовать и профинансировать.

Правда, оставался ещё один путь, причём весьма перспективный, – увеличить присутствие представителей российской науки в международных базах данных, начав активную регистрацию в них отечественных журналов. И на этом пути были достигнуты заметные успехи. В данном направлении стало действовать руководство Научной электронной библиотеки eLIBRARY, решив скооперироваться с БДД Web of Science. В сентябре 2014 г. удалось заключить соглашение о размещении лучших российских журналов из РИНЦ на платформе WoS в виде отдельной базы данных Russian Science Citation Index (RSCI) [24, 25]. Предполагалось, что для наших изданий, попавших в список RSCI, это станет своего рода плацдармом для продвижения в Web of Science Core Collection. Однако пока ожидания не оправдались, и отечественные журналы, отобранные в RSCI, не участвуют в расчёте метрик WoS – таких, как импакт-фактор и h-индекс. Поэтому публикации в журналах RSCI не рассматриваются с точки зрения управленческих государственных структур как эквивалентные публикациям WoSCC или Scopus, что подтвердил официальный приказ Министерства образования и науки РФ от 26 декабря 2016 г. № 14-2201. Соответственно, при оценке публикационной активности российского автора статья, изданная в журнале, входящем в RSCI, практически не отличается от обычной публикации в журнале из перечня ВАК и не стимулируется (за редким исключением) материально администрацией вузов.

Здесь необходимо сказать пару слов о РИНЦ. В середине 2010-х годов он значительно расширил свои возможности и, помимо таких показателей, как общее количество зарегистрированных в базе публикаций, суммарное число цитирований, h-индекс, содержит ещё около 50 различных метрик. Тем не менее российская библиографическая база данных научного цитирования пока не заслужила серьёзной репутации ни у чиновников, ни у администрации вузов, ни у рядовых учёных [26, с. 14, 15, 119]. В настоящее время регистрация публикаций и цитирований в ней прямо ведёт к неполноте и искажению наукометрических данных. Достаточно сказать, что РИНЦ с готовностью включает в свои базы и учитывает едва ли не любую учебную и методическую литературу, не имеющую отношения к подлинной науке, но способствующую накрутке рейтингов, цитирований и небезызвестного индекса Хирша. Сюда следует добавить неудовлетворительный учёт зарубежных публикаций и цитирований российских авторов, даже если они уже проиндексированы в WoSCC или Scopus. Естественно, что если исходный цифровой материал некорректен, его использование даже с применением сложнейших математических расчётов не даст правильного результата.

Ситуация с оценкой публикационной активности в России осложняется тем, что правила наукометрической игры периодически пересматриваются представителями университетской администрации и федеральными чиновниками обычно в сторону увеличения показателей или снижения финансового стимулирования. Вершиной абсурда стало письмо от 16 января 2018 г. № 007-18.1.2-09/МК-1 главы ФАНО М. М. Котюкова руководителям академических институтов. В нём финансирование организаций и зарплата сотрудников жёстко увязывались с публикационной активностью, которую следовало повысить в 2 раза, в первую очередь за счёт индексируемых журнальных статей. Естественно, это вызвало бурную негативную реакцию научной общественности, указавшей на невозможность простого механического удвоения публикаций без грубой профанации научной работы. К огромному облегчению и радости учёных, указом Президента РФ от 15 мая 2018 г. № 215 ФАНО отстранили от управления РАН, что, однако, не означало прекращения наукометрической отчётности на уровне государственных органов и административных структур университетов и НИИ. При этом никаких стандартов публикационных норм в настоящее время не существует, так как, согласно постановлению Правительства РФ от 11 мая 2017 г. № 553, данный вопрос должны решать учёные советы вузов и академических институтов самостоятельно. Например, приказом от 17 мая 2017 г. № 491 в Пермском государственном национальном исследовательском университете (ПГНИУ) были утверждены показатели результативности деятельности преподавательского состава и их минимальные (пороговые) значения, согласно которым профессор в год обязан опубликовать хотя бы одну статью в журнале, индексируемом в Web of Science или Scopus, а количество цитирований его работ в подобных изданиях должно быть не менее двух за последние пять лет для представителей естественных наук и не менее одного для гуманитарных (самоцитирование не учитывается). К тому же профессору необходимо иметь ещё не менее пяти цитирований в изданиях, зарегистрированных в РИНЦ. Наконец, каждые пять лет он обязан публиковать хотя бы одну монографию. За показатели, превышающие эти пороговые требования, в университете начисляются баллы для финансового стимулирования сотрудников. В зависимости от квартиля рейтинга цитируемости журнала в Web of Science и Scopus автор с аффилиацией ПГНИУ получает 150, 120, 110 и 100 баллов при публикации в журнале, относящемся к Q1, Q2, Q3 и Q4 соответственно. В то же время статьи, индексированные в РИНЦ, дают куда меньше баллов – от 10 до 25 – в зависимости от дециля рейтинга в предметной области. Эти цифры демонстрируют стремление руководства ПГНИУ поощрять прежде всего публикации в высокорейтинговых журналах международного уровня. Аналогично соотношение и цифр цитирования: за зарегистрированную в течение последних пяти лет в Web of Science или Scopus ссылку автор получает 5 баллов, в то время как одна ссылка в РИНЦ "весит" всего 3 балла. За издание дополнительной монографии сверх порогового уровня сотруднику вуза начисляют 50 баллов, а за защиту докторской диссертации – 100. Эти цифры наглядно демонстрируют, с одной стороны, направленность научной политики ПГНИУ, а с другой – несправедливость и однобокость при начислении баллов. Статья, вышедшая в журнале, относящемся к Q1 по классификации WoS, даёт в 3 (!) раза больше баллов, чем научная монография, и в 1,5 раза больше, чем защита докторской диссертации, хотя на то и другое требуется несопоставимо больше труда и времени, нежели на написание и доработку одной журнальной статьи. Если исходить из соображений финансового стимулирования и социального престижа, то, следуя логике научного руководства университета, писать монографии и защищать диссертации не имеет ни малейшего смысла – достаточно регулярно издавать статьи, индексируемые в зарубежных ББД, поскольку даже одна работа, напечатанная в журнале, относящемся к последнему квартилю (Q4), равноценна монографии. Перед нами наглядная иллюстрация действия закона Гудхарта.

Ещё в большей степени это проявляется при анализе утверждённого 27 апреля 2018 г. Положения о рейтинговой системе оценки деятельности профессорско-преподавательского состава Самарского государственного технического университета. В этом официальном документе монографии, изданной на иностранном языке за рубежом (неважно, в каком издательстве, только не в СНГ), присваивается 60 баллов, а изданной в РФ – всего 18. Сходная картина наблюдается с журнальными публикациями. В зависимости от квартиля баллы начисляются за публикации, индексируемые в WoS: Q1–75 баллов, Q2–50, Q3–30, Q4–20; для публикаций, зарегистрированных в ББД Scopus, цифры пропорционально уменьшены на 10 баллов. Почему допущена такая дискриминация – в документе не поясняется. Российская же периодика котируется чуть ли не на порядок ниже: за статью в журнале из списка ВАК начисляется всего 6 баллов, а за индексируемую в РИНЦ – 4. Публикация в других российских журналах, сборниках трудов и тезисов конференций и вовсе оценивается жалким одним баллом.

Если в Самарском техническом университете симпатии администрации на стороне ББД Web of Science, то в Санкт-Петербургском политехническом университете Петра Великого (СПбПУ) предпочтение отдают ББД Scopus, что наглядно проявляется в выплатах за журнальные публикации. Однако в рейтинговой системе для профессорско-преподавательского состава СПбПУ публикации в изданиях, зафиксированных в обеих зарубежных базах, уравнены и за них начисляется по 4 балла. За статью в журнале, входящем в список ВАК, автор получает 2 балла, индексируемом в РИНЦ – 1 балл. В данном случае отказ от учёта квартилей представляется неправомерным, а двукратная разница между публикациями в журналах WoS и Scopus и в журналах из списка ВАК недостаточна, так как отечественному автору опубликовать пару статей в местных изданиях на русском языке гораздо проще, чем одну на английском в рейтинговом журнале за рубежом. Здесь следует добавить, что, помимо журнальных публикаций, в рейтинговой системе СПбПУ учитываются также монографии: за изданную на иностранном языке начисляется 6 баллов, на русском – 3 балла, причём престижность издательства не принимается во внимание. Эти цифры кажутся особенно незначительными в сопоставлении с другими показателями рейтинга. Например, за защиту докторской диссертации начисляется 30 баллов, то есть как за 5 монографий или 15 статей в журналах списка ВАК!

Иная картина в НИУ "Высшая школа экономики". 8 декабря 2017 г. здесь вышло Приложение к приказу № 6.18.1-01/0812-04. В нём и в сопутствующих документах упор сделан на публикации, которые индексируются в журналах, относящихся к Q1 и Q2 WoS и Scopus. Причём издания из списка WoS предпочтительнее, так как за статью или обзор в них выплачивают академическую надбавку (до 100 тыс. руб. ежемесячно) в течение двух лет, а за публикацию в журнале из списка Scopus доплата осуществляется только в течение года. Академические надбавки получают авторы монографий (объём – не менее 7 авт. л. и не более четырёх авторов на книгу), опубликованных наиболее престижными мировыми научными издательствами (Brill, Harvard University Press, Routledge и другие). Сходные правила действуют при учёте опубликованных докладов и статей в сборниках конференций; учитываются (индивидуально) публикации исторических источников, архивных материалов, которые сопровождаются переводом и/или подробным научным комментарием. За публикации назначаются баллы, необходимые для прохождения аттестации: для профессора ВШЭ пороговый балл составляет 18, для ассистента – 12 (статья из перечня WoSCC/Scopus даёт 6 баллов).

Что касается ведущего вуза страны – МГУ, то здесь отсутствуют единые требования к публикационной активности сотрудников и профессорско-преподавательского состава. Каждый факультет выстраивает свою политику в этом вопросе и использует свою методику, зачастую не подкреплённую единой базовой основой. Ещё в 2016 г. эта ситуация подверглась справедливой критике [27], но с тех пор существенных изменений к лучшему так и не произошло.

В системе академических институтов РАН наблюдается несколько большее единообразие, поскольку в основу оценки публикационной активности положена схема ПРНД 2006 г., но полного совпадения метрик нет нигде. Так, согласно утверждённому 14 сентября 2017 г. Положению об оценке эффективности деятельности научных работников в Институте общей и экспериментальной биологии (ИОЭБ) СО РАН, были поставлены целевые государственные задания на два года вперёд, то есть до сентября 2019 г. По этому документу старший научный сотрудник обязан иметь не менее 15 научных трудов (монографий, статей в журналах, индексируемых в международных и российских ББД, патентов на изобретения), опубликованных за последние пять лет, из которых треть должна выйти в журналах, индексируемых WoS и Scopus. За это руководство института назначило стимулирующие выплаты, которые рассчитываются по следующим критериям. За публикацию статьи в рецензируемом журнале с импакт-фактором > 0,2 устанавливается балл, равный импакт-фактору журнала, рассчитанному Web of Science и умноженному на 45. За публикацию статьи в журналах, имеющих импакт-фактор менее 0,2, начисляется 9 баллов, за публикацию статьи в центральных и зарубежных журналах, не имеющих импакт-фактора, – 6 баллов. За монографии, учебники и учебные пособия устанавливается балл, равный объёму издания в печатных листах, умноженному на 2. Обязательные условия учёта подобной печатной продукции – указание авторов на аффилиацию с ИОЭБ СО РАН, тираж не менее 500 экземпляров и объём не менее 10 печ. л.

В Институте металлургии (ИМЕТ) УрО РАН, согласно приказу от 14 февраля 2018 г. № 6, действуют иные правила. За публикацию статьи в журнале, включённом в ББД РИНЦ, WoS или Scopus, установлен балл 60, умноженный на импакт-фактор журнала (это один из редких примеров отсутствия дискриминации РИНЦ). За публикацию статьи в журнале, не имеющем импакт-фактора, но входящем в перечень ВАК, или в журнале с импакт-фактором менее 0,2 начисляется 10 баллов, за публикацию статьи в журнале, не входящем в перечень ВАК, или в сборнике научных трудов – 6 баллов. Кроме того, в ИМЕТ УрО РАН гораздо выше ценят монографии и учебники, поскольку для них установлен балл, равный объёму монографии в печатных листах, умноженному на 5.

Подобные примеры легко продолжить. Всё говорит о том, что единая продуманная политика оценки научных публикаций в стране отсутствует, здесь царит, фигурально выражаясь, "наукометрическая анархия". Государственные органы и вузовская/институтская администрации задают количественные наукометрические параметры сверху, обычно никак не подкрепляя их аргументами и предварительными расчётами. Поэтому, прежде чем спускать нормативные документы с наукометрическими показателями, руководству наукой на всех уровнях следует помнить, что методики их расчёта несовершенны и не могут полностью заменить экспертную оценку [28, c. 7; 29; 30, с. 40, 76–77, 106, 140], хотя она более затратна по всем параметрам и не лишена субъективности. Причём чем примитивнее наукометрические показатели и чем их меньше, тем более грубо/искажённо они отражают реальный вклад в науку публикаций конкретного автора.

В связи с этим представляется целесообразным дальнейшее совершенствование наукометрического инструментария и постепенный отход от фетишизации журнальных публикаций из списков WoSCC/Scopus, которые систематически занижают показатели России [31, с. 56, 57]. Необходимо, с одной стороны, использовать всю номенклатуру научных публикаций, прописанных в ГОСТах (исключив тезисы докладов и учебно-методическую литературу, но включив авторефераты и диссертации), а с другой – активнее переходить к альтернативным библиометрическим базам. Перспективной представляется поисковая система Google Scholar (GS). Пока её используют достаточно редко, хотя в некоторых вузах начинают применять в наукометрической отчётности. Согласно приказу ректора НИУ МЭИ от 15 мая 2018 г. № 228, показатели GS идут вслед за WoSCC и Scopus. Этот крупнейший поисковик располагает такими показателями, как количество статей, цитат, h-index, i10-index, и может быть подспорьем в наукометрической оценке качества НИР [32]. Google Scholar обычно оперативнее и полнее отслеживает ссылки на работы российских учёных, чем другие ББД. Как показало новейшее исследование зарубежных специалистов, данные цитирования GS, по существу, представляют собой расширенный набор показателей WoS и Scopus с большим дополнительным охватом во всех областях [33]. Несомненный плюс этой поисковой системы – её безвозмездность и возможность автору пополнять список своих научных работ. Единственной серьёзной проблемой для вузовской и институтской администрации в случае принятия на вооружение GS станет фильтрация и удаление из авторских профилей сотрудников продублированных данных, ненаучной литературы, публикаций в "хищных" и "мусорных" журналах. РИНЦ, если использовать его как полноценную ББД для отечественных авторов, нуждается в серьёзных преобразованиях, о чём неоднократно говорилось в научной литературе.

Рекомендации РАН и некоторых авторов [34, c. 149, 150; 35, c. 71; 9, c. 30] обратиться к показателям бурно развивающейся в последнее десятилетие альтметрики для анализа публикационной активности кажутся преждевременными из-за возможностей лёгкого манипулирования данными [36, c. 117]. Пожалуй, единственный критерий реальной ценности работы, сопоставимой с цитированием, – платная загрузка статей с сайта журнала. Человек, незаинтересованный в информации, помещённой в статье, скорее всего, не будет выкладывать за неё от 10 долл. до 35 евро.

Отдельная большая проблема – цитируемость. Общий недостаток наукометрических расчётов – однократный учёт ссылки на работу учёного. Разумеется, есть существенная разница: сделана ссылка 1 раз или, допустим, 10. Это важный качественный показатель, который до сих пор игнорируется в расчётах библиометрических баз. Но вряд ли справедлив и другой случай, при котором ссылка на конкретную страницу в энциклопедии даёт цитирование всем её авторам (а их может быть несколько десятков). Из наукометрических расчётов однозначно следует исключить самоцитирование и обязательно учитывать специфику научной дисциплины, поскольку от этого в значительной мере зависит количество ссылок. Наконец, нельзя не упомянуть проблему негативных ссылок. Доходит до абсурда: негативная ссылка, которую, по идее, после проверки экспертами следует учитывать со знаком минус, наоборот, приносит некомпетентному автору дополнительное цитирование. В свою очередь, указание на то, что подобных ссылок немного, они не меняют общей статистики и их не надо классифицировать, –не аргумент. И вот почему: если вовремя не остановить некорректную информацию, то она будет размножаться, заражая тексты других учёных, особенно молодых.

Проведённый анализ показывает, что в настоящее время ситуация с использованием наукометрических показателей для аттестации публикационной работы профессорско-преподавательского состава российских университетов и сотрудников академических институтов выглядит неудовлетворительно. В таких условиях говорить об эффективном управлении качеством научной работы не приходится (за редким исключением). Да, совершенствование наукометрических критериев может потребовать дополнительной скрупулёзной работы и значительных затрат, индивидуальной "подгонки" наукометрических критериев под каждый вуз/институт, но в результате может появиться куда более объективная и справедливая система оценки НИР.

About the authors

Andrey V. Grinev

Author for correspondence.
Email: agrinev1960@mail.ru

Doctor of Historical Sciences, Professor

References

Supplementary files