Scientometrics — a need or a fashionable trend?

Cover Page
Open Access Open Access
Restricted Access Access granted
Restricted Access Subscription or Fee Access

Abstract


The papaer presents a review of some publications on the history of the development, formation, functions and capabilities of scientometrics, as well as the state of Russian science and its role on the international arena. The thoughts regarding the role of scientometrics in modern scientific research are stated. To date, scientometrics provides a number of possibilities. First of all, it is a system for monitoring publication activity of scientists around the world. Obviously, the main goal is structuring scientific publications with the following improvement of scientific activity. Howewer, are modern scientometric indicators objective in relation not only to the number, but also to the quality of scientific publications? Is the notorious Hirsch index an ideal parameter for evaluating the performance of researchers? Are there any prospects for scientometrics in the modern scientific world, or is a worthy alternative to currently used methods for assessing scientific activity required? These and many other questions are raised by the authors in this article.


Full Text

Введение

Изучение количества и качества научных работ является одной из актуальных тем в современной научной среде. Ни для кого не секрет, что наука — это своего рода творчество, в котором каждый отдельно взятый ученый выступает уникальным творцом. Посему люди науки издавна ставили нетривиальную задачу — организовать ту или иную систему оценки научной деятельности. Технический прогресс стал одним из движущих факторов развития науки во всем мире. В настоящее время количество людей, занимающихся наукой в том или ином ее проявлении, стремительно растет. Все это способствовало созданию и развитию такого научного направления, как наукометрия.

Прежде чем ответить на главный вопрос: что же такое наукометрия — необходимость или же модная тенденция, следует сделать краткий экскурс в историю возникновения и становления наукометрии.

В 1969 г. отечественный ученый В.В. Налимов впервые ввел термин «наукометрия» и дал ему определение: «количественные методы изучения развития науки как информационного процесса» [1, 2].

Условно можно выделить три этапа развития наукометрии в мире.

  1. Период до 1955 г., когда анализ публикаций не производился как таковой. В какой-то мере это связано с количеством ученых в тот период — по отношению к населению доля ученых была ничтожно мала.
  2. Период так называемых индексов цитирования. В 1955 г. Ю. Гарфилд опубликовал научную работу Citation indexis for science, в которой первым затронул вопрос об индексах научного цитирования. Спустя 8 лет, в 1963 г., Институтом научной информации (англ. Institute for Scientific Information — ISI) был сформирован первый в мире индекс цитирования (SCI), который получил стремительное развитие. К 1965 г. существовала возможность просматривать около 1150 научных журналов, а к концу 70-х годов XX в. наукометрия была признана отдельным научным направлением. В последующие годы несколько аналогичных систем появилось в таких странах, как Китай, Япония, Польша и др. [3, 4].
  3. Современный этап развития наукометрии начинается с 1990 г., когда была создана первая современная масштабная база данных Web of Science. Спустя 14 лет, в 2004 г., заработал еще один крупный международный сервис цитирования под названием Scopus. В ответ на разработку двух крупнейших иностранных сервисов цитирования в России в 2005 г. был создан отечественный сервис — Российский индекс научного цитирования (РИНЦ), реализуемый научной электронной библиотекой eLIBRARY [4].

Цель — провести обзор публикаций по теме наукометрии для поиска ответа на главный вопрос настоящей статьи — что же такое наукометрия: необходимость или же модная тенденция?

Материалы и методы

Авторами был проведен обзор публикаций, размещенных в научной электронной библиотеке eLIBRARY, за период с 2003 по 2020 г., а также ряда статей из других электронных ресурсов. Для исследовательского поиска были использованы следующие ключевые слова: «наукометрия», «индекс Хирша», «G-индекс», «индекс цитирования», «импакт-фактор».

За последние годы разработано множество факторов оценки научной результативности как отдельных авторов, так и целых научных изданий. Среди наиболее популярных методов оценки качества научных публикаций выделяют индекс Хирша (H-индекс), G-индекс, импакт-фактор и др. Индекс Хирша вычисляют по списку публикаций, расположенных по мере уменьшения количества их цитирования, он равен числу, являющемуся порядковым номером публикации в этом списке, для которой количество ее цитирований не меньше чем порядковый номер [5]. Приведем пример. У ученого А. есть 30 публикаций. Его наиболее цитируемая работа имеет 30 цитирований, вторая — 25 цитирований… 8-я публикация в общем списке имеет 10 цитирований (количество цитирований в этом случае больше, чем порядковый номер публикации), а 9-я — 7 цитирований (число цитирований данной публикации уже меньше, чем ее порядковый номер в списке). Соответственно, 8-я по счету публикация является последней публикацией, число цитирований у которой выше, чем ее порядковый номер. Таким образом, индекс Хирша ученого А. составляет 8.

Импакт-фактор — показатель, отражающий частоту цитирования статей научного журнала за определенный период. Чаще всего оценивают частоту цитирования публикаций за два года. Например, на 2019 г. импакт-фактор одного из самых авторитетных международных медицинских журналов The Lancet составлял 59,1 [6, 7].

Результаты

На сегодняшний день наукометрия обладает целым рядом возможностей. В первую очередь это система контроля публикационной активности ученых во всем мире. Кроме того, данные о цитировании позволяют узнать о новых разработках в той или иной сфере, своевременно выявить как «трендовые», так и затухающие направления. Очевидно, что основная целью состоит в структуризации научных публикаций с последующим повышением эффективности научной деятельности. Однако остро стоит вопрос, являются ли современные наукометрические показатели объективными по отношению не только к количеству, но и к качеству научных публикаций [6].

Говоря о методах оценки качества научных публикаций, в первую очередь следует упомянуть индекс Хирша. Отношение ученых к индексу Хирша весьма неоднозначное. Многие утверждают, что нельзя считать H-индекс достоверной единицей измерения активности авторов. Если у двух авторов одинаковое число публикаций, например 5, но у первого автора на каждую публикацию приходится 1000 цитирований, а у второго — 10, то все равно индекс Хирша у обоих авторов равен 5 [8, 9]. Показательным примером может служить учение А. Эйнштейна. Всем известно, что он автор теории относительности, и многие люди в той или иной мере употребляют в повседневной жизни фразы «все относительно» или «теория относительности», тем самым цитируя А. Эйнштейна. Однако сколько бы тысяч, миллионов раз ни цитировалась эта работа, индекс Хирша будет равен единице, поскольку публикация всего одна.

Среди недостатков индекса Хирша выделяют также невозможность оценки личного вклада отдельного автора, то есть не важно, писалась ли статья одним автором или же десятью, — индекс Хирша для всех авторов одинаков. H-индекс также не учитывает ссылки на книги и другие публикации, не являющиеся статьями в журналах [9].

В качестве альтернативы индексу Хирша было предложено использовать G-индекс, который позволяет оценивать не только количество цитирований отдельных статей, но и весь объем цитирований, но этот индекс не получил полноценного признания и повсеместного распространения [5].

Нельзя не отметить низкий рейтинг цитируемости российских публикаций в общемировой массе научных работ. Ряд авторов указывают на катастрофически низкий рейтинг цитируемости российских работ в международных базах (Web of Science, Scopus). Так, И.А. Меркулов приводит нерадующие цифры: «Россия занимает 120-е место в мире по количеству ссылок на одну опубликованную статью» [10]. По данным Ю.В. Мохначевой и Т.Н. Харыбиной, «ни в одной научной области средний уровень цитируемости российских публикаций не достиг среднемировых значений» [11].

Один из факторов, служащих причиной низкого рейтинга цитируемости российских публикаций на мировой арене, — это недостаточное знание английского языка (ведь статьи на английском языке обязательны для публикации в авторитетных базах данных Web of Science и Scopus) [2, 12]. Показательно в этом плане исследование О.И. Кирчика, в котором автор оценивал долю русскоязычных публикаций в базе данных Web of Science в разные годы. Так, в 1992 г. количество русскоязычных публикаций составляло около 10 тыс., тогда как к 2008 г. их доля уменьшилась до 2 тыс. Число англоязычных работ, напротив, увеличилось с 15 до 30 тыс. публикаций за тот же период [2, 13].

Еще одной причиной низких показателей цитируемости русскоязычных научных работ в мире является низкое качество многих российских журналов. Здесь также следует упомянуть о колоссальном количестве журналов-однодневок в структуре РИНЦ [8].

Многие авторы [2, 14, 15] акцентируют внимание на прямой корреляции между качеством проведенных исследований и их финансированием. Упоминая, в частности, что для исследований в области медицины необходимы немалые финансовые затраты.

В России существуют четыре крупные государственные организации, выделяющие гранты для исследований. Среди них:

  • Российский фонд фундаментальных исследований (РФФИ), который на 2016 г. располагал 16 млрд руб.;
  • Российский научный фонд (РНФ) — 15,5 млрд руб.;
  • Российский гуманитарный научный фонд (РГНФ) — 1,8 млрд руб.;
  • Российская академия наук (РАН) — 4,1 млрд руб. [14].

Помимо указанных грантодателей ряд организаций получает особое финансирование из государственного бюджета. Среди них такие организации, как Федеральное агентство научных организаций (ФАНО), Московский государственный университет (МГУ), Санкт-Петербургский государственный университет (СПбГУ) и т. д. Нельзя также забывать о грантах Президента и Правительства РФ и о частных инвестициях, хотя их вклад в общий бюджет невелик [14].

По данным на 2016 г., Россия занимает десятую строчку в общем рейтинге внутренних затрат на исследования среди различных стран, располагая бюджетом в 39,9 млрд долларов. В тройку лидеров входят США (511,1 млрд долларов), Китай (451,2 млрд долларов), Япония (168,6 млрд долларов). При этом на одного исследователя в России выделяется 93 тыс. долларов, что соответствует 47-й позиции. В США на каждого исследователя было выделено 359,9 тыс. долларов (2-е место), в Китае — 266,6 тыс. долларов (8-е место), в Японии — 253,4 тыс. долларов (9-е место) [16]. При подсчете количества публикаций за 2016 г. вышеуказанные страны расположились следующим образом: Китай — 426 165 статей (1-е место), США — 408 985 статей (2-е место), Япония — 96 536 статей (6-е место), Россия — 59 134 статей (10-е место) [17].

Таким образом, финансовая сторона играет не последнюю роль в проведении качественных и полноразмерных исследований.

Проанализировав множество работ, посвященных различным методам оценки публикационной активности представителей науки, можно сделать вывод, что бóльшая часть авторов негативно относится к наукометрии, считая ее необъективной в том смысле, что основная суть ее сводится к количественным методам оценки активности научных сотрудников и преподавательского состава. Кроме того, авторы указывают на множество отрицательных последствий влияния наукометрии на оценку научной активности. Все чаще отмечают применение наукометрии в недобросовестных целях: это и заказные публикации, и «накрутка» цитирований, и колоссальное количество научных работ, лишенных всякого смысла, и публикация перефразированных работ одними и теми же авторами, так называемые публикации ради публикации, а также прочие методы публикационного мошенничества [18, 19]. Нельзя не сказать о таком известном способе увеличения количества публикаций, как вписывание множества авторов, которые зачастую не имеют отношения к этой научной работе. Вот что об этом пишет профессор С.М. Гусейн-Заде: «…я кликнул на одну из статей. То, что я увидел, меня озадачило. Статья длиной 18 страниц с половиной. Четыре из них — непосредственно текст статьи, половина страницы — список литературы, а остальные 14 страниц — список авторов! Их немногим более 2000. (Получается, что на каждого автора приходится по 4 буквы собственно статьи.)» [20].

Многие ученые негодуют: их активность оценивают по «сырым» цифрам, вместо того чтобы оценивать качество той или иной научной работы. Если несколько десятилетий назад ученым требовалось несколько лет для написания и публикации качественной научной работы, то сейчас многие деятели науки «штампуют» статьи одну за другой, тем самым пытаясь выполнить план по публикациям за определенный промежуток времени, при этом совершенно забывая о качестве этих публикаций. И этому не стоит удивляться, ведь на кону надбавки, гранты, а зачастую и должности — все это зависит от количества опубликованных работ, цитирований, того же индекса Хирша [8].

Одним из факторов, приводящим к недостоверной оценки цитируемости публикаций тех или иных авторов, является так называемая компьютерная неграмотность, которая заключается в неверном цифровом отображении ссылки на статью. Ведь стоит допустить ошибку лишь в одном символе в фамилии автора, названии статьи, названии журнала или даже странице — и это приводит к тому, что данная ссылка не будет достоверной [19].

Еще один способ повышения индекса цитируемости — «перекрестные ссылки», суть которых заключается в том, что авторы договариваются между собой о том, чтобы в своих публикациях ссылаться друг на друга, а зачастую и вовсе занимаются самоцитированием [9].

Тем не менее не может не радовать то, что в последние годы российская наука стремится повысить качество публикаций. Таким образом, повысились требования к публикациям во многих журналах, в том числе из перечня журналов, рекомендуемых Высшей аттестационной комиссией при Министерстве науки и высшего образования Российской Федерации (ВАК). Кроме того, в 2018 г. была создана комиссия по противодействию фальсификации научных исследований РАН. В январе 2020 г. комиссией был проведен анализ множества публикаций в журналах ВАК. По результатам этой «ревизии» 869 статей были изъяты из РИНЦ в больше степени по причине того, что эти публикации оказались перефразированными работами одних и тех же авторов, так называемым самоплагиатом. Всего же комиссия РАН рекомендовала исключить более 2,5 тыс. статей [21, 22].

Таким образом, можно говорить о том, что вместо ожидаемого развития науки наукометрический бум приводит по большей части к развитию «псевдонауки». Как следствие, в научном обществе термин «наукометрия» вызывает неоднозначную, а зачастую и негативную реакцию [2].

Заключение

Обзор множества работ, посвященных различным методам оценки публикационной активности преподавателей и деятелей науки, позволяет заключить, что вопрос о том, являются ли наукометрические методы оценки объективными как в количественном, так и в качественном отношении, остается открытым. И главное не ясно, действительно ли необходима наукометрия в современном научном мире или же это очередное «модное» веяние. Отвечая на последний вопрос, можно провести параллели между научной деятельностью и спортивными состязаниями: здесь присутствуют как индивидуальные достижения, так и командная работа. С учетом этого факта науке, как и любому виду спорта, необходимы меры оценки продуктивности. В качестве примера можно привести рейтинг Эло у шахматистов. Так и в научной среде — для оценки индивидуальных заслуг в настоящее время помогают индекс Хирша, G-индекс и другие, а для оценки командной работы служит, например, импакт-фактор.

Не секрет, что многие ученые, преподаватели и другие деятели науки отрицательно относятся к способам оценки научной активности, применяемым в наши дни. Наукометрия, располагающая современным арсеналом способов оценки публикационной активности, фактически является «рейтинговой гонкой» среди людей науки. Однако следует понимать, что при отсутствии других, более качественных методов оценки деятельности научных сотрудников нынешние наукометрические показатели являются вынужденной мерой. Таким образом, основное направление для развития и совершенствования наукометрии в наши дни заключается в разработке показателей, позволяющих дать качественную оценку публикаций научных сотрудников.

About the authors

Vyacheslav P. Zemlyanoy

North-Western State Medical University named after I.I. Mechnikov

Email: zeml.spb@mail.ru
ORCID iD: 0000-0003-2329-0023

Russian Federation, Saint-Petersburg

doctor of science, professor, Head of the Department of Faculty Surgery named after I.I. Grekova

Badri V. Sigua

North-Western State Medical University named after I.I. Mechnikov

Email: dr.sigua@gmail.com
ORCID iD: 0000-0002-4556-4913
SPIN-code: 5571-8893

Russian Federation, Saint-Petersburg

doctor of science, professor of the Department of Faculty Surgery named after I.I. Grekova

Vyacheslav A. Melnikov

North-Western State Medical University named after I.I. Mechnikov

Author for correspondence.
Email: melnikov.szgmu@yandex.ru
ORCID iD: 0000-0002-9723-0392
SPIN-code: 2793-3016

Russian Federation, Saint-Petersburg

Clinical Resident of the Department of Faculty Surgery named after I. I. Grekov

Nikolay G. Lyubimov

North-Western State Medical University named after I.I. Mechnikov

Email: nikolaya.lyubimov@yandex.ru

Russian Federation, Saint-Petersburg

Студент 6 курса

References

  1. Налимов В.В., Мульченко З.М. Наукометрия. Изучение науки как информационного процесса. – М.: Наука, 1969. – 192 с. [Nalimov VV, Mul’chenko ZM. Naukometriya. Izuchenie nauki kak informatsionnogo protsessa. Moscow: Nauka; 1969. 192 p. (In Russ.)]
  2. Гуськов А.Е. Российская наукометрия: обзор исследований // Библиосфера. – 2015. – № 3. – С. 75–86. [Gus’kov AE. Russian scientometrics: a review of research. Bibliosfera. 2015;(3):75-86. (In Russ.)]
  3. Garfield E. Citation indexes for science; a new dimension in documentation through association of ideas. Science. 1955;122(3159):108-111. https://doi.org/10.1126/science.122.3159.108.
  4. Солодкин Д.Л. К вопросу о становлении и развитии наукометрии // Вестник Омского университета. – 2013. – № 3. – С. 185–189. [Solodkin DL. The genesis and evolution of scientometrics: historical survey. Vestnik Omskogo universiteta. 2013;(3):185-189. (In Russ.)]
  5. Назаренко М.А. Наукометрия H-индекса (индекса Хирша) и G-индекса современного ученого // Международный журнал экспериментального образования. – 2013. – № 7. – С. 185–186. [Nazarenko MA. Naukometriya H-indeksa (indeksa Khirsha) i G-indeksa sovremennogo uchenogo. Mezhdunarodnyy zhurnal eksperimental’nogo obrazovaniya. 2013;(7):185-186. (In Russ.)]
  6. Соломченко Д.О., Соломченко М.А. Источники данных и определение импакт-фактора научного издания для публикационной активности // Наука-2020. – 2018. – Т. 20. – № 4. – С. 53–59. [Solomchenko DO, Solomchenko MA. Data sources and determination of the impact factor of a scientific publication for publication activity. Nauka-2020. 2018;20(4):53-59. (In Russ.)]
  7. lancet/about [Internet]. About The Lancet [cited 9 May 2020]. Available from: https://www.thelancet.com/lancet/about.
  8. Чеботарев П.Ю. Наукометрия: как с ее помощью лечить, а не калечить? // Управление большими системами: сборник трудов. – 2013. – № 44. – С. 14–31. [Chebotarev PY. The use of scientometrics: how to help, not hurt? Upravlenie bol’shimi sistemami: sbornik trudov. 2013;(44):14-31. (In Russ.)]
  9. Бекларян Л.А., Давыдов Д.В., Дементьев В.Е., и др. Наукометрия и ее влияние на развитие современной науки // Вопросы инновационной экономики. – 2019. – Т. 9. – № 1. – С. 11–36. [Beklaryan LA, Davydov DV, Dement’ev VE, et al. Scientometrics and its impact on the development of modern science. Voprosy innovatsionnoy ekonomiki. 2019;9(1):11-36. (In Russ.)]. https://doi.org/10.18334/vinec.9.1.39957.
  10. Меркулов И.А. Конкурентоспособность российской медицинской науки: состояние, проблемы, перспективы // Клиническая практика. – 2012. – № 3. – C. 4–13. [Merkulov IA. Competitive ability of Russian medical science: current state, problems and prospects. Klinicheskaya praktika. 2012;(3):4-13. (In Russ.)]. https://doi.org/10.17816/clinpract334-13.
  11. Мохначева Ю.В., Харыбина Т.Н. Научная продуктивность учреждений РАН и вузов: сравнительный библиометрический анализ // Вестник Российской академии наук. – 2011. – Т. 81. – № 12. – C. 1065–1070. [Mokhnacheva YV, Kharybina TN. Nauchnaya produktivnost’ uchrezhdeniy RAN i vuzov: sravnitel’nyy bibliometricheskiy analiz. Vestnik Rossiiskoi akademii nauk. 2011;81(12):1065-1070. (In Russ.)]
  12. Маркусова В.А. Цитируемость российских публикаций в мировой научной литературе // Вестник Российской академии наук. – 2003. – Т. 73. – № 4. – C. 291–298. [Markusova VA. The Quotability of Russian Publications in the World’s Scientific Literature. Vestnik Rossiiskoi akademii nauk. 2003;73(4):291-298. (In Russ.)]
  13. Кирчик О.И. «Незаметная» наука. Паттерны интернационализации российских научных публикаций // Форсайт. – 2011. – Т. 5. – № 3. – C. 34–42. [Kirchik OI. “Nezametnaya” nauka. Patterny internatsionalizatsii rossiyskikh nauchnykh publikatsiy. Forsayt. 2011;5(3):34-42. (In Russ.)]
  14. Бубнова Н.А., Варзин С.А., Матвеев В.В., и др. Наукометрический бум: за и против // Национальная безопасность и стратегическое планирование. – 2017. – Т. 17. – № 1. – С. 112–122. [Bubnova NA, Varzin SA, Matveev VV, et al. Scientometric boom: pros and cons. Natsional’naya bezopasnost’ i strategicheskoe planirovanie. 2017;17(1):112-122. (In Russ.)]
  15. Миндели Л.Э., Либкинд А.Н., Маркусова В.А. Влияние грантового финансирования на эффективность научных исследований в высшей школе // Вестник Российской академии наук. – 2014. – Т. 84. – № 12. – С. 1080–1089. [Mindeli LE, Libkind AN, Markusova VA. Vliyanie grantovogo finansirovaniya na effektivnost’ nauchnykh issledovaniy v vysshey shkole. Vestnik Rossiiskoi akademii nauk. 2014;84(12):1080-1089. (In Russ.)]. https://doi.org/ 10.7868/S0869587314120111.
  16. Ратай Т.В. Рейтинг ведущих стран мира по затратам на науку // Институт статистических исследований и экономики знаний НИУ «Высшая школа экономики». – 2018. – № 93. – 2 с. [Ratay TV. Reyting vedushchikh stran mira po zatratam na nauku. Institut statisticheskikh issledovaniy i ekonomiki znaniy NIU “Vysshaya shkola ekonomiki”. 2018;(93):1-2 (In Russ.)].
  17. National Science Board. Science & Engineering Indicators 2018. 2018.
  18. Мотрошилова Н.В. Недоброкачественные сегменты наукометрии // Вестник Российской академии наук. – 2011. – Т. 81. – № 2. – С. 134–146. [Motroshilova NV. Inferior Segments of the Scientometrics. Vestnik Rossiiskoi akademii nauk. 2011;81(2):134-146. (In Russ.)]
  19. Шарабчиев Ю.Т. Почему научные публикации не цитируются и как повысить свою цитируемость // Медицинские новости. – 2014. – Т. 233. – № 2. – С. 6–13. [Sharabchiev YT. Why are scientific publications not quotedand how to increase the citation level. Meditsinskie novosti. 2014;233(2):6-13. (In Russ.)]
  20. Гусейн-Заде С.М. Повесть об истине // Управление большими системами. – 2013. – № 44. – С. 422–434. [Guseyn-Zade SM. Tale of the “istina”. Upravlenie bol’shimi sistemami. 2013;(44):422-434. (In Russ.)]
  21. Chawla DS. Russian academy probe triggers more than 800 retractions. Science. 2020;367(6474):132. https://doi.org/10.1126/science.367.6474.132.
  22. naked-science.ru [интернет]. Жаботинская С. В РАН сообщили об отзыве 869 статей из научных журналов [доступ от 09.05.2020.]. Доступно по ссылке https://naked-science.ru/article/media/v-ran-soobshhili-ob-otzyve-869-statej-iz-nauchnyh-zhurnalov [Naked-science.ru [Internet]. Zhabotinskaya S. V RAN soobshchili ob otzyve 869 statey iz nauchnykh zhurnalov [cited 9 May 2020]. Available from: https://naked-science.ru/article/media/v-ran-soobshhili-ob-otzyve-869-statej-iz-nauchnyh-zhurnalov (In Russ.)]

Supplementary files

There are no supplementary files to display.

Statistics

Views

Abstract - 62

PDF (Russian) - 34

Cited-By


Article Metrics

Metrics Loading ...

PlumX

Dimensions

Refbacks

  • There are currently no refbacks.

Copyright (c) 2020 Zemlyanoy V.P., Sigua B.V., Melnikov V.A., Lyubimov N.G.

Creative Commons License
This work is licensed under a Creative Commons Attribution 4.0 International License.

This website uses cookies

You consent to our cookies if you continue to use our website.

About Cookies