Опыт квалиметрической оценки научно-исследовательской деятельности военной образовательной организации высшего образования

Полный текст

ВВЕДЕНИЕ

Проблема оценки эффективности деятельности организаций существует в самых различных отраслях деятельности. Оценка качества продукции, эффективности деятельности организационных структур, особенно если не имеется четких метрических характеристик, является сложной управленческой задачей. В этом ряду находится научная деятельность научных и образовательных организаций, основным итогом которой являются различные виды научной продукции, в конечном счете, определяющие эффективность этой деятельности. Как показывает практика, оценка научной деятельности образовательных организаций в основном сводится к публикационной активности и цитируемости, которые оцениваются в баллах [1–3].

Научная продукция не имеет конкретных критериев своей оценки, что предопределят особенность ее определения с использованием как количественных, так и качественных показателей. Решение задачи объединения этих показателей и приведения их к единому знаменателю может быть обеспечено использованием методов квалиметрии, призванных обеспечить оценку качества объектов любой природы. В квалиметрии шкала измерений является средством адекватного сопоставления и определения численных значений отдельных свойств и качеств различных объектов. Детальная характеристика возможных к употреблению в квалиметрии шкал приводится в работах, посвященных теории и методам статистики [4–6].

В научных публикациях, посвященных мониторингу научной деятельности вуза, особое место уделяется квалиметрической технологии, которая основывается на методе групповых экспертных оценок. Экспертный метод оценки уровня качества продукции или вида деятельности используется в тех случаях, когда невозможно или очень затруднительно использовать методы объективного определения значений единичных или комплексных показателей свойств [1– 3, 7–9].

Большое внимание оценке научной деятельности уделяется и в Военно-медицинской академии им. С.М. Кирова (ВМА). Тем не менее ряд вопросов к настоящему времени остаются не решенными [9, 10].

Цель исследования — разработать комплекс оценки статуса научной деятельности подразделений ВМА и на его основе определять их научный рейтинг.

МАТЕРИАЛЫ И МЕТОДЫ

Нашей задачей определена разработка оригинальной методики оценки качества научной деятельности подразделений ВМА, основанной на квалиметрической оценке максимально возможных направлений научно-исследовательской деятельности подразделений и признаков, их характеризующих. Таким образом, объектом исследования стала ВМА, а предметом — научная деятельность ее подразделений. В исследовании использовались квалиметрические методы экспертного опроса и определения весомости показателей деятельности, а также методы описательной статистики: расчет среднего арифметического значения и среднего квадратического отклонения случайной величины (сигмы). Согласованность экспертов оценивалась с помощью коэффициента конкордации Кендалла.

РЕЗУЛЬТАТЫ И ИХ ОБСУЖДЕНИЕ

В своем исследовании мы придерживались определенных постулатов квалиметрии. Так, показатель любого уровня обобщения, кроме самого нижнего (исходного), предопределяется соответствующими показателями предшествующего иерархического уровня. Под самым низким иерархическим уровнем показателей следует понимать единичные показатели простейших свойств, формирующих качество. Более высокий иерархический уровень составляют обобщенные показатели качества. Показателем качества высшего иерархического уровня является интегральный показатель. Все разноразмерные показатели свойств должны быть преобразованы и приведены к одной размерности или выражены в безразмерных единицах измерения. Каждый показатель отдельного свойства должен быть скорректирован коэффициентом его весомости (значимости). Качество целого объекта (в частности, продукции или процесса) обусловлено качеством его составных частей. При количественной оценке качества, особенно по комплексному показателю, недопустимо использование взаимообусловленных и, следовательно, дублирующих показателей одного и того же свойства [1, 6, 11, 12].

Исследование проводилось в 5 этапов:

1. Определение направлений научно-исследовательской деятельности научных и учебных подразделений как основных структурных единиц академии.
2. Определение перечня показателей, характеризующих каждое из направлений научной деятельности.
3. Экспертная оценка весомости показателей научной деятельности.
4. Определение научного статуса подразделения.
5. Определение научного рейтинга подразделения.

Наиболее сложными и трудоемкими оказались первые 2 этапа, в реализации которых приняли участие 25 экспертов из различных подразделений академии, имеющих отношение к научной работе. Экспертам предлагалось структурировать научную работу как предмет исследования с выделением основных направлений и показателей. Результатом стала сложная объемная структура, состоящая из 11 направлений, которые содержали 316 показателей различной степени детализации. В результате работы над этой базовой таблицей были выявлены близкие по содержанию направления и показатели и в конечном счете определена структура научной деятельности подразделения, состоящая из 6 направлений: научно-исследовательская и военно-историческая работа; подготовка научно-педагогических кадров; публикационная активность; изобретательская деятельность; конгрессно-выставочная деятельность; другое. Каждое направление описано набором конкретных показателей, сумма которых равна 17 (табл.).

 

Таблица. Пример расчета комплексного показателя научного статуса подразделения

Table. Sample calculation of the complex indicator of the scientific status of a unit

Направление деятельности		Весомость направления		№ п/п	Показатели направления деятельности	Единицы измерения	Значение показателя		Весомость показателя		Расчет
Научно- исследовательская и военно- историческая работа		0,3		1.1.	Выполнение НИР, включенных в ГЗ, а также хоздоговорных, включая клинические исследования и испытания в качестве головного исполнителя	Число своевременно закрытых работ	2		0,178		1,42
				1.2.	Выполнение НИР в качестве исполнителя	Число выполненных НИР	3		0,083		0,99
				1.3.	Проведение военно-исторической работы	Число новых архивных данных, введенных в оборот	3		0,04		0,48
Подготовка научно- педагогических кадров		0,25		2.1.	Эффективность подготовки научных кадров	Число подготовленных НК по плану подготовки НПР, в % от числа НПР подразделения	5		0,006		0,12
				2.2.		Число подготовленных НК за плату	2		0,090		0,72
				2.3.	Укомплектованность подразделения НПР, имеющими ученую степень	60% и более — 1, а дальше + 0,1 за каждый процент	1		0,074		0,30
				2.4.	Наличие научной школы, зарегистрированной в реестре	Отсутствие школы — 0; школа начального уровня, новая и деградирующая — 1; школа высокого, высшего уровня и прогрессирующая — 2	1		0,044		0,18
				2.5.	Организация работы кружка ВНОКС	Число активных членов кружка, имеющих результаты деятельности	12		0,036		1,74
Направление деятельности	Весомость направления		№ п/п	Показатели направления деятельности		Единицы измерения	Значение показателя	Весомость показателя		Расчет
Публикационная деятельность	0,2		3.1.	Учебники, монографии, руководства, учебные и учебно-методические пособия, изданные по плану НР и РИД		Число авторских листов	10	0,090		3,60
			3.2.	Научные статьи, включенные в международные базы цитирования Scopus и WoS		Число статей	3	0,051		0,62
			3.3.	Научные статьи, включенные в перечень ВАК и RSCI		Число статей	2	0,039		0,31
			3.4.	Научные статьи, включенные в РИНЦ		Число статей	3	0,02		0,24
Изобретательская деятельность	0,1		4.1.	Наличие патента		Число патентов	2	0,08		0,64
			4.2.	Наличие рационализаторского предложения		Число предложений	0	0,02		0,00
Конгрессно-выставочная деятельность	0,1		5.1.	Проведение НМ, включенного в ПНМ, в соответствии с ПНР		Число мероприятий	2	0,068		0,54
			5.2.	Участие в сторонних научных мероприятиях (только при наличии доклада)		Число мероприятий	3	0,016		0,20
			5.3.	Участие в выставке (только при наличии экспоната)		Число мероприятий	4	0,016		0,26

Примечание: НИР — научно-исследовательская работа; НК — научные кадры; ВНОКС — военное научное общество курсантов и слушателей; ГЗ — государственное задание; НМ — научное мероприятие; НПР — научно-педагогические работники; НР — научная работа; ПНМ — план научных мероприятий; ПНР — план научной работы; РИД — редакционно-издательская деятельность; ВАК — высшая аттестационная комиссия; РИНЦ — российский индекс научного цитирования; RSCI — Russian Science Citation Index.

 

Следующим шагом стала оценка весомости каждого из приведенных признаков, для чего использовалось мнение экспертов. Были приглашены эксперты, имеющие отношение к научной работе подразделений на различных уровнях управления. Среди них оказались сотрудники отдела организации научной работы и подготовки научно-педагогических кадров, заместители начальников подразделений и лица, отвечающие за организацию научной работы в подразделениях. Всего в качестве экспертов выступили 25 специалистов, которые определяли коэффициент весомости каждого из 17 показателей. Согласованность мнения экспертов оценена с помощью коэффициента конкордации Кендалла, который принял значение равное 0,82 (p < 0,001), что свидетельствует о достаточно высокой согласованности мнения экспертов. По итогам работы экспертов рассчитан средний весовой коэффициент каждого из показателей. Все коэффициенты выражены в долях единицы, а их сумма равна 1. Итоговые результаты см. в таблице.

В эту же таблицу в колонку значение показателя заносятся реальные данные подразделения по всему набору признаков. В последней колонке приводятся результаты расчетов, т. е. произведение значений показателя на коэффициент весомости, деленное на число научно-педагогических работников подразделения и умноженное на 100. Сумма оценок по каждому из показателей представляет собой комплексный (интегральный) показатель научного статуса подразделения — в нашем примере равный 12,36.

На основе полученной комплексной оценки каждого подразделения академии рассчитывается шкала, с помощью которой возможно определить рейтинг конкретного подразделения. В качестве инструмента шкалирования избрана сигмальная (с использованием среднего квадратического отклонения) оценка, которая показывает, что в интервале от среднего арифметического значения минус сигма до среднего арифметического значения плюс сигма (M ± δ) ожидается 68% всех комплексных оценок оцениваемых подразделений [13, 14]. То есть подразделения со значением комплексного показателя, попавшего в этот интервал, признаются подразделениями со средней оценкой научной деятельности. Около 16% подразделений, у которых значение комплексного показателя окажется больше рассчитанного интервала, составят группу подразделений с оценкой научной деятельности выше средней и столько же подразделений, у которых значение комплексного показателя окажется меньше рассчитанного интервала, составят группу подразделений с оценкой научной деятельности ниже средней.

ЗАКЛЮЧЕНИЕ

В целом методика квалиметрической оценки позволила создать комплекс оценки статуса научной деятельности и на его основе позволяет определить рейтинг подразделений, который возможно использовать, наряду с оценкой учебно-методической деятельности, в обобщающей оценке подразделений. Комплекс расчета научного статуса и научного рейтинга подразделений реализован в табличном процессоре Excel и в настоящее время проходит апробацию.

Об авторах

Евгений Викторович Ивченко

Военно-медицинская академия имени С.М. Кирова

Email: latypov_ildar85@mail.ru
ORCID iD: 0000-0001-5582-1111
SPIN-код: 5228-1527

доктор медицинских наук, доцент

Россия, Санкт-Петербург

Степан Григорьевич Григорьев

Военно-медицинская академия имени С.М. Кирова

Email: latypov_ildar85@mail.ru
SPIN-код: 2391-4846

доктор медицинских наук, профессор

Россия, Санкт-Петербург

Дмитрий Валерьевич Овчинников

Военно-медицинская академия имени С.М. Кирова

Email: latypov_ildar85@mail.ru
ORCID iD: 0000-0001-8408-5301
SPIN-код: 5437-3457

кандидат медицинских наук, доцент

Россия, Санкт-Петербург

Ильдар Фанисович Латыпов

Военно-медицинская академия имени С.М. Кирова

Автор, ответственный за переписку.
Email: latypov_ildar85@mail.ru
ORCID iD: 0000-0003-4849-9261
SPIN-код: 2926-6607

кандидат медицинских наук

Россия, Санкт-Петербург

Список литературы

Дополнительные файлы