Software and analytical tools for multicriterial evaluation of scientific research efficiency

Full Text

Качество образования и результативность научных исследований в высшем учебном заведении являются основными факторами, определяющими востребованность рынком специалистов и перспективных разработок университета. Существенную роль в управлении качеством проводимых научных исследований играют мониторинг, методы и средства оценки как уровня научного потенциала университета в целом, так и результативности научно-исследовательской работы отдельных подразделений, научных коллективов, преподавателей, аспирантов и студентов. Для решения этой проблемы в Самарском государственном техническом университете (СамГТУ) была разработана информационно-аналитическая система «Наука». Это многоуровневая система с разграничением прав доступа и удаленным доступом через Интернет, которая позволяет автоматизировать процессы сбора, структурирования и хранения информации о научной деятельности организации. Применение средств анализа данных OLAP позволяет аналитикам, работающим с системой, в оперативном режиме получать структурированную информацию из хранилища данных в необходимом для дальнейшей обработки виде. Вместе с тем дальнейшее многокритериальное оценивание эффективности научных исследований, например путем получения обобщенных DEA-оценок (Data Envelopment Analysis) [1, 2, 3], остается по-прежнему достаточно трудоемким, предполагающим решение множества задач линейного программирования и использование для этого некоторого «внешнего решателя». При этом довольно трудоемким процессом остается как подготовка исходного массива данных для решателя, так и последующая обработка полученных результатов и их наглядное представление [4, 5, 6]. Потоки данных при получении DEA-оценок с использованием информационно-аналитической системы «Наука» и «внешним решателем» представлены на рис. 1. Для более оперативного и точного многокритериального оценивания эффективности научных исследований разработан и внедрен в информационную систему модуль «Интерфейс аналитика», а также «внутренний решатель» на базе Solver Foundation (библиотеки для математического программирования, моделирования и оптимизации) [7]. Разработанный механизм позволяет аналитику самостоятельно формировать необходимый для анализа массив данных и в оперативном режиме получить по нему DEA-оценку (рис. 2). Рис. 1. Потоки данных при получении сравнительной DEA-оценки с использованием «внешнего решателя» Рис. 2. Потоки данных при получении сравнительной DEA-оценки с использованием «интерфейса аналитика» Для получения DEA-оценки необходимо сформировать исходный массив данных из некоторого множества существующей в хранилище информации. Для этого необходимо определить параметры фильтров, с помощью которых будет выделен требуемый массив данных. Настройка фильтров состоит из нескольких шагов: 1) выбор структуры для формирования результатов. Например: факультеты, кафедры, научные коллективы, отдельные ученые, аспиранты и др.; 2) формирование совокупности частных или обобщенных показателей, по которым будет проводиться анализ; 3) задание временного периода, для которого будет выполнена оценка эффективности. После настройки необходимых фильтров (структура – показатели – период) система полностью готова для формирования исходного массива данных и расчета DEA-оценок эффективности научных исследований. На рис. 3 показан расчетный цикл формирования набора данных и вычисления DEA-оценки. Рис. 3. Расчетный цикл вычисления DEA-оценки эффективности научной деятельности Исходный массив данных состоит из двух подмножеств: вектора-столбца M(n) – списка из n подразделений (групп авторов или персон), который является маркером для собираемых показателей научной деятельности, а также матрицы численных значений показателей D(n, k), где n – число подразделений (групп авторов или персон); k – число показателей. Для расчета оценки массив M(n) не нужен, поэтому из полученного набора данных выделяется только значимая часть с результатами D(n, k). Полученный результирующий набор отправляется на решение. Поиск решения вынесен в отдельный сервис, принимающий на вход числовую матрицу исходных данных. Размерность матрицы не ограничена и определяется установленными значениями n и k. Полученные результаты DEA-оценок эффективности научной деятельности в виде численного массива R(n) возвращаются сервисом обратно в «интерфейс аналитика», где вместе с исходными массивами структуры и показателей представляются в удобном для аналитика виде. Проиллюстрируем применение разработанного программно-аналитического инструментария для многокритериального сравнительного оценивания эффективности научно-исследовательских работ, выполненных в 2011 г. в университете в рамках государственного задания. Для расчета сравнительных DEA-оценок выберем три основных группы показателей, по которым Минобрнауки оценивает эффективность выполнения государственного задания вузом в целом. На рис. 4 и 5 приведены экранная форма и результаты сравнительной оценки НИР по показателям публикаций (статьи, тезисы докладов, монографии, учебники и учебные пособия). Рис. 4. Экранная форма для оценки эффективности научно-исследовательских работ, выполняемых в рамках государственного задания, по публикациям Рис. 5. Результаты сравнительной оценки НИР по публикациям На рис. 6 приведены результаты сравнительной оценки НИР по участию коллективов в подготовке кадров высшей квалификации (защиты диссертаций, работа в диссертационных советах). Рис. 6. Результаты сравнительной оценки НИР по участию в подготовке кадров высшей квалификации Рис. 7. Результаты сравнительной оценки НИР по результативности патентно-изобретательской деятельности На рис. 7 приведены результаты сравнительной оценки НИР по результативности патентно-изобретательской деятельности. Из результатов сравнительного многокритериального анализа видно, что коллективы исполнителей НИР имеют существенно разный уровень эффективности выполнения НИР в рамках государственного задания. Причем для каждой из групп показателей есть коллективы, имеющие максимальную оценку, а по группам показателей «Подготовка кадров высшей квалификации» и «Патентно-изобретательская деятельность» есть коллективы, совсем не имеющие показателей. Среди 46 научно-исследовательских работ имеется всего одна, у которой максимальная оценка по всем трем группам показателей (НИР №558/11). К наименее эффективно выполняемым НИР следует отнести темы №522/11, 528/11, 550/11, 551/11, 556/11. Эти НИР имеют низкую DEA-оценку по показателям группы «Публикации» и совсем не имеют показателей по двум другим группам. Таким образом, разработанный программно-аналитический инструментарий для многокритериальной оценки эффективности научной деятельности подразделений, научных коллективов и отдельных персон позволяет в интерактивном режиме рассчитывать DEA-оценку эффективности научных исследований на основе информации о показателях, имеющихся в информационно-аналитической системе «Наука». Специально созданный модуль системы «Интерфейс аналитика» существенно упрощает процесс подготовки исходных данных для расчета и позволяет наглядно визуализировать его результаты. В качестве решателя для вычисления DEA-оценки эффективности научной деятельности использовались алгоритмы и процедуры библиотеки математического программирования, моделирования и оптимизации Solver Foundation версии 3.1.

About the authors

Nikolay V Diligensky

Samara State Technical University

Email: usat@samgtu.ru
(Dr. Sci. (Techn.)), Professor 244, Molodogvardeyskaya st., Samara, 443100

Andrey N Davydov

Samara State Technical University

Email: usat@samgtu.ru
(Ph.D. (Techn.)), Associate Professor 244, Molodogvardeyskaya st., Samara, 443100

Michail V Tsapenko

Samara State Technical University

Email: usat@samgtu.ru
(Ph.D. (Econ.)), Associate professor. 244, Molodogvardeyskaya st., Samara, 443100

Dmitry A Barbolin

Samara State Technical University

Email: usat@samgtu.ru
Engeneer 244, Molodogvardeyskaya st., Samara, 443100

References

Supplementary files