Substantiation for the selection criteria for a medical asset management information system in military medical organizations

Full Text

АКТУАЛЬНОСТЬ

В условиях цифровизации системы здравоохранения на современном рынке информационных систем (ИС) представлено большое количество программных продуктов, обеспечивающих управление ресурсами медицинского имущества (МИ).

В связи с этим перед медицинскими и военно-медицинскими организациями (ВМО) стоит вопрос о выборе той или иной программы. При этом обоснование критериев выбора ИС управления ресурсами МИ является актуальным направлением политики принятия решений руководством ВМО.

В свою очередь, методика, с помощью которой осуществляется определение критериев выбора, должна быть достаточно понятной и простой в реализации при принятии решения по выбору ИС в совокупности с другими методами.

Цель исследования — обоснование критериев выбора ИС управления ресурсами МИ в ВМО.

МАТЕРИАЛЫ ИССЛЕДОВАНИЯ

Материалами исследования выступали труды отечественных ученых в сфере организации гражданского и военного здравоохранения, управления ресурсами МИ, методологии социологического исследования и другая научная, методическая и справочная литература по теме исследования, а также заполненные экспертами при проведении социологического исследования анкеты.

МЕТОДЫ ИССЛЕДОВАНИЯ

При проведении исследования использовались структурно-функциональный, системный, проблемный и логический анализ, статистические методы анализа, методы социологического исследования (контент-анализ и методы экспертного оценивания), методы сравнения и описания.

Суть применения контент-анализа в рамках нашего исследования заключалась в выделении определенных качественных признаков, характеризующих процесс управления ресурсами МИ [1–3].

Проблемный анализ предполагал осуществление проблемного структурирования с выделением комплекса проблемных факторов при управлении ресурсами МИ, их типологии, характеристик, последствий, путей решения [1, 4, 5].

Социологическое исследование проводилось на базе подразделений Военно-медицинской академии имени С.М. Кирова (ВМедА) фармацевтического профиля путем анкетирования и интервьюирования.

Экспертное оценивание проводилось по Дельфийскому методу.

Метод Дельфи — это целая группа методов, объединенных общими требованиями к форме получения экспертных оценок и организации процедуры экспертизы, которая реализуется в несколько туров с использованием обратной связи. Характерной особенностью дельфийских методов является уменьшающийся от тура к туру разброс оценок экспертов, их все возрастающая согласованность при последующих итерациях [6–8].

В исследовании приняли участие 11 экспертов. Оценка компетентности экспертов была определена с использованием метода балльной оценки [9]. Показатели компетенции для группы экспертов переводились в баллы из расчета:

1. Стаж работы по специальности (К1): 1–4 года — 1 балл; 5–9 лет — 2 балла; 10–14 лет — 3 балла; 15–19 лет — 4 балла; 20 лет и более — 5 баллов.
2. Наличие категории (К2): 2 категория — 3 балла; 1 категория — 4 балла; высшая категория — 5 баллов.
3. Ученая степень (К3): доктор наук — 5 баллов; кандидат наук — 4 балла; без ученой степени — 3 балла.
4. Ученое звание (К4): профессор — 5 баллов; доцент — 4 балла; без ученого звания — 3 балла.

Экспертный опрос проводился в несколько этапов (туров).

Так, первый этап подразумевал формирование первичного списка критериев выбора ИС. При этом экспертам предлагалось оценить представленный по итогам контент-анализа и проблемного анализа перечень критериев и дополнить его недостающими с их точки зрения.

В ходе дальнейшего взаимодействия с экспертами в рамках реализации метода Дельфи был сформирован итоговый перечень критериев выбора ИС.

На заключительном этапе экспертам предлагалось оценить представленные в итоговом перечне критерии методом ранжирования. Эксперты проранжировали их по уровню значимости от 1 до 16.

Для получения более точной оценки по каждому объекту была использована групповая экспертная оценка, получаемая путем суммирования индивидуальных оценок с весами компетентности. Вес компетентности оценки равен коэффициенту компетентности эксперта, который рассчитывался на предположении о том, что компетентность экспертов должна оцениваться по степени согласованности их оценок с групповой оценкой объектов [10].

Оценка коэффициента компетентности эксперта на данном этапе исследования производилась по формуле [10, 11]:

$K_j=\frac{\Sigma \left(X_{ij}\times M_i\right)}{\Sigma \left(M_i\times S_i\right)},$ (1)

где K_j — коэффициент компетентности j-го эксперта; X_ij — оценка i-го объекта, поставленная j-м экспертом; M_i — средняя оценка i-го объекта; S_i — сумма оценок i-го объекта.

Мера согласованности мнений экспертов определялась с помощью коэффициента конкордации [10]:

$W=\frac{12\times S}{n^2\times \left(m^3-m\right)},$ (2)

где W — коэффициент конкордации; S — сумма квадратов отклонений суммы оценок каждого объекта от их среднего значения; n — число экспертов; m — число объектов оценки.

Коэффициент конкордации измеряется в диапазоне от 0 до 1 (0 — полное отсутствие согласованности; 1 — полная согласованность).

РЕЗУЛЬТАТЫ

В ходе работы нами были обоснованы критерии выбора информационной системы управления ресурсами МИ в ВМО. При этом важным фактором выступало формирование простой в реализации и последующей статистической обработке методики с достаточно достоверными результатами, которые могут быть использованы при принятии решения по выбору ИС в совокупности с другими методами.

Следует отметить, что ИС по управлению ресурсами МИ должна учитывать специфику каждой конкретной ВМО. В этой связи обоснованная методика предполагает необходимость проведения социологического исследования и проблемного анализа на уровне каждой ВМО отдельно с целью выбора оптимальной архитектуры.

Обоснование критериев выбора ИС по управлению ресурсами МИ проводилось на базе ВМедА на основании методики, включающей 2 этапа.

I этап. Формирование первоначального списка критериев по результатам контент-анализа и проблемного анализа

В результате контент-анализа действующей законодательной и нормативной правовой базы, ведомственных нормативных документов, внутриорганизационных документов по управлению ресурсами МИ, актуальных информационных и литературных источников, а также в результате проблемного анализа процесса управления ресурсами МИ на уровне ВМО были определены как требования к архитектуре ИС, так и критерии выбора ИС управления ресурсами МИ с учетом специфики ВМедА.

В частности, архитектура ИС должна отражать:

• связь с совокупной стоимостью владения ИС;
• итерационную природу разработки ИС;
• систему управления МИ в целом, а не только ее отдельные программные составляющие;
• взаимосвязь организационно-экономических процессов и технико-экономических характеристик.

По итогам первого этапа исследования была выделена первичная группа критериев выбора ИС по управлению ресурсами МИ, а именно: их функциональные возможности; стоимость внедрения и стоимость обслуживания; обеспечение требований защиты государственной тайны; безопасность; регулярное обновление; интерфейс; надежность; масштабируемость; эргономические характеристики; способность к восстановлению; наличие средств резервного копирования; прогнозируемость рисков; простота обслуживания и понимания для пользователя; адаптация к изменяющимся условиям; гибкость; учет специфики военного здравоохранения; возможность интеграции с другими ИС ВМО; поддержка и сопровождение их функционирования.

II этап. Экспертное оценивание

Экспертное оценивание проводилось по методу Дельфи. Экспертный опрос 11 специалистов фармацевтического профиля (сотрудников ВМедА) осуществлялся путем анкетирования и интервьюирования.

Компетентность экспертов оценивалась с использованием метода балльной оценки (табл. 1).

 

Таблица 1. Результаты оценки компетентности экспертов балльным методом

Эксперт	К1	К2	К3	К4	∑К	Max	% К
1	4		3	3	10	20	50
2	3	3	4	3	13	20	65
3	5	5	3	3	16	20	80
4	5	5	4	4	18	20	90
5	5	–	4	3	12	20	60
6	–	5	4	3	12	20	60
7	5	5	4	4	18	20	90
8	5	5	3	3	16	20	80
9	5	5	4	4	18	20	90
10	4	5	3	3	15	20	75
11	5	5	4	3	17	20	85
Среднее значение компетентности (11 экспертов)							75

 

В результате компетентность экспертов составила в среднем 75 %, на основании чего можно сделать вывод о достоверности полученных в ходе социологического исследования результатов.

Задачи первоначального этапа (тура) экспертного оценивания:

• оценка значимости первичной группы критериев выбора ИС (перечень критериев, сформированный в результате контент-анализа и проблемного анализа);
• дополнение первичной группы критериев выбора ИС недостающими с точки зрения экспертов критериями.

Так, экспертам было предложено оценить значимость каждого критерия первичной группы. После этого анкетируемым было предложено сделать вывод о том, является ли представленный список критериев исчерпывающим, а также предложить недостающие критерии.

В ходе дальнейшего взаимодействия с экспертами при реализации Дельфийского метода был сформирован итоговый перечень критериев за счет исключения отдельных позиций первичной группы критериев, добавления недостающих критериев и объединения схожих.

На заключительном этапе была проведена экспертная оценка итогового перечня критериев выбора ИС путем ранжирования. Эксперты проранжировали критерии по уровню значимости от 1 до 16. Оценку 16 получал критерий, который имел наибольшее значение, далее — по убыванию.

Результаты экспертного оценивания критериев выбора ИС управления ресурсами МИ представлены в табл. 2.

 

Таблица 2. Результаты экспертного оценивания критериев выбора ИС управления ресурсами МИ

№ п/п	Критерий	Сумма оценок	Среднее значение
1	Возможность частичного использования в учебном процессе	21	1,91
2	Обучение персонала работе с ИС	27	2,45
3	Возможность реализации цифрового решения по контролю качества осуществляемой деятельности	36	3,27
4	Поддержка и сопровождение функционирования ИС	49	4,45
5	Регулярное обновление ИС и адаптация к изменяющимся условиям	62	5,64
6	Простота обслуживания и понимания для пользователя	71	6,45
7	Надежность и безопасность ИС	83	7,55
8	Способность функционирования на отечественном оборудовании и программном обеспечении	92	8,36
9	Стоимость обслуживания ИС	95	8,64
10	Гибкость (настройка под запросы заказчика)	100	9,09
11	Возможность взаимодействия с другими ИС в рамках медицинской службы Вооруженных сил РФ	110	10
12	Функциональные возможности	132	12
13	Взаимодействие с ИС гражданского здравоохранения (при необходимости)	144	13,09
14	Автономность	154	14
15	Возможность интеграции с другими ИС ВМО	156	14,18
16	Лицензионный продукт	162	14,73

 

При этом нами была определена средняя оценка по каждому объекту экспертизы. Для этого сумма оценок всех экспертов по каждому из объектов была поделена на количество экспертов. Средние значения оценок экспертов представлены в табл. 2. Однако по средним значениям оценок нельзя с уверенностью судить о том, какие критерии предпочтительнее по отношению к другим.

В связи с этим нами была использована групповая экспертная оценка, получаемая путем суммирования индивидуальных оценок с весами компетентности. Вес компетентности оценки равен коэффициенту компетентности эксперта.

В табл. 3 представлены коэффициенты компетентности 11 экспертов, рассчитанные по формуле 1.

 

Таблица 3. Коэффициенты компетентности экспертов

Эксперт	1	2	3	4	5	6	7	8	9	10	11
Коэффициент компетентности	0,092	0,09	0,092	0,09	0,091	0,092	0,092	0,089	0,091	0,091	0,091

 

Средние значения взвешенных экспертных оценок по каждому объекту представлены в табл. 4.

 

Таблица 4. Результаты расчета средних взвешенных оценок критериев

№ п/п	Критерии	Средняя взвешенная оценка
1	Лицензионный продукт	14,728
2	Возможность интеграции с другими ИС ВМО	14,191
3	Взаимодействие с ИС гражданского здравоохранения	13,091
4	Возможность взаимодействия с другими ИС в рамках медицинской службы Вооруженных сил РФ	10,010
5	Гибкость (настройка под запросы заказчика)	9,096
6	Автономность	13,998
7	Функциональные возможности	11,997
8	Надежность и безопасность ИС	7,554
9	Способность функционирования на отечественном оборудовании и программном обеспечении	8,361
10	Стоимость обслуживания ИС	8,637
11	Простота обслуживания и понимания для пользователя	6,454
12	Регулярное обновление ИС и адаптация к изменяющимся условиям	5,620
13	Возможность реализации цифрового решения по контролю качества осуществляемой деятельности	3,276
14	Поддержка и сопровождение функционирования ИС	4,449
15	Обучение персонала работе с ИС	2,449
16	Возможность частичного использования в учебном процессе	1,906

 

Данные оценки не имеют повторяющихся значений по критериям и могут быть проранжированы по убыванию значимости критериев выбора ИС управления ресурсами МИ на уровне ВМО.

Для определения согласованности мнений экспертов использовался коэффициент конкордации, значение которого составило 0,8. Это позволяет говорить о согласованности специалистов и о достоверности данной им оценке критериев выбора ИС по управлению ресурсами МИ в ВМО.

ВЫВОДЫ

В результате исследования на базе ВМедА были обоснованы критерии выбора ИС управления ресурсами МИ в ВМО. При этом была обоснована и применена простая в реализации и последующей статистической обработке методика с достаточно достоверными результатами, которые могут быть использованы при принятии решения по выбору ИС в совокупности с другими методами.

Следует отметить, что ИС по управлению ресурсами МИ должна учитывать специфику каждой конкретной ВМО. В этой связи обоснованная методика предполагает необходимость проведения социологического исследования и проблемного анализа на уровне каждой ВМО отдельно с целью определения оптимального набора критериев выбора ИС управления ресурсами МИ.

ДОПОЛНИТЕЛЬНАЯ ИНФОРМАЦИЯ

Источник финансирования. Финансирование данной работы не проводилось.

Конфликт интересов. Авторы декларируют отсутствие явных и потенциальных конфликтов интересов, связанных с публикацией настоящей статьи.

Этическая экспертиза. Исследование не требует проведения этической экспертизы

Вклад авторов. Все авторы внесли существенный вклад в проведение исследования и подготовку статьи, прочли и одобрили финальную версию перед публикацией.

About the authors

Mariуa V. Davydova

Military Medical Academy

Email: mashadav9889@yandex.ru
SPIN-code: 4619-1419

5^th year student of the Faculty of Training and Improvement of Civilian Medical (Pharmaceutical) Specialists

Russian Federation, Saint Petersburg

Mariуa P. Shcherba

Military Medical Academy

Author for correspondence.
Email: marya.scherba@yandex.ru
SPIN-code: 9840-4740

Ph.D. (Pharmaceuticals), Associate Professor of the organization of provision of medical equipment to troops (forces) Department

Russian Federation, Saint Petersburg

Vladimir N. Kononov

Military Medical Academy

Email: bob_kvn@rambler.ru
SPIN-code: 4040-1120

Ph.D. (Pharmaceuticals), Associate Professor, the Head of the organization of provision of medical equipment for troops (forces) Department

Russian Federation, Saint Petersburg

Andrey V. Merkulov

Military Medical Academy

Email: prowizzor@yandex.ru
SPIN-code: 1514-9910

Ph.D. (Pharmaceuticals), Deputy Head of the organization of provision of medical equipment for troops (forces) Department

Russian Federation, Saint Petersburg

Natal’ya L. Kostenko

Military Medical Academy

Email: kostenkonl@yandex.ru
SPIN-code: 8559-7624

Ph.D. (Pharmaceuticals), Associate Professor, Associate Professor of the organization of provision of medical equipment for troops (forces) Department

Russian Federation, Saint Petersburg

Roman A. Golubenko

Military Medical Academy

Email: pyatigra@inbox.ru
SPIN-code: 2361-2561

D.Sc. (Pharmaceuticals), Associate Professor, Associate Professor of the organization of provision of medical equipment for troops (forces) Department

Russian Federation, Saint Petersburg

References

Supplementary files