Substantiation for the selection criteria for a medical asset management information system in military medical organizations

Mariуa V. Davydova; Давыдова Мария Викторовна; Mariуa P. Shcherba; Щерба Мария Петровна; Vladimir N. Kononov; Кононов Владимир Николаевич; Andrey V. Merkulov; Меркулов Андрей Владимирович; Natal’ya L. Kostenko; Костенко Наталья Леонидовна; Roman A. Golubenko; Голубенко Роман Александрович

doi:10.17816/rmmar96372

Обоснование критериев выбора информационной системы управления ресурсами медицинского имущества в военно-медицинских организациях

Авторы: Давыдова М.В.¹, Щерба М.П.¹, Кононов В.Н.¹, Меркулов А.В.¹, Костенко Н.Л.¹, Голубенко Р.А.¹
Учреждения:
1. Военно-медицинская академия имени С.М. Кирова
Выпуск: Том 41, № 1 (2022)
Страницы: 69-75
Раздел: Научные обзоры
URL: https://journals.eco-vector.com/RMMArep/article/view/96372
DOI: https://doi.org/10.17816/rmmar96372
ID: 96372

Цитировать

Полный текст

Аннотация
Полный текст
Об авторах
Список литературы
Дополнительные файлы
Статистика

Аннотация

На современном рынке информационных систем представлено большое количество программных продуктов, обеспечивающих управление ресурсами медицинского имущества. В этой связи обоснование критериев выбора информационных систем является актуальным направлением политики принятия решений руководством военно-медицинской организации. Именно обоснование этих критериев являлось целью данного исследования. В процессе работы использовались труды отечественных ученых в сфере организации гражданского и военного здравоохранения, управления ресурсами медицинского имущества, методологии социологического исследования и другая научная, методическая и справочная литература по теме исследования, а также заполненные экспертами анкеты. При проведении исследования использовались структурно-функциональный, системный и проблемный анализы, статистические методы анализа, методы социологического исследования, методы сравнения и описания, логический анализ. Социологическое исследование проводилось на базе подразделений Военно-медицинской академии имени С.М. Кирова фармацевтического профиля и состояло из двух этапов: формирование первоначального списка критериев по результатам контент-анализа и проблемного анализа и экспертное оценивание по Дельфийскому методу в несколько этапов (туров). В результате исследования обоснованы критерии выбора информационной системы управления ресурсами медицинского имущества в военно-медицинских организациях. При этом обоснована и применена простая в реализации и последующей статистической обработке методика с достаточно достоверными результатами, которые могут быть использованы при принятии решения по выбору информационной системы с учетом специфики каждой конкретной военно-медицинской организации.

Ключевые слова

военно-медицинские организации, информационная система, критерии выбора, медицинское имущество, метод Дельфи, управление ресурсами, экспертное оценивание

Полный текст

АКТУАЛЬНОСТЬ

В условиях цифровизации системы здравоохранения на современном рынке информационных систем (ИС) представлено большое количество программных продуктов, обеспечивающих управление ресурсами медицинского имущества (МИ).

В связи с этим перед медицинскими и военно-медицинскими организациями (ВМО) стоит вопрос о выборе той или иной программы. При этом обоснование критериев выбора ИС управления ресурсами МИ является актуальным направлением политики принятия решений руководством ВМО.

В свою очередь, методика, с помощью которой осуществляется определение критериев выбора, должна быть достаточно понятной и простой в реализации при принятии решения по выбору ИС в совокупности с другими методами.

Цель исследования — обоснование критериев выбора ИС управления ресурсами МИ в ВМО.

МАТЕРИАЛЫ ИССЛЕДОВАНИЯ

Материалами исследования выступали труды отечественных ученых в сфере организации гражданского и военного здравоохранения, управления ресурсами МИ, методологии социологического исследования и другая научная, методическая и справочная литература по теме исследования, а также заполненные экспертами при проведении социологического исследования анкеты.

МЕТОДЫ ИССЛЕДОВАНИЯ

При проведении исследования использовались структурно-функциональный, системный, проблемный и логический анализ, статистические методы анализа, методы социологического исследования (контент-анализ и методы экспертного оценивания), методы сравнения и описания.

Суть применения контент-анализа в рамках нашего исследования заключалась в выделении определенных качественных признаков, характеризующих процесс управления ресурсами МИ [1–3].

Проблемный анализ предполагал осуществление проблемного структурирования с выделением комплекса проблемных факторов при управлении ресурсами МИ, их типологии, характеристик, последствий, путей решения [1, 4, 5].

Социологическое исследование проводилось на базе подразделений Военно-медицинской академии имени С.М. Кирова (ВМедА) фармацевтического профиля путем анкетирования и интервьюирования.

Экспертное оценивание проводилось по Дельфийскому методу.

Метод Дельфи — это целая группа методов, объединенных общими требованиями к форме получения экспертных оценок и организации процедуры экспертизы, которая реализуется в несколько туров с использованием обратной связи. Характерной особенностью дельфийских методов является уменьшающийся от тура к туру разброс оценок экспертов, их все возрастающая согласованность при последующих итерациях [6–8].

В исследовании приняли участие 11 экспертов. Оценка компетентности экспертов была определена с использованием метода балльной оценки [9]. Показатели компетенции для группы экспертов переводились в баллы из расчета:

Стаж работы по специальности (К1): 1–4 года — 1 балл; 5–9 лет — 2 балла; 10–14 лет — 3 балла; 15–19 лет — 4 балла; 20 лет и более — 5 баллов.
Наличие категории (К2): 2 категория — 3 балла; 1 категория — 4 балла; высшая категория — 5 баллов.
Ученая степень (К3): доктор наук — 5 баллов; кандидат наук — 4 балла; без ученой степени — 3 балла.
Ученое звание (К4): профессор — 5 баллов; доцент — 4 балла; без ученого звания — 3 балла.

Экспертный опрос проводился в несколько этапов (туров).

Так, первый этап подразумевал формирование первичного списка критериев выбора ИС. При этом экспертам предлагалось оценить представленный по итогам контент-анализа и проблемного анализа перечень критериев и дополнить его недостающими с их точки зрения.

В ходе дальнейшего взаимодействия с экспертами в рамках реализации метода Дельфи был сформирован итоговый перечень критериев выбора ИС.

На заключительном этапе экспертам предлагалось оценить представленные в итоговом перечне критерии методом ранжирования. Эксперты проранжировали их по уровню значимости от 1 до 16.

Для получения более точной оценки по каждому объекту была использована групповая экспертная оценка, получаемая путем суммирования индивидуальных оценок с весами компетентности. Вес компетентности оценки равен коэффициенту компетентности эксперта, который рассчитывался на предположении о том, что компетентность экспертов должна оцениваться по степени согласованности их оценок с групповой оценкой объектов [10].

Оценка коэффициента компетентности эксперта на данном этапе исследования производилась по формуле [10, 11]:

$K_{j} = \frac{Σ (X_{i j} \times M_{i})}{Σ (M_{i} \times S_{i})},$ (1)

где K_j — коэффициент компетентности j-го эксперта; X_ij — оценка i-го объекта, поставленная j-м экспертом; M_i — средняя оценка i-го объекта; S_i — сумма оценок i-го объекта.

Мера согласованности мнений экспертов определялась с помощью коэффициента конкордации [10]:

$W = \frac{12 \times S}{n^{2} \times (m^{3} - m)},$ (2)

где W — коэффициент конкордации; S — сумма квадратов отклонений суммы оценок каждого объекта от их среднего значения; n — число экспертов; m — число объектов оценки.

Коэффициент конкордации измеряется в диапазоне от 0 до 1 (0 — полное отсутствие согласованности; 1 — полная согласованность).

РЕЗУЛЬТАТЫ

В ходе работы нами были обоснованы критерии выбора информационной системы управления ресурсами МИ в ВМО. При этом важным фактором выступало формирование простой в реализации и последующей статистической обработке методики с достаточно достоверными результатами, которые могут быть использованы при принятии решения по выбору ИС в совокупности с другими методами.

Следует отметить, что ИС по управлению ресурсами МИ должна учитывать специфику каждой конкретной ВМО. В этой связи обоснованная методика предполагает необходимость проведения социологического исследования и проблемного анализа на уровне каждой ВМО отдельно с целью выбора оптимальной архитектуры.

Обоснование критериев выбора ИС по управлению ресурсами МИ проводилось на базе ВМедА на основании методики, включающей 2 этапа.

I этап. Формирование первоначального списка критериев по результатам контент-анализа и проблемного анализа

В результате контент-анализа действующей законодательной и нормативной правовой базы, ведомственных нормативных документов, внутриорганизационных документов по управлению ресурсами МИ, актуальных информационных и литературных источников, а также в результате проблемного анализа процесса управления ресурсами МИ на уровне ВМО были определены как требования к архитектуре ИС, так и критерии выбора ИС управления ресурсами МИ с учетом специфики ВМедА.

В частности, архитектура ИС должна отражать:

связь с совокупной стоимостью владения ИС;
итерационную природу разработки ИС;
систему управления МИ в целом, а не только ее отдельные программные составляющие;
взаимосвязь организационно-экономических процессов и технико-экономических характеристик.

По итогам первого этапа исследования была выделена первичная группа критериев выбора ИС по управлению ресурсами МИ, а именно: их функциональные возможности; стоимость внедрения и стоимость обслуживания; обеспечение требований защиты государственной тайны; безопасность; регулярное обновление; интерфейс; надежность; масштабируемость; эргономические характеристики; способность к восстановлению; наличие средств резервного копирования; прогнозируемость рисков; простота обслуживания и понимания для пользователя; адаптация к изменяющимся условиям; гибкость; учет специфики военного здравоохранения; возможность интеграции с другими ИС ВМО; поддержка и сопровождение их функционирования.

II этап. Экспертное оценивание

Экспертное оценивание проводилось по методу Дельфи. Экспертный опрос 11 специалистов фармацевтического профиля (сотрудников ВМедА) осуществлялся путем анкетирования и интервьюирования.

Компетентность экспертов оценивалась с использованием метода балльной оценки (табл. 1).

Таблица 1. Результаты оценки компетентности экспертов балльным методом

Эксперт	К1	К2	К3	К4	∑К	Max	% К
1	4		3	3	10	20	50
2	3	3	4	3	13	20	65
3	5	5	3	3	16	20	80
4	5	5	4	4	18	20	90
5	5	–	4	3	12	20	60
6	–	5	4	3	12	20	60
7	5	5	4	4	18	20	90
8	5	5	3	3	16	20	80
9	5	5	4	4	18	20	90
10	4	5	3	3	15	20	75
11	5	5	4	3	17	20	85
Среднее значение компетентности (11 экспертов)							75

В результате компетентность экспертов составила в среднем 75 %, на основании чего можно сделать вывод о достоверности полученных в ходе социологического исследования результатов.

Задачи первоначального этапа (тура) экспертного оценивания:

оценка значимости первичной группы критериев выбора ИС (перечень критериев, сформированный в результате контент-анализа и проблемного анализа);
дополнение первичной группы критериев выбора ИС недостающими с точки зрения экспертов критериями.

Так, экспертам было предложено оценить значимость каждого критерия первичной группы. После этого анкетируемым было предложено сделать вывод о том, является ли представленный список критериев исчерпывающим, а также предложить недостающие критерии.

В ходе дальнейшего взаимодействия с экспертами при реализации Дельфийского метода был сформирован итоговый перечень критериев за счет исключения отдельных позиций первичной группы критериев, добавления недостающих критериев и объединения схожих.

На заключительном этапе была проведена экспертная оценка итогового перечня критериев выбора ИС путем ранжирования. Эксперты проранжировали критерии по уровню значимости от 1 до 16. Оценку 16 получал критерий, который имел наибольшее значение, далее — по убыванию.

Результаты экспертного оценивания критериев выбора ИС управления ресурсами МИ представлены в табл. 2.

Таблица 2. Результаты экспертного оценивания критериев выбора ИС управления ресурсами МИ

№ п/п	Критерий	Сумма оценок	Среднее значение
1	Возможность частичного использования в учебном процессе	21	1,91
2	Обучение персонала работе с ИС	27	2,45
3	Возможность реализации цифрового решения по контролю качества осуществляемой деятельности	36	3,27
4	Поддержка и сопровождение функционирования ИС	49	4,45
5	Регулярное обновление ИС и адаптация к изменяющимся условиям	62	5,64
6	Простота обслуживания и понимания для пользователя	71	6,45
7	Надежность и безопасность ИС	83	7,55
8	Способность функционирования на отечественном оборудовании и программном обеспечении	92	8,36
9	Стоимость обслуживания ИС	95	8,64
10	Гибкость (настройка под запросы заказчика)	100	9,09
11	Возможность взаимодействия с другими ИС в рамках медицинской службы Вооруженных сил РФ	110	10
12	Функциональные возможности	132	12
13	Взаимодействие с ИС гражданского здравоохранения (при необходимости)	144	13,09
14	Автономность	154	14
15	Возможность интеграции с другими ИС ВМО	156	14,18
16	Лицензионный продукт	162	14,73

При этом нами была определена средняя оценка по каждому объекту экспертизы. Для этого сумма оценок всех экспертов по каждому из объектов была поделена на количество экспертов. Средние значения оценок экспертов представлены в табл. 2. Однако по средним значениям оценок нельзя с уверенностью судить о том, какие критерии предпочтительнее по отношению к другим.

В связи с этим нами была использована групповая экспертная оценка, получаемая путем суммирования индивидуальных оценок с весами компетентности. Вес компетентности оценки равен коэффициенту компетентности эксперта.

В табл. 3 представлены коэффициенты компетентности 11 экспертов, рассчитанные по формуле 1.

Таблица 3. Коэффициенты компетентности экспертов

Эксперт	1	2	3	4	5	6	7	8	9	10	11
Коэффициент компетентности	0,092	0,09	0,092	0,09	0,091	0,092	0,092	0,089	0,091	0,091	0,091

Средние значения взвешенных экспертных оценок по каждому объекту представлены в табл. 4.

Таблица 4. Результаты расчета средних взвешенных оценок критериев

№ п/п	Критерии	Средняя взвешенная оценка
1	Лицензионный продукт	14,728
2	Возможность интеграции с другими ИС ВМО	14,191
3	Взаимодействие с ИС гражданского здравоохранения	13,091
4	Возможность взаимодействия с другими ИС в рамках медицинской службы Вооруженных сил РФ	10,010
5	Гибкость (настройка под запросы заказчика)	9,096
6	Автономность	13,998
7	Функциональные возможности	11,997
8	Надежность и безопасность ИС	7,554
9	Способность функционирования на отечественном оборудовании и программном обеспечении	8,361
10	Стоимость обслуживания ИС	8,637
11	Простота обслуживания и понимания для пользователя	6,454
12	Регулярное обновление ИС и адаптация к изменяющимся условиям	5,620
13	Возможность реализации цифрового решения по контролю качества осуществляемой деятельности	3,276
14	Поддержка и сопровождение функционирования ИС	4,449
15	Обучение персонала работе с ИС	2,449
16	Возможность частичного использования в учебном процессе	1,906

Данные оценки не имеют повторяющихся значений по критериям и могут быть проранжированы по убыванию значимости критериев выбора ИС управления ресурсами МИ на уровне ВМО.

Для определения согласованности мнений экспертов использовался коэффициент конкордации, значение которого составило 0,8. Это позволяет говорить о согласованности специалистов и о достоверности данной им оценке критериев выбора ИС по управлению ресурсами МИ в ВМО.

ВЫВОДЫ

В результате исследования на базе ВМедА были обоснованы критерии выбора ИС управления ресурсами МИ в ВМО. При этом была обоснована и применена простая в реализации и последующей статистической обработке методика с достаточно достоверными результатами, которые могут быть использованы при принятии решения по выбору ИС в совокупности с другими методами.

Следует отметить, что ИС по управлению ресурсами МИ должна учитывать специфику каждой конкретной ВМО. В этой связи обоснованная методика предполагает необходимость проведения социологического исследования и проблемного анализа на уровне каждой ВМО отдельно с целью определения оптимального набора критериев выбора ИС управления ресурсами МИ.

ДОПОЛНИТЕЛЬНАЯ ИНФОРМАЦИЯ

Источник финансирования. Финансирование данной работы не проводилось.

Конфликт интересов. Авторы декларируют отсутствие явных и потенциальных конфликтов интересов, связанных с публикацией настоящей статьи.

Этическая экспертиза. Исследование не требует проведения этической экспертизы

Вклад авторов. Все авторы внесли существенный вклад в проведение исследования и подготовку статьи, прочли и одобрили финальную версию перед публикацией.