Substantiation for the selection criteria for a medical asset management information system in military medical organizations

Cover Page


Cite item

Abstract

The modern information systems market offers a large number of software products for the management of medical assets. Therefore, the substantiation for the criteria for selecting information systems is relevant area of decision-making policy for the management of the medical-military organisation. The purpose of the study was to substantiate the criteria. The materials of the study include the works of Russian scientists in the sphere of organizing civil and military healthcare, managing medical property resources, the methodology of sociological research, and other scientific, methodological, and reference literature on the topic of the study, as well as questionnaires completed by experts. Structural-functional, system and problem analysis, statistical methods of analysis, methods of sociological research, methods of comparison and description, and logical analysis were used during the research. The sociological study was carried out on the basis of the S.M. Kirov Military Medical Academy of the pharmaceutical profile departments and consisted of two stages: the formation of an initial list of criteria based on the results of content analysis and problem analysis; expert assessment according to the Delphi method in several stages (rounds). As a result of the study, the criteria for selecting an information system for managing medical assets in military medical organizations are substantiated. At the same time, a simple in implementation and subsequent statistical processing method with reliable results that can be used for making a decision on the selection of an information system, taking into account the specifics of each military medical organization, has been substantiated and applied.

Full Text

АКТУАЛЬНОСТЬ

В условиях цифровизации системы здравоохранения на современном рынке информационных систем (ИС) представлено большое количество программных продуктов, обеспечивающих управление ресурсами медицинского имущества (МИ).

В связи с этим перед медицинскими и военно-медицинскими организациями (ВМО) стоит вопрос о выборе той или иной программы. При этом обоснование критериев выбора ИС управления ресурсами МИ является актуальным направлением политики принятия решений руководством ВМО.

В свою очередь, методика, с помощью которой осуществляется определение критериев выбора, должна быть достаточно понятной и простой в реализации при принятии решения по выбору ИС в совокупности с другими методами.

Цель исследования — обоснование критериев выбора ИС управления ресурсами МИ в ВМО.

МАТЕРИАЛЫ ИССЛЕДОВАНИЯ

Материалами исследования выступали труды отечественных ученых в сфере организации гражданского и военного здравоохранения, управления ресурсами МИ, методологии социологического исследования и другая научная, методическая и справочная литература по теме исследования, а также заполненные экспертами при проведении социологического исследования анкеты.

МЕТОДЫ ИССЛЕДОВАНИЯ

При проведении исследования использовались структурно-функциональный, системный, проблемный и логический анализ, статистические методы анализа, методы социологического исследования (контент-анализ и методы экспертного оценивания), методы сравнения и описания.

Суть применения контент-анализа в рамках нашего исследования заключалась в выделении определенных качественных признаков, характеризующих процесс управления ресурсами МИ [1–3].

Проблемный анализ предполагал осуществление проблемного структурирования с выделением комплекса проблемных факторов при управлении ресурсами МИ, их типологии, характеристик, последствий, путей решения [1, 4, 5].

Социологическое исследование проводилось на базе подразделений Военно-медицинской академии имени С.М. Кирова (ВМедА) фармацевтического профиля путем анкетирования и интервьюирования.

Экспертное оценивание проводилось по Дельфийскому методу.

Метод Дельфи — это целая группа методов, объединенных общими требованиями к форме получения экспертных оценок и организации процедуры экспертизы, которая реализуется в несколько туров с использованием обратной связи. Характерной особенностью дельфийских методов является уменьшающийся от тура к туру разброс оценок экспертов, их все возрастающая согласованность при последующих итерациях [6–8].

В исследовании приняли участие 11 экспертов. Оценка компетентности экспертов была определена с использованием метода балльной оценки [9]. Показатели компетенции для группы экспертов переводились в баллы из расчета:

  1. Стаж работы по специальности (К1): 1–4 года — 1 балл; 5–9 лет — 2 балла; 10–14 лет — 3 балла; 15–19 лет — 4 балла; 20 лет и более — 5 баллов.
  2. Наличие категории (К2): 2 категория — 3 балла; 1 категория — 4 балла; высшая категория — 5 баллов.
  3. Ученая степень (К3): доктор наук — 5 баллов; кандидат наук — 4 балла; без ученой степени — 3 балла.
  4. Ученое звание (К4): профессор — 5 баллов; доцент — 4 балла; без ученого звания — 3 балла.

Экспертный опрос проводился в несколько этапов (туров).

Так, первый этап подразумевал формирование первичного списка критериев выбора ИС. При этом экспертам предлагалось оценить представленный по итогам контент-анализа и проблемного анализа перечень критериев и дополнить его недостающими с их точки зрения.

В ходе дальнейшего взаимодействия с экспертами в рамках реализации метода Дельфи был сформирован итоговый перечень критериев выбора ИС.

На заключительном этапе экспертам предлагалось оценить представленные в итоговом перечне критерии методом ранжирования. Эксперты проранжировали их по уровню значимости от 1 до 16.

Для получения более точной оценки по каждому объекту была использована групповая экспертная оценка, получаемая путем суммирования индивидуальных оценок с весами компетентности. Вес компетентности оценки равен коэффициенту компетентности эксперта, который рассчитывался на предположении о том, что компетентность экспертов должна оцениваться по степени согласованности их оценок с групповой оценкой объектов [10].

Оценка коэффициента компетентности эксперта на данном этапе исследования производилась по формуле [10, 11]:

Kj=ΣXij×MiΣMi×Si, (1)

где Kj — коэффициент компетентности j-го эксперта; Xij — оценка i-го объекта, поставленная j-м экспертом; Mi — средняя оценка i-го объекта; Si — сумма оценок i-го объекта.

Мера согласованности мнений экспертов определялась с помощью коэффициента конкордации [10]:

W=12×Sn2×m3-m, (2)

где W — коэффициент конкордации; S — сумма квадратов отклонений суммы оценок каждого объекта от их среднего значения; n — число экспертов; m — число объектов оценки.

Коэффициент конкордации измеряется в диапазоне от 0 до 1 (0 — полное отсутствие согласованности; 1 — полная согласованность).

РЕЗУЛЬТАТЫ

В ходе работы нами были обоснованы критерии выбора информационной системы управления ресурсами МИ в ВМО. При этом важным фактором выступало формирование простой в реализации и последующей статистической обработке методики с достаточно достоверными результатами, которые могут быть использованы при принятии решения по выбору ИС в совокупности с другими методами.

Следует отметить, что ИС по управлению ресурсами МИ должна учитывать специфику каждой конкретной ВМО. В этой связи обоснованная методика предполагает необходимость проведения социологического исследования и проблемного анализа на уровне каждой ВМО отдельно с целью выбора оптимальной архитектуры.

Обоснование критериев выбора ИС по управлению ресурсами МИ проводилось на базе ВМедА на основании методики, включающей 2 этапа.

I этап. Формирование первоначального списка критериев по результатам контент-анализа и проблемного анализа

В результате контент-анализа действующей законодательной и нормативной правовой базы, ведомственных нормативных документов, внутриорганизационных документов по управлению ресурсами МИ, актуальных информационных и литературных источников, а также в результате проблемного анализа процесса управления ресурсами МИ на уровне ВМО были определены как требования к архитектуре ИС, так и критерии выбора ИС управления ресурсами МИ с учетом специфики ВМедА.

В частности, архитектура ИС должна отражать:

  • связь с совокупной стоимостью владения ИС;
  • итерационную природу разработки ИС;
  • систему управления МИ в целом, а не только ее отдельные программные составляющие;
  • взаимосвязь организационно-экономических процессов и технико-экономических характеристик.

По итогам первого этапа исследования была выделена первичная группа критериев выбора ИС по управлению ресурсами МИ, а именно: их функциональные возможности; стоимость внедрения и стоимость обслуживания; обеспечение требований защиты государственной тайны; безопасность; регулярное обновление; интерфейс; надежность; масштабируемость; эргономические характеристики; способность к восстановлению; наличие средств резервного копирования; прогнозируемость рисков; простота обслуживания и понимания для пользователя; адаптация к изменяющимся условиям; гибкость; учет специфики военного здравоохранения; возможность интеграции с другими ИС ВМО; поддержка и сопровождение их функционирования.

II этап. Экспертное оценивание

Экспертное оценивание проводилось по методу Дельфи. Экспертный опрос 11 специалистов фармацевтического профиля (сотрудников ВМедА) осуществлялся путем анкетирования и интервьюирования.

Компетентность экспертов оценивалась с использованием метода балльной оценки (табл. 1).

 

Таблица 1. Результаты оценки компетентности экспертов балльным методом

Эксперт

К1

К2

К3

К4

∑К

Max

% К

1

4

 

3

3

10

20

50

2

3

3

4

3

13

20

65

3

5

5

3

3

16

20

80

4

5

5

4

4

18

20

90

5

5

4

3

12

20

60

6

5

4

3

12

20

60

7

5

5

4

4

18

20

90

8

5

5

3

3

16

20

80

9

5

5

4

4

18

20

90

10

4

5

3

3

15

20

75

11

5

5

4

3

17

20

85

Среднее значение компетентности (11 экспертов)

75

 

В результате компетентность экспертов составила в среднем 75 %, на основании чего можно сделать вывод о достоверности полученных в ходе социологического исследования результатов.

Задачи первоначального этапа (тура) экспертного оценивания:

  • оценка значимости первичной группы критериев выбора ИС (перечень критериев, сформированный в результате контент-анализа и проблемного анализа);
  • дополнение первичной группы критериев выбора ИС недостающими с точки зрения экспертов критериями.

Так, экспертам было предложено оценить значимость каждого критерия первичной группы. После этого анкетируемым было предложено сделать вывод о том, является ли представленный список критериев исчерпывающим, а также предложить недостающие критерии.

В ходе дальнейшего взаимодействия с экспертами при реализации Дельфийского метода был сформирован итоговый перечень критериев за счет исключения отдельных позиций первичной группы критериев, добавления недостающих критериев и объединения схожих.

На заключительном этапе была проведена экспертная оценка итогового перечня критериев выбора ИС путем ранжирования. Эксперты проранжировали критерии по уровню значимости от 1 до 16. Оценку 16 получал критерий, который имел наибольшее значение, далее — по убыванию.

Результаты экспертного оценивания критериев выбора ИС управления ресурсами МИ представлены в табл. 2.

 

Таблица 2. Результаты экспертного оценивания критериев выбора ИС управления ресурсами МИ

№ п/п

Критерий

Сумма оценок

Среднее значение

1

Возможность частичного использования в учебном процессе

21

1,91

2

Обучение персонала работе с ИС

27

2,45

3

Возможность реализации цифрового решения по контролю качества осуществляемой деятельности

36

3,27

4

Поддержка и сопровождение функционирования ИС

49

4,45

5

Регулярное обновление ИС и адаптация к изменяющимся условиям

62

5,64

6

Простота обслуживания и понимания для пользователя

71

6,45

7

Надежность и безопасность ИС

83

7,55

8

Способность функционирования на отечественном оборудовании и программном обеспечении

92

8,36

9

Стоимость обслуживания ИС

95

8,64

10

Гибкость (настройка под запросы заказчика)

100

9,09

11

Возможность взаимодействия с другими ИС в рамках медицинской службы Вооруженных сил РФ

110

10

12

Функциональные возможности

132

12

13

Взаимодействие с ИС гражданского здравоохранения (при необходимости)

144

13,09

14

Автономность

154

14

15

Возможность интеграции с другими ИС ВМО

156

14,18

16

Лицензионный продукт

162

14,73

 

При этом нами была определена средняя оценка по каждому объекту экспертизы. Для этого сумма оценок всех экспертов по каждому из объектов была поделена на количество экспертов. Средние значения оценок экспертов представлены в табл. 2. Однако по средним значениям оценок нельзя с уверенностью судить о том, какие критерии предпочтительнее по отношению к другим.

В связи с этим нами была использована групповая экспертная оценка, получаемая путем суммирования индивидуальных оценок с весами компетентности. Вес компетентности оценки равен коэффициенту компетентности эксперта.

В табл. 3 представлены коэффициенты компетентности 11 экспертов, рассчитанные по формуле 1.

 

Таблица 3. Коэффициенты компетентности экспертов

Эксперт

1

2

3

4

5

6

7

8

9

10

11

Коэффициент компетентности

0,092

0,09

0,092

0,09

0,091

0,092

0,092

0,089

0,091

0,091

0,091

 

Средние значения взвешенных экспертных оценок по каждому объекту представлены в табл. 4.

 

Таблица 4. Результаты расчета средних взвешенных оценок критериев

№ п/п

Критерии

Средняя взвешенная оценка

1

Лицензионный продукт

14,728

2

Возможность интеграции с другими ИС ВМО

14,191

3

Взаимодействие с ИС гражданского здравоохранения

13,091

4

Возможность взаимодействия с другими ИС в рамках медицинской службы Вооруженных сил РФ

10,010

5

Гибкость (настройка под запросы заказчика)

9,096

6

Автономность

13,998

7

Функциональные возможности

11,997

8

Надежность и безопасность ИС

7,554

9

Способность функционирования на отечественном оборудовании и программном обеспечении

8,361

10

Стоимость обслуживания ИС

8,637

11

Простота обслуживания и понимания для пользователя

6,454

12

Регулярное обновление ИС и адаптация к изменяющимся условиям

5,620

13

Возможность реализации цифрового решения по контролю качества осуществляемой деятельности

3,276

14

Поддержка и сопровождение функционирования ИС

4,449

15

Обучение персонала работе с ИС

2,449

16

Возможность частичного использования в учебном процессе

1,906

 

Данные оценки не имеют повторяющихся значений по критериям и могут быть проранжированы по убыванию значимости критериев выбора ИС управления ресурсами МИ на уровне ВМО.

Для определения согласованности мнений экспертов использовался коэффициент конкордации, значение которого составило 0,8. Это позволяет говорить о согласованности специалистов и о достоверности данной им оценке критериев выбора ИС по управлению ресурсами МИ в ВМО.

ВЫВОДЫ

В результате исследования на базе ВМедА были обоснованы критерии выбора ИС управления ресурсами МИ в ВМО. При этом была обоснована и применена простая в реализации и последующей статистической обработке методика с достаточно достоверными результатами, которые могут быть использованы при принятии решения по выбору ИС в совокупности с другими методами.

Следует отметить, что ИС по управлению ресурсами МИ должна учитывать специфику каждой конкретной ВМО. В этой связи обоснованная методика предполагает необходимость проведения социологического исследования и проблемного анализа на уровне каждой ВМО отдельно с целью определения оптимального набора критериев выбора ИС управления ресурсами МИ.

ДОПОЛНИТЕЛЬНАЯ ИНФОРМАЦИЯ

Источник финансирования. Финансирование данной работы не проводилось.

Конфликт интересов. Авторы декларируют отсутствие явных и потенциальных конфликтов интересов, связанных с публикацией настоящей статьи.

Этическая экспертиза. Исследование не требует проведения этической экспертизы

Вклад авторов. Все авторы внесли существенный вклад в проведение исследования и подготовку статьи, прочли и одобрили финальную версию перед публикацией.

×

About the authors

Mariуa V. Davydova

Military Medical Academy

Email: mashadav9889@yandex.ru
SPIN-code: 4619-1419

5th year student of the Faculty of Training and Improvement of Civilian Medical (Pharmaceutical) Specialists

Russian Federation, Saint Petersburg

Mariуa P. Shcherba

Military Medical Academy

Author for correspondence.
Email: marya.scherba@yandex.ru
SPIN-code: 9840-4740

Ph.D. (Pharmaceuticals), Associate Professor of the organization of provision of medical equipment to troops (forces) Department

Russian Federation, Saint Petersburg

Vladimir N. Kononov

Military Medical Academy

Email: bob_kvn@rambler.ru
SPIN-code: 4040-1120

Ph.D. (Pharmaceuticals), Associate Professor, the Head of the organization of provision of medical equipment for troops (forces) Department

Russian Federation, Saint Petersburg

Andrey V. Merkulov

Military Medical Academy

Email: prowizzor@yandex.ru
SPIN-code: 1514-9910

Ph.D. (Pharmaceuticals), Deputy Head of the organization of provision of medical equipment for troops (forces) Department

Russian Federation, Saint Petersburg

Natal’ya L. Kostenko

Military Medical Academy

Email: kostenkonl@yandex.ru
SPIN-code: 8559-7624

Ph.D. (Pharmaceuticals), Associate Professor, Associate Professor of the organization of provision of medical equipment for troops (forces) Department

Russian Federation, Saint Petersburg

Roman A. Golubenko

Military Medical Academy

Email: pyatigra@inbox.ru
SPIN-code: 2361-2561

D.Sc. (Pharmaceuticals), Associate Professor, Associate Professor of the organization of provision of medical equipment for troops (forces) Department

Russian Federation, Saint Petersburg

References

  1. Miroshnichenko YuV, Rodionov EO, Stavila AG. Search for new mechanisms for managing the resources of medical property in military healthcare. Modern organization of drug supply. 2019;6(2):55–56. (In Russ.)
  2. Yadov VA. Sociological research strategy: description, explanation, understanding of social reality. Moscow: Omega-L Publishing House; 2011. 567 p. (In Russ.)
  3. Shteyngart EA, Burmistrov AN. Review and comparative characteristics of methodologies for the development of enterprise architecture. Scientific and Technical Bulletin of SPbPU. Economic sciences. 2016;3(245):111–129. (In Russ.)
  4. Mikhailovsky NE. Information system architecture, risk assessment and total cost of ownership. IS Director. 2002;(6):12–17. (In Russ.)
  5. Kudryavtsev DV, Arzumanyan MYu. Enterprise architecture: transition from IT infrastructure design to business transformation. Russian Journal of Management. 2017;(2):193–224. (In Russ.)
  6. Vasilyeva EV, Deeva EA. Methods of expert assessments in applied information economics to substantiate the advantages of information systems and technologies. World of New Economy. 2017;(4):14–22. (In Russ.)
  7. Kuntsman AA. Specificity of adaptation of modern companies to the conditions of the digital economy. Innovations. 2017;9(227): 14–21. (In Russ.)
  8. Khalin VG, Chernova GV. Digitalization and its impact on the Russian economy and society: advantages, challenges, threats and risks. Managerial consulting. 2018;10(118):46–63. (In Russ.)
  9. Miroshnichenko YuV, Shcherba MP. Ways to improve drug provision for certain categories of citizens attached to military medical organizations based on the results of sociological research (using the example of patients with diabetes mellitus). Modern organization of drug supply. 2017;(3–4):5–20. (In Russ.)
  10. Umarov SZ, Zubov NN, Kuvakin VI. Information technologies of statistical data analysis in medical science and education. Saint Petersburg: VМedA Publishing House; 2020. 490 p. (In Russ.)
  11. Garifulin AF. Expert evaluation in the development of an effective strategy. Handbook of the Economist. 2013;8(122):14–18. (In Russ.)

Supplementary files

There are no supplementary files to display.


Copyright (c) 2022 Davydova M.V., Shcherba M.P., Kononov V.N., Merkulov A.V., Kostenko N.L., Golubenko R.A.

Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.

This website uses cookies

You consent to our cookies if you continue to use our website.

About Cookies