The method of integral evaluation of the efficiency of the neurosurgical clinic based on the assessment of the degree of achievement of key performance indicators

Full Text

ВВЕДЕНИЕ

Комплексная оценка ключевых показателей качества работы современной клиники основывается на мониторинге количественных и качественных показателей, включающих структуру послеоперационных осложнений и анализ триггеров неблагоприятных событий. Применение такого подхода к изучению объективных данных для повышения уровня качества и безопасности медицинской деятельности ставит перед нами новую задачу — проведение интегральной оценки результатов работы клиники на основе анализа степени достижения поставленных целей.

В данной статье мы обсудим вопросы оценки эффективности работы нейрохирургической клиники через призму индикаторов качества.

МАТЕРИАЛЫ И МЕТОДЫ

Для интегральной оценки результатов работы нейрохирургической клиники было выбрано 11 ключевых показателей (категории целей):

1) количество проведённых операций;

2) оборот койки;

3) средняя длительность пребывания пациента на койке до операции;

4) повторная госпитализация по одному заболеванию в течение 30 дней после выписки, %;

5) хирургическая активность, %;

6) послеоперационная летальность, %;

7) инфекции дыхательной системы на 1000 дней вентиляции;

8) инфекции мочевой системы на 1000 дней применения мочевого катетера;

9) инфекции операционной раны (менингиты) на 100 пациентов отделения реанимации и интенсивной терапии (ОРИТ) с осложнённым течением;

10) инфекции кровотока на 100 пациентов;

11) частота послеоперационных осложнений (на 100 операций).

Степень достижения целей оценивалась с помощью специальной шкалы — шкалы достижения целей (ШДЦ), которая была разработана Киресюком и Шерманом в 1968 г. (Миннесота) [1].

После определения ключевых показателей проведено их субъективное «взвешивание» (ранжирование), где 1 — это менее важная цель, а 10 — самая важная цель. Были сформированы ожидаемые результаты, где за 0 приняты лучшие показатели клиники за прошлый год либо данные ведущих клиник мира (бенчмаркинг); «–2» — это показатель работы на 20% ниже ожидаемого результата; «–1» — на 10% ниже ожидаемого результата; «+1» — на 10% выше ожидаемого результата; «+2» — на 20% выше ожидаемого результата. Интервалом времени, в котором проводилась оценка достижения целей, был выбран один год.

Вычисление данных проводилось с использованием веб-приложения согласно формулам, представленным ниже.

Вычисление значения выборочных статистик проводилось с помощью формулы (1) для расчёта уровня достижения цели.

Рассчитанный числовой показатель далее преобразуется в вывод согласно следующим правилам: <50 — поставленные цели не достигнуты, 50–55 — поставленные цели достигнуты и >55 — поставленные цели перевыполнены.

$T=50+\frac{10{\displaystyle \sum _{i=1}^n{\omega }_i*x_i}}{\sqrt{{\displaystyle \sum _{i=1}^n{\omega }_i^{2}E\left(x_i^2\right)+\sum _{i=1}^n\sum _{j=1}^n{\omega }_1*{\omega }_{j}E\left(x_i,x_j\right)}}}$,   (1)

где $E\left(x_i^2\right)$ — выборочное среднее квадрата цели, $E(x_i,x_j)$ — выборочная корреляция.

$E\left(x_i^2\right)=\frac{1}{n}\sum _{i=1}^n{x}_i^2$.   (2)

$E(x_i,x_j)=\frac{{\displaystyle \sum _{i=1}^n\left(x_i-E\left(x_i\right)\right)\left(y_i-E\left(y_i\right)\right)}}{{\displaystyle \sum _{i=1}^n{\left(x_i-E\left(x_i\right)\right)}^2\sum _{j=1}^n{\left(y_j-E\left(y_j\right)\right)}^2}}$.   (3)

РЕЗУЛЬТАТЫ

На основании непрерывного анализа ключевых показателей работы в Центре нейрохирургии в период с 2014 по 2021 г. произведено «взвешивание» целевых показателей (табл. 1).

 

Таблица 1. Ранжирование («взвешивание») целевых показателей

Table 1. Ranking («weighing») target indicators

Целевые показатели	Вес
Количество проведённых операций	6
Оборот койки	6
Средняя длительность пребывания пациента на койке	6
Повторная госпитализация по одному заболеванию в течение 30 дней после выписки, %	6
Хирургическая активность, %	6
Послеоперационная летальность, %	9
Инфекции дыхательной системы на 1000 дней вентиляции	8
Инфекции мочевой системы на 1000 дней применения МК	8
Инфекции операционной раны (менингиты) на 100 пациентов ОРИТ с осложнённым течением	9
Инфекции кровотока на 100 пациентов	8
Количество ревизий (на 100 операций)	9

Примечание. МК — мочевой катетер, ОРИТ — отделение реанимации и интенсивной терапии.

Note. МК — urinary catheter, ОРИТ — intensive care unit.

 

Самыми важными целями с весом 8 и 9 были выбраны послеоперационная летальность, инфекции дыхательной, мочевой, центральной нервной систем, кровотока, которые являются одними из основных маркеров, характеризующих качество работы нейрохирургической клиники.

На основании лучших данных работы клиники сформированы показатели («0»), относительно которых в последующем оценивалась степень достижения цели (от «+2» до «–2»).

В течение 2014–2021 гг. собирались и анализировались данные по 11 ранее выбранным параметрам. Полученные результаты были распределены относительно базовых лучших параметров, принятых за 0. Распределение полученных результатов работы клиники по степени достижения целевых показателей представлены в табл. 2.

 

Таблица 2. Распределение целевых показателей работы нейрохирургической клиники относительно значения «0»

Table 2. Distribution of target indicators of the work of the neurosurgical clinic relative to the value «0»

Целевой показатель	Степень достижения
	2	1	0	–1	–2
Количество проведённых операций	11 447	10 493	9539	8585	7631
Оборот койки	39	34,8	30,6	27,05	23,5
Средняя длительность пребывания пациента на койке	7,6	8,3	9	11,45	13,9
Повторная госпитализация по одному заболеванию в течение 30 дней после выписки, %	1,9	2,6	3,3	3,65	4
Хирургическая активность, %	96,4	94,1	91,8	90,8	89,8
Послеоперационная летальность, %	0	0,225	0,45	1,075	1,7
Инфекции дыхательной системы на 1000 дней вентиляции	11	15	20	26,3	30
Инфекции мочевой системы на 1000 дней применения МК	11	15	20	23,6	27
Инфекции операционной раны (менингиты) на 100 пациентов ОРИТ с осложнённым течением	≤3	4	5	6,75	8,5
Инфекции кровотока на 100 пациентов	1,5	2,7	3	6	10
Количество ревизий (на 100 операций)	2,3	2,61	2,9	3,2	3,5

Примечание. «2» — намного больше, чем планировалось (+120%), «1» — больше, чем планировалось (+110%), «0» — то, что планировалось (100%), «–1» — меньше, чем планировалось (–110%), «–2» — намного меньше, чем планировалось (–120%), МК — мочевой катетер, ОРИТ — отделение реанимации и интенсивной терапии.

Note. «2» — much more than planned (+120%), «1» — more than planned (+110%), «0» — what was planned (100%), «–1» — less than planned (–110%), «–2» — much less than planned (–120%), МК — urinary catheter, ОРИТ — intensive care unit.

 

Большинство показателей в полной мере не соответствовали выбранным целевым значениям от «+2» до «–2», что затрудняет оценку степени достижения целей.

С помощью формулы (2) были рассчитаны выборочные статистики ключевых показателей, что позволило провести их попарное сравнение, определить их влияние на исход (табл. 3). Вычисленные значения выборочных статистик далее с помощью формулы (1) используются для расчёта уровня достижения цели.

 

Таблица 3. Определение коэффициента корреляции после расчёта выборочных статистик

Table 3. Determining the correlation coefficient after calculating sample statistics

	1	2	3	4	5	6	7	8	9	10	11
1	1,00	0,39	–0,53	–0,89	–0,82	–0,14	–0,55	–0,19	–0,10	–0,86	–0,27
2	0,39	1,00	0,51	–0,20	0,33	0,44	–0,50	–0,09	0,17	0,05	0,30
3	–0,53	0,51	1,00	0,77	0,87	0,84	–0,29	0,03	0,08	0,85	0,19
4	–0,89	–0,20	0,77	1,00	0,94	0,45	0,77	0,89	0,32	0,95	0,51
5	–0,82	0,33	0,87	0,94	1,00	0,64	–0,07	0,36	0,33	0,87	0,18
6	–0,14	0,44	0,84	0,45	0,64	1,00	–0,55	0,00	–0,23	0,76	0,36
7	–0,55	–0,50	–0,29	0,77	–0,07	–0,55	1,00	0,08	0,21	0,80	–0,02
8	–0,19	–0,09	0,03	0,89	0,36	0,00	0,08	1,00	0,81	–0,07	–0,42
9	–0,10	0,17	0,08	0,32	0,33	–0,23	0,21	0,81	1,00	–0,29	–0,56
10	–0,86	0,05	0,85	0,95	0,87	0,76	0,80	–0,07	–0,29	1,00	0,76
11	–0,27	0,30	0,19	0,51	0,18	0,36	–0,02	–0,42	–0,56	0,76	1,00

 

Для упрощения работы расчёта уровня достижения целей было разработано специальное веб-приложение, в котором после внесения интересующих нас целевых показателей на основе формулы (1) результаты рассчитывались и автоматически преобразовывались в вывод, какие цели достигнуты, ухудшились, остались на месте или перевыполнены.

Ранее выбранный вес и полученные результаты ключевых показателей за установленный временной интервал (в нашем случае — год) были внесены в соответствующий раздел приложения (рис. 1).

 

Рис. 1. Интерфейс веб-приложения. Ранжирование («взвешивание») целевых показателей и внесение результатов оценки ключевых показателей.

Fig. 1. Web application interface. Ranking («weighing») target indicators and entering the results of the assessment of key indicators.

 

После нажатия кнопки «рассчитать» (указано внизу на рис. 1) формируется отчёт, демонстрирующий, какие показатели ухудшились, остались на месте либо улучшились. На данном примере видно, что результаты работы клиники в 2021 году по некоторым показателям значительно улучшились (количество проведённых операций, послеоперационная летальность, инфекции дыхательной, мочевой систем, инфекции операционной раны (менингиты) на 100 пациентов ОРИТ с осложнённым течением), отмечено ухудшение показателей хирургической активности, инфекций кровотока и количества ревизий (рис. 2).

 

Рис. 2. Интерфейс веб-приложения. Результат, отражающий степень достижения целей.

Fig. 2. Web application interface. The result, reflecting the degree of achievement of the goals.

 

ОБСУЖДЕНИЕ

Эффективность работы современной клиники, в том числе нейрохирургической, традиционно оценивается через призму комплекса показателей. По мнению Zidarov et al. (2014 г.), разработка систем оценки эффективности клиник способствует не только повышению качества медицинской помощи, но и определению направлений к осуществлению организационных изменений в системах здравоохранения во всём мире [2]. Важным является тот факт, что общепринятого подхода к оценке эффективности деятельности лечебно-профилактических учреждений и соответствующего набора универсальных частных индикаторов, позволяющих сравнивать их между собой, нет [3]. Являясь одними из ключевых характеристик организации, эффективность и её оценка представляют собой одно из наиболее подкреплённых публикациями направлений в научных исследованиях и практических разработках [4]. По этой причине, как указывают Дж. Марч и Р. Саттон, любая связанная с оценкой эффективности публикация даёт своё рабочее определение. В исследованиях, посвящённых оценке эффективности в сфере здравоохранения, преобладает экономическая трактовка понятия «эффективность», что в таком узком понимании затруднительно применять в управленческих целях [5]. Кроме того, зачастую исследователи не оценивают эффективность лечебной деятельности, а, подменяя результат лечебной деятельности клиники количественными показателями, характеризуют эффективность использования её ресурсов [6, 7].

Для оценки работы хирургической клиники, как правило, применяются такие показатели, как количество выполняемых операций, койкооборот, средний койко-день до и после операции, доля высокотехнологичных операций, хирургическая активность, послеоперационная летальность и др. В большей степени это количественные показатели, которые дают предварительное представление о работе стационара или отделения.

На наш взгляд, бóльшую информативность может обеспечить комплексный анализ не только количественных, но и качественных показателей [8–10]. Следует отметить, что анализ структуры некоторых количественных показателей способен трансформировать их в качественные. Например, информация о выполненных операциях, структуре осложнений и исходах лечения позволяет объективно оценить сложность и качество хирургической деятельности отделения.

Работа по повышению уровня качества оказания медицинской помощи, в частности, направлена на сокращение числа неблагоприятных событий (НС), прежде всего предотвратимых. Для выявления НС хорошо зарекомендовал себя метод регистрации триггеров НС [9, 10], среди которых наиболее информативными для нейрохирургии являются следующие:

• незапланированный перевод пациента в ОРИТ в течение 48 часов после операции;
• тромбоэмболия лёгочной артерии;
• тромбозы глубоких вен нижних конечностей;
• появление/прогрессирование пролежней;
• внутрибольничный инсульт;
• снижение гемоглобина или гематокрита на ≥25% по сравнению с исходным уровнем в течение 72 часов;
• незапланированные реанимационные мероприятия в течение 24 часов после операции;
• искусственная вентиляция лёгких в течение более 24 часов после операции;
• незапланированные повторные хирургические вмешательства в одну госпитализацию;
• гемотрансфузия свыше запланированных объёмов в течение 24 часов после операции;
• определение нейтрофильного плеоцитоза ликвора;
• высев патогенов из крови и ликвора.

Важной составляющей оценки работы медицинской организации является анализ осложнений хирургических вмешательств, что также способствует улучшению качества лечения и повышению безопасности пациентов [9, 10].

Наш опыт работы показал, что объективный анализ работы на основании оценки измерений её результата положительно влияет на принятие клинических и управленческих решений.

Анализ результатов работы больницы на основе изучения большого количества параметров лежит в основе мер, направленных на повышение эффективности. В свою очередь, эффективность является элементом системы управления организацией.

В научной и практической литературе различными авторами были неоднократно предложены описания общих схем оценки эффективности [11, 12].

Эти схемы включают несколько функциональных этапов, суть которых можно свести к трём:

• сбор информации о деятельности организации (клиники);
• обработка информации;
• использование полученных данных для принятия решения (в управленческих целях).

Описанная обобщённая схема оценки эффективности деятельности организации предполагает использование полученной информации в определённых управленческих целях. Следует отметить, что в практику менеджмента концепцию управленческой деятельности, основанную на понятии «управление по целям», ввёл в 1934 году немецкий экономист П. Друкер. В дальнейшем благодаря работам Р. Каплана и Д. Нортона [8] в западной практике широкое распространение получили концепция управления реализацией стратегии и методика измерения эффективности деятельности предприятия Balanced Scorecard BSC, или система сбалансированных показателей, основанная на расчёте ключевых показателей эффективности (англ. Key Performance Indicators, KPI). Ключевые показатели эффективности — показатели функционирования организации, которые устанавливаются для достижения определённых стратегических целей. С помощью KPI можно планировать и контролировать эффективность деятельности на различных уровнях управления.

Нами была выбрана шкала достижения целей, опыт работы с которой у нас уже имелся в ходе исследования исходов лечения пациентов с дегенеративными заболеваниями позвоночника [8, 13–15].

ШДЦ была разработана Киресюком и Шерманом в 1968 г. (Миннесота). Порядок её применения хорошо описан в литературе [16].

Основное отличие ШДЦ от других имеющихся индивидуализированных методов оценки эффективности работы медицинской организации заключается в том, что пункты и баллы этой шкалы определяются самими медицинскими работниками. ШДЦ предназначена для множественных индивидуальных целей и, что самое главное, содержит формулу для вычисления общего стандартного балла. Как и любой инструмент, шкала имеет свои преимущества и недостатки. К преимуществам шкалы достижения целей относятся:

• возможность самостоятельно определить цели;
• возможность как оценивать степень достижения последовательно по каждой из целей, так и получать интегральный результат;
• установление реальных и видимых планов;
• понимание целей специалистами;
• расширение участия коллектива в стратегическом планировании.

К недостаткам шкалы можно отнести то, что при постановке может возникнуть желание занизить или, наоборот, завысить целевые значения, чтобы процесс достижения был проще.

ШДЦ предназначена для множественных индивидуальных целей и, что самое главное, содержит формулу для вычисления общего стандартного балла. Она позволяет проводить индивидуальные инструментальные сравнения, заполняется в виде формы, на которой по горизонтальной оси отмечаются индивидуальные цели [8, 13]. Процесс заполнения контрольной таблицы ШДЦ состоит из шести этапов.

• 1-й этап — выбор категории целей. Помимо того, что этот этап представляет собой отправную точку в процессе заполнения ШДЦ, на наш взгляд, он является ключевым, так как объективность дальнейших подсчётов будет находиться в прямой зависимости от поставленных целей лечения. При возникновении новых целей их можно добавить.
• 2-й этап — ранжирование («взвешивание») целей. Сразу нужно подчеркнуть, что этот этап необязательный. Суть его заключается в возможности присвоения категориям целей субъективного веса, который отражает их важность.
• 3-й этап — выбор временного интервала для последующего контроля. На данном этапе необходимо определить интервал времени, на котором оценивается достижение целей. Он может быть разным, но, как правило, для всех целей он одинаков.
• 4-й этап — формулировка ожидаемых результатов. Наиболее вероятный результат обозначается как «О» и располагается в центре контрольной таблицы. Степень достижения должна быть наглядной, описательной и объективной.
• 5-й этап — заполнение других уровней шкалы. Оставшиеся уровни целей заполняются в графах соответствующих целей. Там указываются возможные результаты: «гораздо хуже, чем ожидалось» (–2), «несколько хуже, чем ожидалось» (–1), «несколько лучше, чем ожидалось» (+1) и «гораздо лучше, чем ожидалось» (+2). Как и самый вероятный результат, критерии достижения данных целей должны быть объективными и наглядными. Цели разных уровней не должны пересекаться и должны легко оцениваться в баллах. Если сложно представить результат лучше, чем на уровне «0», то уровни «+1» и «+2» могут быть шкалированы как достижение того же уровня, но с меньшим временем или меньшими затратами. Описание уровней можно почерпнуть из стандартных шкал.
• 6-й этап — контроль. На этом этапе производится оценка по степени достижения целей. Достигнутый статус обычно отмечается звёздочкой, а начальный оценочный уровень — галочкой.

К недостаткам ШДЦ можно также отнести исходное предположение о корреляции целей на уровне 0,3. С одной стороны, это ограничение, которого трудно добиться в реальной ситуации, для целей, выбираемых из каких-то прикладных соображений, — некоторые из них могут быть очень высоко коррелированы, а другие, наоборот, независимы. Вместе с тем это требование представляется излишним при наличии дополнительных данных. Предположим, что показатели клиники наблюдались на протяжении какого-то длительного времени (в нашем случае — 8 лет). Это позволяет получить выборочные оценки всех необходимых статистик, в том числе попарных корреляций целей, с достаточной точностью (табл. 3). В таком случае предлагается использовать полученные выборочные статистики в исходной формуле [1] без искусственного введения взвешенной средней корреляции ρ (формула (1)).

Оценка работы современной клиники проводится на основе множества показателей, как качественных, так и количественных. При таком многофакторном анализе определение степени достижения целей, заполнение и интерпретация полученных данных в табл. 2 являются достаточно затруднительными. Использование предложенного нами приложения упрощает данную задачу. Для определения того, каких целей удалось достичь, а по каким показателям желаемого результата добиться не удалось, достаточно лишь внести результаты деятельности клиники в соответствующие заранее определённые разделы. После введения данных программа сама выдаёт наглядную информацию о степени достижения/недостижения поставленных целей. Применение данного веб-приложения интересно также тем, что вносить данные могут любые медицинские организации, которые оценивают свою работу через призму индикаторов качества, что, в свою очередь, позволит проводить сравнение (бенчмаркинг) среди клиник.

ЗАКЛЮЧЕНИЕ

Систематический анализ качественных и количественных показателей современной клиники позволяет оценить эффективность её работы с использованием шкалы достижения целей. Интеграция данной шкалы в веб-приложение помогает легко и быстро получать информацию о степени достижения поставленных целей в режиме реального времени и делает возможным проведение внешнего бенчмаркинга.

ДОПОЛНИТЕЛЬНО

Вклад авторов. Все авторы подтверждают соответствие своего авторства международным критериям ICMJE (все авторы внесли существенный вклад в разработку концепции, проведение исследования и подготовку статьи, прочли и одобрили финальную версию перед публикацией).

Источник финансирования. Не указан.

Конфликт интересов. Авторы декларируют отсутствие явных и потенциальных конфликтов интересов, связанных с публикацией настоящей статьи.

ADDITIONAL INFO

Author contribution. All authors made a substantial contribution to the conception of the work, acquisition, analysis, interpretation of data for the work, drafting and revising the work, final approval of the version to be published and agree to be accountable for all aspects of the work.

Funding source. Not specified.

Competing interests. The authors declare that they have no competing interests.

About the authors

Dmitry Yu. Usachev

Burdenko National Medical Research Center for Neurosurgery

Email: DOusachev@nsi.ru
ORCID iD: 0000-0002-9811-9442
SPIN-code: 6618-0420

MD, Dr. Sci. (Med.), Academician of RAS, Neurosurgeon

Russian Federation, Moscow

Anton G. Nazarenko

Priorov National Medical Research Center for Traumatology and Orthopedics

Email: nazarenkoag@cito-priorov.ru
ORCID iD: 0000-0003-1314-2887
SPIN-code: 1402-5186

MD, Dr. Sci. (Med.), Professor of RAS, Traumatologist-Orthopedist

Russian Federation, Moscow

Nikolai A. Konovalov

Burdenko National Medical Research Center for Neurosurgery

Email: NAKonovalov@nsi.ru
ORCID iD: 0000-0003-0824-1848
SPIN-code: 9436-3719

MD, Dr. Sci. (Med.), Corresponding Member of RAS, Neurosurgeon

Russian Federation, Moscow

Alexander A. Dokukin

Federal Research Center «Computer Science and Control» of the Russian Academy of Sciences

Email: dalex@ccas.ru

Cand. Sci. (Phys.-Math.), Senior Researcher

Russian Federation, Moscow

Oleg I. Sharipov

Burdenko National Medical Research Center for Neurosurgery

Author for correspondence.
Email: osharipov@nsi.ru
ORCID iD: 0000-0003-3777-5662
SPIN-code: 3279-0844

MD, Cand. Sci. (Med.), Neurosurgeon

Russian Federation, Moscow

Pavel L. Kalinin

Burdenko National Medical Research Center for Neurosurgery

Email: PKalinin@nsi.ru
ORCID iD: 0000-0001-9333-9473
SPIN-code: 1775-7421

MD, Dr. Sci. (Med.)

Russian Federation, Moscow

Maria A. Shults

Burdenko National Medical Research Center for Neurosurgery

Email: MShults@nsi.ru
ORCID iD: 0000-0002-1727-5102
SPIN-code: 4250-6871

MD, Cand. Sci. (Med.), Neurosurgeon

Russian Federation, Moscow

Alexander A. Sychev

Burdenko National Medical Research Center for Neurosurgery

Email: ASichev@nsi.ru
ORCID iD: 0000-0002-0038-1005
SPIN-code: 1171-7690

MD, Dr. Sci. (Med.)

Russian Federation, Moscow

Anastasia I. Baranich

Burdenko National Medical Research Center for Neurosurgery

Email: abaranich@nsi.ru
ORCID iD: 0000-0002-1167-0742

MD, Cand. Sci. (Med.)

Russian Federation, Moscow

References

Supplementary files