Evaluation of professional skills of anesthesiologists-reanimatologists

Abstract

The modern system of medical education requires the use of objective methods for assessing the clinical competence of medical professionals. The use of an objective structured clinical exam during the final certification of graduates of residency allows you to evaluate manual skills and the ability to apply theoretical knowledge. The experience of conducting such an exam as part of the state certification of graduates of residency at the department of anesthesiology and resuscitation of the S.M.Kirov Military Medical Academy allows considering this methodology as a way of objectivizing the comprehensive assessment of the training of medical specialists. Inclusion into the program of an objective structured clinical exam of highly realistic patient simulators makes it possible to evaluate the non-technical skills of anesthesiologists, which determine the effectiveness of actions in critical situations. Testing and introduction of rating scales into the evaluation system, improvement of the exam program, and an increase in the number of clinical scenarios for conducting simulation sessions were planned.

Full Text

Основной целью разработанной Министерством здравоохранения РФ «Стратегии развития медицинского и фармацевтического образования в Российской Федерации на период до 2025 года» является обеспечение подготовки высококвалифицированных медицинских кадров в соответствии с потребностями системы здравоохранения и современными тенденциями в экономике и обществе. Одними из задач, которые будут решаться в рамках реализации Стратегии, являются стандартизация подходов к системе и обеспечение единства требований к качеству подготовки специалистов, независимость оценки знаний, умений, навыков. Данные задачи полностью соответствуют требованиям к работе вузов Минобороны России и уровню подготовки их выпускников, предъявляемым его руководством. Актуальной становится проблема всесторонней объективной оценки выпускников медицинских вузов, что в настоящее время реализуется путем проведения аккредитации медицинских специалистов [2]. Первичная и первичная специализированная аккредитация состоит из следующих этапов: тестирование, оценка практических навыков (умений) в симулированных условиях, решение ситуационных задач [3]. Включение в систему оценки выпускников этапа оценки практических навыков в симулированных условиях позволяет получить объективное представление о готовности специалистов применять свои знания, что соответствует уровню «показывает, как будет делать» или, в ряде случаев, даже уровню «делает» по пирамиде Миллера (пирамида описывает стадийность формирования профессиональной компетентности врача) [8]. Цель исследования Проанализировать опыт оценки практической подготовки выпускников ординатуры по специальности «анестезиология-реаниматология» в формате объективного структурированного клинического экзамена. Материал и методы Исследование проведено на кафедре анестезиологии и реаниматологии Военно-медицинской академии (ВМедА) им. С.М.Кирова и охватывает период 2015-2018 гг. Объективный структурированный клинический экзамен (ОСКЭ - Objective Structured Clinical Examination) предложен в 1979 г. профессором университета Данди (Шотландия, Великобритания) Р.Харденом. Он стал рутинным инструментом оценки в медицинских школах Европы и США, но остается одним из самых признанных в мире форматом проведения экзамена [6]. Проведение ОСКЭ обеспечивает наибольшую объективность вследствие исключения субъективного подхода экзаменатора, создания для всех экзаменуемых стандартных условий, универсальности оценочных подходов, одинакового спектра заданий, компетентностного подхода к оценке результатов. Перед традиционными методами оценки (устное собеседование, письменные работы, прием практических навыков на манекене или у постели больного) ОСКЭ обладает следующими преимуществами: является практически единственным методом эффективной оценки обучающихся на уровне «показать» по пирамиде клинической компетентности Миллера, позволяет проверить компетентность обучающихся, обеспечивает разнообразие клинических ситуаций, включая редкие, а лимитированное время выполнения задания стимулирует экзаменуемых к эффективным действиям в стрессогенной обстановке. ОСКЭ разработан коллективом кафедры с целью промежуточной и итоговой оценки практических навыков, умений, а также нетехнических навыков слушателей ординатуры ВМедА. В 2015 г. ОСКЭ был впервые включен в практическую часть итоговой государственной аттестации выпускников. Задачи, которые ставил коллектив кафедры при проведении ОСКЭ, состояли в приобретении опыта использования современных симуляционных технологий для аттестации медицинских специалистов, оценке надежности применяемых оценочных средств, субъективной оценке экзамена обучающимися, выявлении недостатков в подготовке ординаторов, внесении изменений в учебный процесс с учетом выявленных недостатков в подготовке выпускников. Список станций был определен по результатам анализа профессионально значимых навыков, оценки профессиональных действий (проект профстандарта). Для проведения ОСКЭ в течение 4 лет использовали разные варианты станций, оценивающих основные блоки навыков и умений, анализировали их надежность и сформировали следующие станции. 1. Письменный блок станций - решение по ведению пациента, получающего антиагреганты или антикоагулянты/оценка кардиального риска; анализ данных рентгенографии и ЭКГ. 2. Проведение предоперационного осмотра пациента - стандартный пациент. 3. Проведение расширенной сердечно-легочной реанимации. 4. Интубация трахеи. 5. Применение окологортанных воздуховодов. 6. Выполнение пункции субарахноидального пространства. 7. Выполнение пункции и катетеризации эпидурального пространства. 8. Катетеризация подключичной вены. 9. Катетеризация внутренней яремной вены под УЗ-контролем. 10. «Анестезия» - вариант клинического сценария выбирается экзаменуемым методом случайного выбора билета с заданием (всего 5-10 сценариев). В первый день ОСКЭ ординаторы последовательно проходили станции письменной оценки и практических навыков. Второй день ОСКЭ был предназначен для прохождения каждым ординатором в качестве врача-анестезиолога одного симуляционного сценария, который он выбирал из предложенного набора билетов. Для проведения симуляционных сценариев в симуляционном центре ВМедА используются робот-симуляторы пациента HPS и I-Stan. После выбора клинического сценария ординатор получал учебную историю болезни и в течение 3 мин готовился к выполнению сценария. Для каждой станции, которые ординаторы проходили в первый день ОСКЭ, был разработан оценочный контрольный лист. Для структурированной оценки каждая манипуляция разделялась на несколько промежуточных контрольных этапов (шагов). Наблюдавший за действиями ординатора экзаменатор отмечал их выполнение в оценочном листе, выставляя баллы за выполнение отдельного этапа. Количество баллов за каждый этап при выполнении манипуляции зависело от важности этого действия для успешности всей манипуляции или безопасности пациента. На всех станциях общая сумма баллов, которую может набрать ординатор при их прохождении, составляла 100. Минимальная оценка, которая позволяла считать станцию пройденной, составляла 70 баллов. Прохождение симуляционных сценариев во второй день ОКСЭ оценивали с помощью индивидуального контрольного оценочного листа для каждого сценария (табл. 1). Разработка данных листов была основана на существующих клинических рекомендациях, алгоритмах действий, стандартах оказания помощи, принятых в Российской Федерации. Данный подход позволяет сформулировать критерии оценки действий аккредитуемого, соответствующие принятым профессиональным сообществом требованиям. В оценочных листах сочетали применение оценки выполнения ключевых действий и время диагностики, начала терапии и т. д. - ключевых факторов, напрямую влияющих на безопасность пациентов. Итоговая оценка за практическую часть экзамена рассчитывалась как среднее значение итоговых оценок за все станции в баллах, которое переводилось в 4-балльную оценку. Критерии итоговой оценки практических навыков по результатам ОКСЭ: 86-100 баллов - «отлично», 76-85 баллов - «хорошо», 75-66 баллов - «удовлетворительно», 65 баллов и менее - «неудовлетворительно». Оценку субъективного отношения аккредитуемых к методике проведения ОСКЭ и к данному способу оценки практических навыков осуществляли с помощью специального опросника, позволяющего судить об эмоциональном состоянии экзаменуемых во время экзамена, реалистичности показателей робота-симулятора и медицинского оборудования, мнении экзаменуемых о степени объективности полученных ими оценок и др. Статистическую обработку полученных данных осуществляли с помощью пакета программ «Statistica 13.3». Количественные данные проверяли на нормальность, далее сравнение между ними осуществляли с помощью критериев, соответствующих типу распределения. Количественные данные представлены в виде среднего значения и стандартного отклонения при нормальном распределении или в виде медианы и 25% и 75% квартилей - при отличном от нормального распределении. Результаты и обсуждение Полученные оценки практических навыков у выпускников ординатуры в формате ОСКЭ в период с 2015 по 2018 г. представлены в табл. 2. Результаты проведенного экзамена выявили достаточно высокий уровень практических навыков выпускников по выполнению базовых манипуляций (интубация, установка ОГВ, выполнение нейроаксиальной анестезии и др.). Системное преподавание применения УЗ-навигации при катетеризации сосудов и выполнении нейроаксиальных блокад в рамках учебной программы в ординатуре позволило выработать у ординаторов устойчивые навыки применения УЗ-технологий при инвазивных манипуляциях (средний балл 89,5±7,2). При прохождении симуляционных сессий большинство выпускников продемонстрировали умение выявлять развитие тех или иных осложнений у пациентов во время анестезии и проводить расширенную сердечно-легочную реанимацию. Большинство экзаменуемых в целом следовали рекомендуемым отечественным и международным алгоритмам действий. Общим недостатком практически у всех участников экзамена явилось неполное следование протоколу безопасности пациента (проверка соответствия пациента и данных истории болезни, неполное инструктирование больного, невнимательное отношение к его словам о самочувствии перед анестезией). Также привлекло внимание, что если экзаменуемые были способны своевременно распознать развивавшиеся осложнения и начать соответствующую интенсивную терапию, в большинстве случаев соответствующую современным рекомендациям, то умение принять решение о дальнейшей тактике ведения больного, возможности выполнения операции, осуществлять коммуникацию с хирургами, смежными специалистами продемонстрировали далеко не все ординаторы. Этому аспекту в дальнейшем обучении ординаторов кафедра уже уделяет больше внимания, так же, как и отработке действий в критических ситуациях в операционной. Сходные недостатки выявлены при оценке действий экзаменуемых во время расширенной сердечно-легочной реанимации. Имели место сложности со следованием алгоритму, координацией действий между членами команды. Эти вопросы также стали более углубленно отрабатываться в процессе обучения. После внесения изменений в программу оценка на данных станциях повысилась. По результатам субъективной оценки экзаменуемыми примененного формата оценки практических навыков можно сделать ряд обобщений. В первый год применения ОСКЭ при меньшем объеме времени, проведенном ординаторами в симуляционном центре во время обучения, ограниченный опыт работы в условиях симуляции создавал стрессогенные условия для участников экзамена (87,5% ощущали эмоциональный дискомфорт разной степени, пребывая в обстановке экзамена). В то же время 100% анкетированных сочли показатели состояния робота и данные мониторинга понятными, а время на подготовку к выполнению задания достаточным. Реалистичность сценария высокой сочли 95% экзаменуемых, 100% посчитали, что данный формат практической части экзамена является объективным, а полученная ими оценка справедлива. Оценка практических навыков и умения применять теоретические знания в формате ОСКЭ у выпускников резидентуры по анестезиологии-реаниматологии применяется уже в ряде стран (Израиль, Великобритания, США). В последние годы в ОСКЭ при проведении промежуточного контроля и аттестации врачей для оценки умения действовать в различных клинических ситуациях (интенсивная терапия при травме, сердечно-легочная реанимация, управление критическими ситуациями в анестезиологии, искусственная вентиляция легких, регионарная анестезия) включено обязательное прохождение симуляционных сессий с использованием реального медицинского оборудования и высокореалистичных роботов-симуляторов пациента [5, 7]. По общему мнению экспертов, проводящих данные экзамены, такая методика позволяет максимально объективно оценить специалиста, дает информацию о слабых и сильных сторонах подготовки в конкретных вузах. По нашему опыту [1], проведение ОСКЭ также дает возможность получить информацию о степени усвоения учебного материала, скорректировать, при необходимости, учебное расписание, дополнительно уделить внимание изучению и отработке тех или иных навыков. В этом смысле ОСКЭ является новым и эффективным инструментом постоянного аудита качества образовательного процесса и источником получения обратной связи об уровне подготовки обучаемых. Важной задачей на 2019 г. является внедрение ОСКЭ в систему первичной специализированной аккредитации медицинских специалистов [3, 4]. Кафедра анестезиологии и реаниматологии академии принимает активное участие в работе по созданию паспортов станций, разработке оценочных листов. В Ы В О Д Ы 1. Применение ОСКЭ для оценки практических навыков и умений выпускников ординатуры по специальности «анестезиология-реаниматология» представляет надежный компонент комплексной оценки уровня их профессиональной подготовки. 2. Разработанный кафедрой перечень станций и проверяемых навыков является обоснованным и позволяет с высокой надежностью оценить все профессионально значимые навыки у выпускников ординатуры. 3. Высокие оценки выпускников на станциях оценки основных практических навыков указывают на уверенное овладение ими данными манипуляциями, что позволит повысить безопасность пациентов в ходе последующей практической деятельности специалистов. Более низкие оценки экзаменуемых при прохождении клинических сценариев на роботах-симуляторах указывают на необходимость дополнительной отработки алгоритмов действий врача в критических ситуациях, что уже реализуется профессорско-преподавательским составом кафедры.
×

References

  1. Андреенко А.А., Лахин Р.Е., Лобачев И.В., Макаренко Е.П., Щёголев А.В. Применение симуляционных технологий при проведении промежуточной и итоговой аттестации клинических ординаторов по специальности «анестезиология и реаниматология» // Вестник Рос. воен.-мед. акад. - 2016. - № 1 (53). - С. 248-255.
  2. Балкизов З.З., Природова О.Ф., Семенова Т.В., Сизова Ж.М. Переход на новую систему допуска к медицинской деятельности: аккредитация и непрерывное медицинское образованию // Мед. образование и профессиональное развитие. - 2016. - № 4. - С. 12-18.
  3. Приказ Министерства здравоохранения РФ от 02.06.2016 г. № 334н «Об утверждении Положения об аккредитации специалистов».
  4. Приказ Министерства здравоохранения РФ №127н от 25.02.2016 г. «Об утверждении сроков и этапов аккредитации специалистов, а также категорий лиц, имеющих медицинское, фармацевтическое или иное образование и подлежащих аккредитации специалистов».
  5. Ben-Menachem E., Ezri T., Ziv A. et al. Objective Structured Clinical Examination-based assessment of regional anesthesia skills: The Israeli National Board Examination in Anesthesiology experience // Anesth. Analg. - 2011. - Vol. 112. - P. 242-245.
  6. Harden R.M., Gleeson F.A. Assessment of clinical competence using an objective structured clinical examination (OSCE) // Medical Education. - 1979. - Vol. 13. - P. 39-54.
  7. Holmboe E., Rizzolo M.A., Sachdeva A. et al. Simulation based assessment and the regulation of healthcare professionals // Simul. Healthc. - 2011. - Vol. 6. - P. 58-62.
  8. Miller G.E. The assessment of clinical skills/competence/performance // Acad. Med. - 1990. - Vol. 65, N 9. - P. 63-67.

Statistics

Views

Abstract: 30

PDF (Russian): 7

Dimensions

Article Metrics

Metrics Loading ...

PlumX

Refbacks

  • There are currently no refbacks.

Copyright (c) 2018 Eco-Vector

This website uses cookies

You consent to our cookies if you continue to use our website.

About Cookies