Managing the rehabilitation of patients following joint replacement using remote support tools

Cover Page


Cite item

Full Text

Abstract

The article considers the approach to the development of an intelligent decision support system based on artificial intelligence technologies to manage the rehabilitation process in patients who have undergone joint endoprosthetic surgery. The paper focuses on the advantages of using complex intelligent systems in various industries requiring personalised approaches to the object, including medicine. The prospects for their further development are considered. The creation of a digital twin reflecting the key parameters of the object and its development trajectory from the moment of the first interaction with the system is proposed. The system, developed on the basis of software and instrumental environments, provides the possibility of remote observation and correction of the recovery plan by specialists, which represents a significant advantage compared to traditional methods. In order to ensure the adaptability of the system and the actualisation of the proposed solutions, control over the patient's condition and adaptation of treatment programmes is achieved by means of periodic and unscheduled checking of the object indicators. This is achieved by comparing the indicators obtained as a result of video data analysis with the normalised indicators of the system. The developed system analyses video recordings, performs movement analysis and adapts rehabilitation measures depending on the obtained data on the patient's motor activity in real time. The proposed method offers the potential to enhance the precision and personalisation of rehabilitation approaches, thereby facilitating greater accessibility and efficacy in treatment. The integration of artificial intelligence elements into clinical practice presents a promising avenue for optimising rehabilitation processes.

Full Text

Введение

Развитие и интеграция методов искусственного интеллекта в системы поддержки принятия решений открывает новые возможности для повышения эффективности, гибкости и вычислительных способностей таких систем. Системы, широко использующие методы искусственного интеллекта, способны обрабатывать большие объемы информации, извлекать знания, делать выводы и предоставлять пользователям обоснованные рекомендации для принятия решений, а также лишены проблемы ограниченной рациональности, оптимальности и когнитивных искажений, свойственных человеку [1].

Организационная сложность объектов, требующих создания интеллектуальных систем поддержки принятия решений, как правило, вытекает из их функциональных особенностей, отсутствия или невозможности построения точной модели либо количества активных элементов, входящих в объект. Для выбора оптимального решения из набора альтернатив специалисту требуется достаточный для решения задачи когнитивный ресурс, способный обработать всю входящую информацию, проанализировать все доступные для выбора варианты и последствия.

Интеллектуальные системы поддержки принятия решений характеризуются высокой структурированностью, способностью учитывать большее число внутренних и внешних факторов, что позволяет не только принимать обоснованное решение, но и в явном виде указывать на факты и события, послужившие основанием выбора [2].

В современных условиях наращивания объемов и накопления информации происходит активный процесс цифровизации сфер человеческой деятельности. Соответственно, возрастает потребность в системах, способных адекватно обработать растущий объем разнородной информации. Однако, несмотря на существенное развитие методов машинного обучения и искусственного интеллекта, интеллектуальные системы поддержки принятия решений в ряде важнейших отраслей, включая медицину, пока не находят широкого практического применения. Классические медицинские системы, как правило, являются информационными системами, созданными для перехода на электронный документооборот, с возможными дополнениями в виде узкоспециализированных модулей, не обладающими в достаточной степени ассистивными функциями [1–3]. Среди ключевых проблем создания и внедрения классических систем поддержки решений, в том числе решений медицинских задач, выделяются сложность интеграции в рабочий процесс, последующей технической поддержки и актуализации знаний, ограниченная применимость систем, основанных на статистической обработке данных. Для данных, обрабатываемых системой, существует проблема конфиденциальности и защиты персональных данных, что накладывает дополнительные технические и юридические ограничения [4].

Среди областей медицины, нуждающихся в разработке систем поддержки принятия решений, отдельно выделяется реабилитация. Реабилитация играет важную роль в системе здравоохранения наряду с профилактикой, лечением и паллиативной помощью при различных заболеваниях, она способна сгладить негативные последствия патологических состояний, включая острые и хронические заболевания, а также последствия травм. Как правило, реабилитационные мероприятия дополняют другие методы лечения и включают в себя целый комплекс мер, усложняя задачу построения классических систем поддержки принятия решений [2–4].

Обязательным условием эффективной поддержки принятия решений является наличие качественных данных. Применение искусственного интеллекта, компьютерного зрения и дополненной реальности для получения данных о состоянии опорно-двигательного аппарата человека, а также контроля его изменений на основе последующего анализа, является новым направлением в медицинской практике.

Рассматривается интеллектуальная система поддержки принятия решений для управления процессом реабилитации пациентов после эндопротезирования суставов, реализованная в рамках программно-инструментальной среды на основе онтологического подхода и использующая для сбора обрабатываемых данных технологии компьютерного зрения и дополненной реальности.

Снижая нагрузку на специалистов, анализируя и интерпретируя данные, такая система может обрабатывать большие объемы информации и выдавать подробные заключения, а также предлагает рекомендации по функциональной коррекции опорно-двигательного аппарата пациента. Применение методов компьютерного зрения для распознавания и анализа движений пациента и интеллектуальных технологий для построения индивидуальных планов реабилитации, а также оценки эффективности реабилитационных мер в комплексе обеспечивает научную новизну исследования и способно повысить эффективность и качество реабилитационного процесса.

Технологии компьютерного зрения в системах поддержки принятия решений

Технологии компьютерного зрения представляют собой одно из наиболее динамично развивающихся направлений в современной информационной индустрии. Развитие этих технологий направлено на создание методов и алгоритмов, позволяющих машинам воспринимать, анализировать и интерпретировать визуальную информацию из окружающего мира. Внедрение компьютерного зрения в производственные процессы и системы управления значительно повышает их производительность благодаря возможностям круглосуточной работы, отсутствию усталости от рутинных операций и высокой точности, что существенно ускоряет производственные циклы.

Для построения алгоритмов компьютерного зрения чаще всего применяются сверточные нейронные сети (CNN), которые на сегодняшний день являются наиболее эффективными для работы с графическими данными. Эти сети способны автоматически обучаться иерархическим представлениям данных, что делает их идеальными для обработки и анализа изображений. CNN состоят из нескольких слоев свертки и подвыборки, что позволяет им выявлять сложные паттерны и особенности в данных [5].

Одной из первых глубоких сверточных сетей, созданной для улучшения результатов в задачах компьютерного зрения, была AlexNet. Она построена на основе пространственной корреляции в изображении с использованием сверточных слоев и рецептивных полей. Для решения проблемы переобучения в AlexNet применялись функция активации ReLU и метод исключения выборочных нейронов (dropout) в процессе обучения.

Другая значимая архитектура, изменившая подходы к компьютерному зрению, – VGG. В этой сети впервые использовались сверточные фильтры 3×3, которые объединялись для эмуляции крупных рецептивных полей. Этот подход позволил значительно улучшить качество распознавания изображений и нашел применение в более поздних архитектурах, таких как Inception и ResNet.

Архитектура Inception предложила концепцию параллельных сверточных слоев с различными размерами фильтров в одном уровне, что позволяет эффективно выявлять паттерны разного масштаба. ResNet, в свою очередь, предложила использование остаточных блоков для решения проблемы затухания градиента, что позволяет строить очень глубокие сети без потери качества обучения.

С развитием больших данных и улучшением вычислительных мощностей исследователи продолжают создавать все более сложные архитектуры. EfficientNet, например, использует метод составного коэффициента для масштабирования, что обеспечивает преимущество в точности и эффективности по сравнению с другими архитектурами, которые применяют методы случайного масштабирования. Эта сеть демонстрирует высокую эффективность при переносе обучения и может быть успешно использована в различных областях, включая медицинскую диагностику [5, 6].

Современные исследования также сосредоточены на гибридных моделях, сочетающих сверточные нейронные сети с рекуррентными (например, LSTM) для решения задач, связанных с последовательной обработкой данных. Такие подходы особенно эффективны для распознавания действий в видеопоследовательностях, обеспечивая точное и своевременное выявление событий [7, 8].

Технологии компьютерного зрения находят широкое применение в самых различных сферах. В производственных процессах они позволяют автоматизировать контроль качества продукции и управление робототехникой. В медицине компьютерное зрение используется для диагностики заболеваний на основе анализа медицинских изображений, таких как рентгеновские снимки и МРТ.

Технологии компьютерного зрения для задач анализа движений человека

Используя компьютерное зрение для анализа изображений человека, можно решить следующие группы задач: распознавание лиц (определение личности, оценка пола и возраста, этнической принадлежности), эмоций (определение эмоционального состояния по выражению лица, отслеживание факторов изменения эмоций по мимике лица), анализ поз и жестов (определение позы и положения тела, распознавание жестов и движений, отслеживание перемещений и действий в пространстве), обнаружение и выделение, оценка антропометрических параметров человека (рост, вес, телосложение), отслеживание направления внимания и взгляда [8].

Детектирование позы человека является актуальной задачей, решение которой позволяет получать данные о положении частей тела. Полученные данные возможно использовать для анализа, включая оценку характера действий и качества движений, взаимодействия с объектами реального мира и дополненной реальности. Существует множество различных подходов для решения задачи детектирования позы, которые можно разделить на две основные группы: подходы, использующие маркеры, и безмаркерные подходы.

Метод видеозахвата фиксирует изменения в положении конечности с помощью опорных точек, используемых в качестве маркеров (рис. 1). Анализ траектории движения опорных точек показывает изменения углов движения, которые соответствуют траектории движения конечностей субъекта во время выполнения заданного движения. 

 

Рис. 1. Карта опорных точек тела человека

 

Рассмотрим вектор, соединяющий левое плечо и левый локоть. Вектор будет иметь начальную точку в координатах, которые представляют положение левого плеча x1,y1, и конечную точку в координатах, которые представляют положение левого локтя x2,y2. Чтобы построить вектор между этими точками, нужно вычислить разность между координатами  и  для каждой точки:

x2x1=x;

y2y1=y.

Получив расстояние между начальной и конечной точками вектора, можем вычислить угол между вектором и осью x, используя формулу

angle=arctgy,x.

Формула вычисляет угол между вектором и осью x в радианах.

Построение векторов по ключевым точкам и их взаимное расположение предоставляют данные для анализа позы и движений человека как в статике, так и в динамике. Используя векторы, соединяющие ключевые точки, можно извлечь дополнительную информацию о кинематике и кинетике человеческого тела; например, возможно определить относительное положение различных сегментов тела.

Динамический анализ состояния векторов включает расчет скоростей и ускорений отдельных частей тела, что позволяет исследовать динамические аспекты движения, такие как траектории конечностей и другие временные характеристики движений.

Данный подход может быть применен в биомеханике, спортивной науке, реабилитации и других областях, связанных с исследованием человеческого движения.

Постановка задачи для разработки интеллектуальной системы поддержки принятия решений

Для разработки системы были выделены следующие этапы постановки задач: анализ предметной области, определение целей и задач системы, анализ пользователей и их потребностей, выбор методов принятия решений, а также разработка архитектуры и компонентов системы [1–3].

Предметной областью работы системы является функциональная реабилитация пациентов, перенесших эндопротезирование суставов. Разработанную систему после некоторого расширения возможно использовать при реабилитации и коррекции функциональных особенностей опорно-двигательного аппарата.

Нарушения работы опорно-двигательного аппарата являются одним из основных факторов, обуславливающих общую потребность в реабилитационных услугах: на них приходится подавляющее большинство потребностей в реабилитационных мероприятиях для детей и более половины случаев обращений среди взрослого населения. Важно отметить, что чем старше население, тем выше распространенность нарушений опорно-двигательного аппарата, что является фактором роста потребности в реабилитационных услугах на фоне общего увеличения доли населения старшей возрастной группы и роста продолжительности жизни; это обеспечивает устойчивую потребность в применении программно-аппаратных средств, осуществляющих управление процессом функциональной реабилитации и поддержку реабилитации [9–12].

Процесс функциональной реабилитации включает несколько периодов, разделенных на этапы, которые для достижения адекватного результата должны следовать друг за другом непрерывно (рис. 2). Подходы на выделяемых этапах, как правило, носят как стационарный, так и амбулаторный характер. Под функциональной реабилитацией далее будем понимать лечебную физкультуру как наиболее доступный из методов функциональной реабилитации с доказанной эффективностью [11].

 

Рис. 2. Структура процесса физической реабилитации

 

Осуществление непрерывности процесса функциональной реабилитации часто осложняется недоступностью реабилитационных центров, а также необходимостью обеспечения постоянного медицинского сопровождения пациента в амбулаторном периоде. Система управления функциональной реабилитацией опорно-двигательного аппарата позволит врачу контролировать функциональное восстановление опорно-двигательного аппарата пациента как при стационарном лечении, так и в амбулаторных условиях, на расстоянии, тем самым расширив формат взаимодействия врача и пациента и повысив эффективность распределения рабочего времени специалиста. Предлагаемый подход основан на использовании технических и программных средств. Интеграция средств поддержки принятия решений в общий процесс физической реабилитации разрабатывается с целью сдерживания растущей потребности в своевременном доступе к реабилитационным услугам.

Рассмотрев специфику процесса функциональной реабилитации, выделим основные задачи разрабатываемой системы:

  • оценка прогресса восстановления подвижности прооперированного в ходе выполнения мероприятий по функциональной реабилитации;
  • контроль выполнения индивидуального плана реабилитационных упражнений в процессе физической реабилитации в амбулаторном периоде;
  • составление и дальнейшая корректировка индивидуального плана, оценка корректности ранее выбранных реабилитационных упражнений, проводимая на основе фиксируемых данных;
  • оценка эффективности примененного индивидуального плана функциональной реабилитации;
  • поддержка взаимодействия между разработанными модулями системы и мобильными устройствами.

Пользователями системы являются специалисты (врачи, реабилитологи) и пациенты. В амбулаторный период физической реабилитации правильность составления индивидуального плана функциональных реабилитационных занятий может контролироваться либо медицинским работником в онлайн-режиме, либо с помощью программно-аппаратных средств, позволяющих объективно отслеживать изменения в опорно-двигательном аппарате по заданным параметрам. Использование информационно-измерительных и управляющих систем для управления процессом функциональной реабилитации и сопровождения как части процесса физической реабилитации позволит врачам выполнять свои обязанности по контролю хода восстановления в том числе в удаленном формате, сохраняя объективную оценку эффективности лечения. Оценка может проводиться с использованием специализированного программного и аппаратного обеспечения, очно либо дистанционно.

Для решения поставленных задач предлагается использовать систему управления процессом функциональной реабилитации и сопровождения, основанной на применении программно-технических средств, которые созданы на основе технологий компьютерного зрения и дополненной реальности.

Отметим, что способности систем, разрабатываемых на основе искусственного интеллекта, к управлению процессом функциональной реабилитации и контролю рекомендаций в квазиреальном времени, способности их адаптации и модификации в соответствии с текущим состоянием пациента являются важным преимуществом, позволяющим создать персонализированную траекторию восстановления и эффективный план дальнейшего лечения.

Онтологический подход к разработке интеллектуальной системы поддержки принятия решений

Стратегия разработки динамических развивающихся систем управления заключается в том, чтобы свести к минимуму участие разработчиков программного обеспечения. Для реализация данного подхода нами была разработана программно-инструментальная среда, позволяющая специалистам в предметной области проектировать онтологию и бизнес-процессы.

Выбор онтологического подхода обусловлен спецификой работы по разработке и поддержке системных и информационно-аналитических процессов в сложных кибер-физических системах.

Мета-ассоциативный граф, являющийся основой для разработки онтологии в нашей программно-инструментальной среде, представляет собой набор направленных отображений множества во множество, с понятиями вершины и метавершины, обобщенными до понятия узла метаграфа, и определением узла, дополненным именем и наборами событий и методов, принадлежащими узлу. Его приложением является моделирование отношений данных и процессной составляющей, что повышает универсальность проектирования онтологий [13, 14].

Для создания онтологии в рамках предметной области системы был использован модуль онтологического инжиниринга программно-инструментальной среды на основе мета-ассоциативного графа, который включает в себя процессную составляющую в виде методов и событий. Онтологическое представление позволяет представить конфигурацию интеллектуальной системы поддержки принятия решений, которая впоследствии может быть дополнена и расширена (рис. 3).

 

Рис. 3. Модуль онтологического инжиниринга

 

Основной целью организации и контроля восстановления пациентов после замены суставов является создание и внедрение систем сопровождения физической реабилитации. Такие системы должны обеспечивать функции контроля скорости восстановления пациента и соблюдения им индивидуального плана занятий в процессе физической реабилитации.

Рассмотрим схему прототипа интеллектуальной системы (рис. 4). Разрабатываемая интеллектуальная система предполагает использование мобильных устройств, оснащенных камерой (планшет или мобильный телефон), для получения видеоряда и их взаимодействие с серверным модулем системы, отвечающим за анализ полученных данных.

Для авторизованных пациентов приложение предоставляет возможность собирать данные о выполняемых упражнениях и отслеживать действия пациента, оказывая интеллектуальную помощь в выполнении реабилитационных упражнений. Пациент получает разработанный комплекс упражнений в виде плана реабилитации, оптимизированного с учетом его индивидуальных физических особенностей.

Мобильное приложение для специалистов по реабилитации позволяет просматривать данные по группам пациентов в зависимости от их статуса или диагноза, данные отдельных пациентов без статуса (до первичной функциональной диагностики), планы реабилитации и рекомендуемые комплексы упражнений.

 

Рис. 4. Взаимодействие модулей системы

 

Для получения данных о положении мобильного устройства в пространстве используются встроенные в мобильное устройство датчики – гироскоп и акселерометр. Измерения, проводимые этими датчиками, оказывают влияние на итоговую точность определения положения опорных точек пациента. В дальнейшем исследовании планируется рассмотреть влияние различных факторов на полученные итоговые измерения, включая степень освещенности помещения при получении видеоряда, разрешение камеры, ее положение и удаленность от объекта, а также погрешности используемых встроенных датчиков. В целом система предоставляет пользователям удобный интерфейс, позволяющий собирать и анализировать данные и получать своевременные рекомендации по особенностям актуального реабилитационного периода и восстановительным упражнениям на основе физических особенностей.

Разработка интеллектуальной системы поддержки принятия решений для управления процессом реабилитации пациентов после эндопротезирования суставов

Для корректной работы разрабатываемой системы необходимо качественное изменение состояния опорно-двигательного аппарата в пространстве. Данное изменение может также получить количественную оценку, основанную на наборе однозначно описывающих параметров, которые характеризуют изменения состояния опорно-двигательного аппарата. Применение комплексной оценки, сочетающей качественные и количественные методы, позволяет всесторонне исследовать процесс изменения состояния опорно-двигательного аппарата и обеспечить корректное функционирование разрабатываемой системы. Для используемого метода функциональной диагностики используется учет кинематических параметров, которые позволяют определить особенности и форму движений, отследить и записать данные о соответствии положения опорных точек тела при выполнении восстановительных упражнений, а также являются дополнительным источником данных для корректирования индивидуального плана реабилитационных занятий [15–19].

Работа над исследованием ведется совместно с Федеральным государственным бюджетным учреждением «Федеральный центр травматологии, ортопедии и эндопротезирования» Министерства здравоохранения Российской Федерации (г. Смоленск) – медицинским центром, внедряющим передовой опыт в клинической практике и специализирующимся на оказании высокотехнологичной медицинской помощи больным с заболеваниями опорно-двигательного аппарата. На сегодняшний день центром оказана помощь более чем 36 819 пациентам из 72 субъектов Российской Федерации. Для измерения параметров опорно-двигательного аппарата в центре используется метод гониометрии – метод регистрации относительных движений опорно-двигательного аппарата человека с использованием медицинского гониометра, размещенного на определенном участке тела. Применение прототипа системы позволяет проводить диагностику удаленно, а также решает проблему дискомфорта пациента при контактном получении измерений, используя технологию компьютерного зрения.

В применяемой методике функциональной диагностики важнейшим параметром является максимально достигаемый угол сгибания сустава, используя который, специалист по восстановительной терапии определяет возможное отклонение от нормы и назначает план реабилитационных мероприятий, оценивая эффективность и необходимость корректировки упражнений ЛФК.

После замены сустава пациентам доступны различные варианты реабилитации, выбор которых зависит от их потребностей и прогресса в восстановлении. Для пациентов, проходящих восстановление после эндоскопической замены суставов, доступны несколько основных сценариев реабилитационных мероприятий: занятия в группе, индивидуальные занятия, индивидуальные занятия с инструктором при использовании специальных тренажеров. Групповые занятия подходят для пациентов без особенностей реабилитационного периода, а также позволяют им взаимодействовать друг с другом и получать коллективную поддержку в процессе восстановления. Необходимость в индивидуальных занятиях с инструктором возникает случае необходимости учета дополнительных особенностей опорно-двигательного аппарата и прогресса конкретного пациента. Индивидуальные занятия с инструктором с использованием специализированных ассистивных тренажеров являются наиболее дорогостоящим вариантом, назначаемым в раннем послеоперационном периоде либо при возникновении существенных особенностей реабилитации. Сравнивая результаты тестов на подвижность сустава, врачи-реабилитологи относят пациента к определенной группе реабилитации, разрабатывая план на весь реабилитационный период. Однако опорно-двигательный аппарат человека является сложной системой, темпы восстановления которой могут носить индивидуальный характер, требующий сочетания различных сценариев реабилитационных мероприятий в процессе восстановления, а также дополнительных временных затрат на корректировку и обоснование исходного плана реабилитации от специалиста.

Применение разработанного прототипа системы поддержки принятия решений благодаря фиксации параметров пациента в динамике позволяет существенно повысить доступность и обоснованность индивидуализации, а также сократить временные затраты на составление документации благодаря цифровизации. Проводя кластеризацию пациентов и учитывая исходные параметры, система осуществляет построение индивидуальных планов реабилитации и предлагает оптимальную модификацию рекомендуемой программы реабилитации исходя из возрастной группы пациента, уровня двигательной активности, антропометрических параметров и оценки хода восстановления прооперированного сустава исходя из достигаемых углов сгибания.

Координаты исходных точек положения сустава в пространстве получают с помощью покадрового анализа видеоряда тестового упражнения. Для определения угла методикой функциональной диагностики выделяются опорные точки; затем в зависимости от тестируемого узла определяются векторы связи. Для построения векторов между ключевыми точками можно использовать их координаты. Каждый вектор будет иметь в качестве начальной одну из ключевых точек и в качестве конечной – другую. В результате получаемой измерительной информацией можно считать положение опорных точек тела человека и углы сгибания его суставов, полученные после обработки видеоряда (см. рис. 1).

Серверная часть обеспечивает хранение данных, выполнение интеллектуальной обработки и отображение результатов в приложениях пользователей (пациентов и реабилитологов). Загружаемая в систему видеоинформация может подвергаться предварительной обработке для повышения ее качества за счет снижения аддитивного влияния гауссовского шума (рис. 5).

 

Рис. 5. Обработка системой полученного видеоряда

 

Из каждого видеофайла извлекаются кадры для дальнейшего анализа. Каждый извлеченный кадр пропускается через предварительно обученную конволюционную нейронную сеть EfficientNet, извлекающую признаки для каждого кадра, которые являются числовыми представлениями важных аспектов изображения, характеризующих физические особенности объектов [6]. Затем эти признаки агрегируются по всем кадрам для создания цифрового двойника пациента, который хранится в базе данных интеллектуальной системы поддержки принятия решений (рис. 6).

 

Рис. 6. Прототип цифрового двойника

 

Система позволяет собрать дополнительную информацию от лечащего врача и специалиста-реабилитолога. Рекуррентная LSTM-модель используется для анализа и обработки данных [5–8]. Она обучается на основе предоставленных данных о профилях пациентов, выполнения индивидуальных рекомендаций, индивидуальной скорости восстановления опорно-двигательной системы. Модель анализирует последовательные данные тестирований пациентов, выявляет зависимости на их основе, а также закономерности между физическими особенностями, выполнением рекомендаций и эффективностью индивидуальных планов реабилитации. Анализ цифровых двойников позволяет кластеризовать их исходя из вида оперативного вмешательства и функционального состояния опорно-двигательной системы, формируя для каждого кластера пациентов со схожими особенностями индивидуальный план восстановления. При этом в случае необходимости назначения групповых занятий ЛФК система будет учитывать, что пациенты могут заниматься одновременно в одном месте.

Результаты измерений угла сгибания пациента передаются в специализированный модуль, который отвечает за хранение и анализ данных мониторинга. Модуль обновляет текущую информацию о состоянии пациента и ходе выполнения программы реабилитации. Одновременно подсистема мониторинга состояния отслеживает получаемые измерения пациента на предмет необходимости изменения его статуса и дополнительного исследования для корректировки реабилитационной тактики.

Для отслеживания процесса восстановления пациента используется цветное кодирование, присваивающее полученному измерению угла сгибания прооперированного сустава в соответствии с его отклонением от референсных значений, указанных в графике реабилитации, цветовой код:

зеленый: состояние пациента устойчиво находится в пределах референсных значений, реабилитация проходит успешно;

– желтый: состояние пациента незначительно отклоняется от референсных значений, пациенту требуется внести изменения в процесс реабилитации;

– красный: состояние пациента значительно отклоняется от референсных значений, требуется внимание врача для оценки ситуации.

Цветовой код позволяет отслеживать ход восстановления и вносить необходимые коррективы. Данные, накопленные в профиле пациента, подвергаются интеллектуальному анализу и сравниваются с референсными значениями, характерными для каждого этапа запланированной реабилитационной программы, что позволяет объективно оценить прогресс в восстановлении пациента и скорректировать реабилитационные мероприятия для сокращения времени реабилитации с достижением необходимых характеристик движения сустава.

На основе данных составляется и при необходимости обновляется план реабилитации пациента в соответствии с индивидуальной траекторией восстановления (рис. 7).

 

Рис. 7. Сформированный системой индивидуальный план реабилитации после эндопротезирования сустава

 

Оценивая степень совпадения индивидуального плана реабилитации, полученного в ходе цифрового моделирования, и фактических результатов, рассмотрим группу пациентов, прошедших эндоскопическую замену коленного сустава и восстановительный период с использованием прототипа системы поддержки принятия решений (n=46) и без него (n=34). Можно отметить хорошую прогностическую способность системы: в группе пациентов, использующих систему поддержки принятия решений (n=46), у 39 пациентов оправдался прогноз предсказанного темпа реабилитации, у 4 человек показатели функционального восстановления показали результат лучше спрогнозированного. В связи с различными внешними причинами и персональными особенностями реабилитационного периода у некоторых пациентов реабилитация проходила длительнее спрогнозированной (n=3). В группе пациентов, проходивших реабилитацию без использования системы поддержки принятия решений, на основе общих рекомендаций, результаты таковы: 19 пациентов восстанавливались штатно, 6 пациентов опережали план восстановления и 9 пациентов восстанавливались медленнее прогноза. Для объективной оценки продолжается сбор данных о ходе восстановления пациентов, проходящих реабилитацию с использованием прототипа системы и без нее. Однако уже на текущем этапе специалисты-реабилитологи отмечают положительное влияние использования прототипа системы поддержки принятия решений на соблюдение рекомендаций по полученной программе восстановления, связывая это с повышением степени осведомленности пациента о функциональном состоянии опорно-двигательного аппарата и непосредственным вовлечением пациента в процесс реабилитации.

Заключение

Описан подход и разработана интеллектуальная система поддержки принятия решений, предназначенная для управления процессом реабилитации пациентов после эндопротезирования суставов. Система, интегрирующая технологии искусственного интеллекта, компьютерного зрения и онтологический подход, представляет собой комплексное решение для повышения эффективности реабилитационных мероприятий. Применение разработанной системы позволяет адаптировать процесс реабилитации к индивидуальным особенностям каждого пациента. Система способна, основываясь на анализе видеоданных, в реальном времени отслеживать динамику восстановления функций опорно-двигательного аппарата, адаптируя реабилитационные планы в соответствии с текущими потребностями пациента, что не только способствует более быстрому восстановлению, но и минимизирует риск возможных осложнений.

Одним из преимуществ разработанной системы является ее способность к дистанционному мониторингу, что делает реабилитационные услуги более доступными для широкого круга пациентов, включая тех, кто проживает в удаленных или малообеспеченных регионах. Это обстоятельство особенно актуально в условиях современного мира, где мобильность и доступность медицинских услуг играют решающую роль в обеспечении высокого качества жизни населения. Кроме того, внедрение интеллектуальных систем в процесс реабилитации способствует снижению нагрузки на медицинский персонал и оптимизации работы реабилитационных центров. По мере накопления опыта и данных система продолжит совершенствоваться, обеспечивая все более точное и эффективное вмешательство, что, в свою очередь, предоставит возможность для дальнейшего развития и интеграции новых функциональных возможностей.

Следует отметить, что результаты исследования подтвердили значительный потенциал применения разработанной системы в клинической практике. Ожидается, что дальнейшее развитие и адаптация системы позволят не только улучшить качество реабилитационного процесса, но и существенно сократить экономические издержки, связанные с длительным лечением и реабилитацией пациентов. Планируется расширение функциональности системы путем интеграции дополнительных модулей и технологий, включая использование виртуальной и дополненной реальности для тренировки пациентов, применение более сложных алгоритмов машинного обучения для анализа больших данных и предсказания исходов реабилитации.

×

About the authors

Dmitry G. Arseniev

Peter the Great St. Petersburg Polytechnic University

Email: darsenievasp@mail.ru

(Dr. Sci. (Techn.)), Professor

Russian Federation, 29 B, Polytechnicheskaya st., St. Petersburg, 195251

Аnton Е. Misnik

Inter-state educational institution of higher education “Belarusian-Russian university”

Email: anton@misnik.by

(PhD. Sci. (Techn.)), Associate Professor

Belarus, 43, Mira Ave, Mogilev, 212000

Maria A. Shalukhova

Peter the Great St. Petersburg Polytechnic University; Inter-state educational institution of higher education “Belarusian-Russian university”

Author for correspondence.
Email: shaluhova.m@yandex.ru

Trainee Teacher, Postgraduate Student

Russian Federation, 29 B, Polytechnicheskaya st., St. Petersburg, 195251; 43, Mira Ave, Mogilev, 212000, Belarus

References

  1. Ivanov K.A., Blagoveshchenskij I.G., Blagoveshchenskij V.G. [i dr.]. Modeli i metody mashinnogo obucheniya dlya proektirovaniya sistem podderzhki prinyatiya reshenij [Models and methods of machine learning for designing decision support systems] // Sb. nauchnyh dokladov nauchno-prakticheskoj konferencii s mezhdunarodnym uchastiem, posvyashchennoj 100-letiyu so dnya rozhdeniya I.K. Petrova «Sovremennye problemy avtomatizacii tekhnologicheskih processov i proizvodstv». Kursk: Universitetskaya kniga, 2023. S. 192–200. (In Russian).
  2. Marakas G.M. Decision support systems in the 21st century. Upper Saddle River: Prentice Hall, 2003.
  3. Musen M.A., Middleton B., Greenes R.A. Clinical decision-support systems // Biomedical informatics: computer applications in health care and biomedicine. Cham: Springer International Publishing, 2021. Pр. 795–840.
  4. Kamenov K., Mills J.A., Chatterji S., Cieza A. Needs and unmet needs for rehabilitation services: a scoping review // Disability and Rehabilitation. 2019. 41(10). Pр. 1227–1237. https://doi.org/10.1080/09638288.2017.1422036
  5. Shah S., Tembhurne J. Object detection using convolutional neural networks and transformer-based models: a review // Journal of Electrical Systems and Information Technology. 2023. Vol. 10 (1). Pр. 54.
  6. Wang J. et al. NGCU: A new RNN model for time-series data prediction // Big Data Research. 2022. Vol. 27. P. 100296.
  7. Hoang V.T., Jo K.H. Practical Analysis on Architecture of EfficientNet // 14th International Conference on Human System Interaction (HSI), Gdańsk, Poland, 2021. Pр. 1–4. doi: 10.1109/HSI52170.2021.9538782
  8. Kiselev Yu.V., Bogomolov I.A., Rozaliev V.L., Baklan V.A. Analiz podhodov, metodov i reshenij dlya detektirovaniya pozy cheloveka. Vybor instrumenta dlya zadachi opredeleniya emocional'nogo sostoyaniya cheloveka po ego poze [Analysis of approaches, methods and solutions for human pose detection. Selection of a tool for the task of determining the emotional state of a person by his pose] // Sovremennye naukoemkie tekhnologii. 2023. № 6. Pр. 41–47. doi: 10.17513/snt.39629. (In Russian).
  9. Cieza A., Causey K., Kamenov K., Hanson S.W., Chatterji S., Vos T. Global estimates of the need for rehabilitation based on the Global Burden of Disease study 2019: a systematic analysis for the Global Burden of Disease Study 2019 // The Lancet. 2020. 396(10267). Pр. 2006–2017.
  10. Hartvigsen J., Hancock M.J., Kongsted A. What low back pain is and why we need to pay attention // The Lancet, 2018. 391. Pр. 2356–2367.
  11. Kustova A.V., Hozyainova S.S., Abuseva G.R. [i dr.] Reabilitacionnye tekhnologii u pacientov posle total'nogo endoprotezirovaniya krupnyh sustavov nizhnih konechnostej: naukometricheskij analiz [Rehabilitation technologies in patients after total endoprosthesis of large joints of the lower limbs: a scientometric analysis] // Voprosy kurortologii, fizioterapii i lechebnoj fizicheskoj kul'tury. 2024. V. 101, № 1. Pр. 54–61. doi: 10.17116/ kurort202410101154. (In Russian).
  12. Namazov A.K., Namazov K.A. Fizicheskaya reabilitaciya kak vazhnejshij komponent v sisteme medicinskoj reabilitacii [Physical rehabilitation as the most important component in the system of medical rehabilitation] // Zdorov'e – osnova chelovecheskogo potenciala: problemy i puti ih resheniya. 2019. V. 14, № 2. Pр. 903–907. (In Russian).
  13. Misnik A.E. Primenenie metagrafov dlya ontologicheskogo inzhiniringa slozhnyh sistem [Metagraphs for ontological engineering of complex systems] // Prikladnaya informatika. 2022. V. 17, № 2(98). Pр. 120–132. doi: 10.37791/2687-0649-2022-17-2-120-132. (In Russian).
  14. Borisov V.V., Misnik A.E. Ontological Engineering of Interrelated Processes in Complex Cyber-Physical Systems // In Proceedings of the Sixth International Scientific Conference “Intelligent Information Technologies for Industry”. IITI 2022. Ed: Kovalev S., Sukhanov A., Akperov I., Ozdemir S. Lecture Notes in Networks and Systems. Vol. 566. Springer, Cham, 2022. doi: 10.1007/978-3-031-19620-1_39
  15. Borisov V.V., Misnik A.E., Velkov A.A., Shalukhova M.A. Application of Computer Vision Technologies to Reduce Injuries in the Athletes’ Training // In Proceedings of the Seventh International Scientific Conference “Intelligent Information Technologies for Industry”. IITI 2023. Ed: Kovalev S., Kotenko I., Sukhanov A. Lecture Notes in Networks and Systems. Vol. 777. Springer, Cham, 2023. doi: 10.1007/978-3-031-43792-2_14
  16. Devanne M., Wannous H., Berretti S., Pala P., Daoudi M., Del Bimbo A. 3D human action recognition by shape analysis of motion trajectories on riemannian manifold // Transactions on Systems Man and Cybernetics, 2015. Vol. 7(45). Pр. 1340–1352. doi: 10.1109/TCYB.2014. 2350774
  17. Wang J., Qiu K., Peng H., Fu J., Zhu J. AI coach: Deep human pose estimation and analysis for personalized athletic training assistance // In Proceedings of the 27th ACM international conference on multimedia. 2019. Pр. 374–382. doi: 10.1145/3343031.3350910
  18. Teryohin A.D., Il'yalov O.R., Stepanov A.V. Sistema ocenivaniya sportivnyh uprazhnenij po nejrosetevomu analizu videoryada [The system of estimation of sports exercises according to the neural network analysis of a video series] // Prikladnaya matematika i voprosy upravle-niya. 2022. № 1. C. 75–86. doi: 10.15593/2499-9873/2022.1.04. (In Russian).
  19. Kostenko E.V., Petrova L.V., Martynov M.Yu., Pogonchenkova I.V. Effektivnost' reabilitacii s virtual'noj real'nost'yu i biologicheskoj obratnoj svyaz'yu v vosstanovlenii funkcii kisti posle insul'ta [Effectiveness of rehabilitation with virtual reality and biofeedback in recovery of hand function after stroke] // Zhurnal nevrologii i psihiatrii im. S.S. Korsakova. Specvypuski. 2023. T. 123, № 3–2. Pр. 68–75. (In Russian).

Supplementary files

Supplementary Files
Action
1. JATS XML
2. Fig. 1. Map of reference points of the human body

Download (219KB)
3. Fig. 2. Structure of the physical rehabilitation process

Download (80KB)
4. Fig. 3. Ontology engineering module

Download (85KB)
5. Fig. 4. Interaction of the system modules

Download (255KB)
6. Fig. 5. Processing of the received video sequence by the system

Download (130KB)
7. Fig. 6. Prototype of the digital twin

Download (204KB)
8. Fig. 7. System-formed individual rehabilitation plan after joint endoprosthesis

Download (144KB)

Copyright (c) 2024 Arseniev D.G., Misnik А.Е., Shalukhova M.A.

Creative Commons License
This work is licensed under a Creative Commons Attribution 4.0 International License.