Application of computer vision and image prepro-cessing technologies in decision support systems

Full Text

Введение

Системы поддержки принятия решений находят все большее применение в самых разных технических и научных сферах, включая промышленность, финансы, логистику, управление производственными процессами и медицину. Эти системы предоставляют специалистам необходимые инструменты для принятия взвешенных решений на основе детального анализа данных. Их внедрение способствует значительному улучшению качества и обоснованности принимаемых решений благодаря возможности структурировать, анализировать и визуализировать важную информацию, необходимую для решения конкретных задач. Такие системы помогают снизить влияние рутинных аспектов на работу специалистов, автоматизируя повторяющиеся процессы и освобождая время для более сложных и творческих задач, что позволяет специалистам сосредоточиться на стратегически важных вопросах и в конечном итоге приводит к более продуктивной работе.

Компьютерное зрение – это базовая технология, позволяющая системам поддержки принятия решений эффективно воспринимать и анализировать визуальную информацию. Оно находит применение в таких областях, как распознавание объектов, лиц, текста, а также в автономном вождении, управлении качеством продукции на производственных линиях, мониторинге безопасности и во многих других приложениях. С постоянным прогрессом в области машинного обучения и обработки изображений возможности компьютерного зрения стремительно расширяются, открывая новые горизонты для его применения.

В промышленности компьютерное зрение используется для контроля качества продукции, где оно позволяет автоматически обнаруживать дефекты, такие как трещины, царапины или отклонения от стандартов. Такие системы минимизируют человеческий фактор, повышая точность и надежность контроля. В сфере безопасности компьютерное зрение используется для анализа видеопотоков с камер наблюдения, что позволяет в режиме реального времени обнаруживать подозрительное поведение, идентифицировать лица или номера автомобилей. В аграрной отрасли компьютерное зрение помогает анализировать состояние посевов, определять степень зрелости плодов и даже выявлять заболевания растений на ранних стадиях.

В медицинских системах поддержки принятия решений компьютерное зрение автоматизирует анализ визуальных данных, таких как результаты МРТ, КТ, рентгеновских снимков и других диагностических изображений. Это позволяет сократить время на обработку данных и уменьшить влияние рутинных аспектов работы, что, в свою очередь, снижает утомляемость врача и ускоряет процесс принятия врачебных решений. Например, алгоритмы могут автоматически выявлять аномалии, такие как опухоли или повреждения тканей, что значительно повышает скорость и точность диагностики.

Для обеспечения высокой точности и надежности алгоритмов компьютерного зрения важным этапом является предварительная обработка визуальных данных. Этот этап, который можно рассматривать как неотъемлемую часть общего процесса анализа изображений, включает в себя ряд сложных и взаимосвязанных процедур, направленных на улучшение качества входных данных.

Прежде всего необходимо устранить присутствующие в изображениях шумы, которые могут существенно исказить информацию и привести к ошибкам в анализе, особенно в условиях низкого контраста или плохой освещенности. Устранение шумов, как правило, осуществляется с помощью методов фильтрации, таких как гауссово размытие, медианная фильтрация или более современные методы, основанные на глубоких нейронных сетях. Эти методы позволяют выделить ключевые особенности изображения, исключив случайные искажения.

Следующим важным аспектом является регулировка яркости и контрастности изображения. Данная процедура необходима для оптимизации восприятия визуальной информации алгоритмами, особенно в тех случаях, когда исходные изображения были получены в условиях неравномерного освещения. Регулировка контрастности позволяет выделить детали, которые могут быть важны для успешной идентификации объектов, а регулировка яркости помогает нормализовать изображение, обеспечивая равномерное распределение световых уровней.

Фильтрация изображений играет значимую роль в их предварительной обработке. В зависимости от конкретных задач фильтрация может включать сглаживание, усиление границ или удаление определенных частотных компонент. Эти операции направлены на выделение важных структур и контуров, что способствует более точной сегментации и классификации объектов на изображении.

Еще одной важной процедурой является корректное масштабирование изображений. Масштабирование необходимо для приведения изображения к стандартным размерам, что позволяет алгоритмам работать с однородными данными и избегать потерь информации при обработке объектов различных размеров. Это особенно важно для алгоритмов, основанных на нейронных сетях, где консистентность размеров входных данных напрямую влияет на качество обучения и последующего предсказания.

В совокупности все эти манипуляции направлены на повышение информативности и качества исходных данных, что, в свою очередь, существенно улучшает результаты последующего анализа. Применение подобных методов предварительной обработки позволяет не только улучшить общую производительность систем компьютерного зрения, но и значительно повысить их надежность и точность [1, 2].

В данной статье рассматривается подход к построению системы поддержки принятия врачебных решений при диагностике травм и патологий опорно-двигательного аппарата, основанной на анализе рентгеновских снимков. Основное внимание уделено проведению комплексного сравнительного анализа алгоритмов предварительной обработки изображений и алгоритмов компьютерного зрения, предназначенных для обнаружения ключевых анатомических ориентиров. Эти ориентиры включают в себя характерные формы, размеры и взаимное расположение различных костных элементов, таких как контуры костей, особенности строения суставов, наличие переломов или других деформаций на рентгеновских изображениях. Они играют критически важную роль в идентификации и оценке травм опорно-двигательного аппарата, таких как переломы, вывихи, артрозные изменения, при анализе рентгеновских изображений врачом для постановки диагноза и назначения лечения.

Процесс разработки системы поддержки принятия решений основывался на необходимости повышения точности и надежности диагностических выводов, сделанных с помощью компьютерного зрения. В ходе исследования выяснилось, что без применения этапа предварительной обработки изображений точность работы алгоритмов компьютерного зрения существенно снижается. Алгоритмы, направленные на выявление анатомических ориентиров, не способны в полной мере идентифицировать ключевые элементы, если изображения предварительно не обработаны для устранения шумов, регулировки яркости и контрастности, а также фильтрации и масштабирования. Это обусловлено тем, что некачественные или искаженные изображения затрудняют выделение важных структур и контуров, что, в свою очередь, ведет к увеличению вероятности диагностических ошибок.

Таким образом, целью проведенной работы стало повышение точности системы поддержки принятия решений за счет выбора и оптимизации наиболее эффективных алгоритмов предварительной обработки и распознавания анатомических ориентиров на рентгеновских изображениях. Для этого были осуществлены детализированный анализ и оценка различных методов предварительной обработки, таких как фильтрация, коррекция яркости и контрастности, а также масштабирование изображений. Эти методы были проанализированы в контексте их влияния на последующую работу алгоритмов компьютерного зрения, ответственных за распознавание анатомических ориентиров.

Результаты проведенного исследования показали, что правильная комбинация методов предварительной обработки позволяет существенно улучшить качество входных данных, что напрямую отражается на точности и надежности работы алгоритмов компьютерного зрения.

На основе рассматриваемых подходов разработана система поддержки принятия решений для врача-травматолога.

Компьютерное зрение в задачах поддержки принятия решений

Алгоритмы компьютерного зрения находят применение в различных технических областях, где они используются для автоматизации процессов, повышения точности операций и обеспечения надежности систем.

В промышленности алгоритмы компьютерного зрения широко используются для контроля качества продукции на производственных линиях. Системы компьютерного зрения могут автоматически обнаруживать дефекты, такие как трещины, царапины, неправильные формы или отклонения от заданных размеров, что позволяет минимизировать человеческий фактор и значительно повысить точность контроля. Например, в автомобильной промышленности такие системы используются для проверки качества сборки автомобилей, включая проверку сварных швов, окраски и сборки деталей. В производстве полупроводников компьютерное зрение применяется для обнаружения микроскопических дефектов на кремниевых пластинах, что крайне важно для обеспечения высокого качества конечного продукта.

В области автономного вождения алгоритмы компьютерного зрения играют центральную роль. Они используются для анализа дорожной обстановки, включая распознавание дорожных знаков, разметки, других транспортных средств, пешеходов и препятствий. Компьютерное зрение позволяет системе автомобиля в реальном времени принимать решения, такие как торможение, ускорение или маневрирование, на основе визуальной информации. Благодаря использованию глубоких нейронных сетей современные системы компьютерного зрения способны не только распознавать объекты, но и предсказывать их траекторию движения, что существенно повышает безопасность автономных транспортных средств.

В логистике и управлении складами компьютерное зрение применяется для автоматизации процессов складирования, сортировки и инвентаризации товаров. Системы компьютерного зрения могут сканировать штрих-коды, идентифицировать тип и состояние товаров, а также отслеживать их перемещение по складу. Это позволяет значительно ускорить процессы обработки заказов и повысить точность учета товарно-материальных ценностей. Например, роботизированные системы с компьютерным зрением используются для автоматизированной укладки товаров на паллеты, что снижает вероятность ошибок и повреждений.

В области безопасности и видеонаблюдения алгоритмы компьютерного зрения применяются для анализа видеопотоков в режиме реального времени. Эти системы способны автоматически обнаруживать подозрительное поведение, распознавать лица, идентифицировать номерные знаки автомобилей и отслеживать перемещения людей в охраняемой зоне. Компьютерное зрение позволяет значительно повысить эффективность систем безопасности, снижая зависимость от человеческого наблюдения и увеличивая скорость реагирования на потенциальные угрозы.

В сельском хозяйстве алгоритмы компьютерного зрения используются для мониторинга состояния посевов, анализа степени зрелости плодов и выявления заболеваний растений на ранних стадиях. Системы компьютерного зрения, установленные на дронах или специализированных агротехнических машинах, могут в реальном времени собирать и анализировать данные о состоянии полей, что позволяет фермерам оптимизировать использование ресурсов, таких как вода и удобрения, и своевременно реагировать на появление вредителей или болезней. В животноводстве компьютерное зрение применяется для мониторинга состояния здоровья животных, включая автоматическое распознавание признаков стресса или заболеваний, что помогает фермерам поддерживать высокие стандарты ухода за скотом.

В геодезии и картографии алгоритмы компьютерного зрения применяются для анализа данных, полученных с дронов и спутников, с целью создания точных топографических карт и моделей местности. Эти алгоритмы позволяют автоматизировать процесс распознавания и классификации различных объектов на поверхности земли, таких как дороги, здания, водоемы и леса. Компьютерное зрение также используется для анализа изменений в ландшафте, таких как эрозия почвы или вырубка лесов, что важно для экологического мониторинга и планирования городского развития.

В медицинской области алгоритмы компьютерного зрения широко используются для автоматизации диагностики на основе других типов медицинских изображений, таких как МРТ, КТ и УЗИ. Эти системы могут автоматически выделять области, требующие внимания врача, такие как опухоли, аномальные образования или другие патологические изменения, что позволяет ускорить процесс диагностики и снизить вероятность ошибок. Более того, в офтальмологии компьютерное зрение используется для анализа снимков сетчатки глаза с целью раннего выявления заболеваний, таких как диабетическая ретинопатия или глаукома [3].

В медицинской диагностике, в частности в травматологии, основным диагностическим средством являются рентгеновские снимки, которые играют важную роль в выявлении и мониторинге различных патологий опорно-двигательного аппарата. Рентгеновские изображения содержат богатую анатомическую информацию – с их помощью можно проанализировать состояние костей, суставов, мягких тканей и других структур организма. Ключевыми анатомическими ориентирами на таких снимках являются характерные формы, размеры и взаимное расположение различных костных элементов – например, контуры плечевой, бедренной или большеберцовой кости, особенности строения суставов, наличие переломов или других деформаций. Эти анатомические ориентиры помогают врачу идентифицировать и оценить патологические изменения [4].

Автоматизированное распознавание таких ключевых анатомических ориентиров на рентгеновских изображениях представляет собой важную задачу, решение которой может повысить точность и скорость медицинской диагностики, обеспечив врачей объективной информацией для принятия решений. Компьютерное зрение способно автоматически локализовывать и идентифицировать анатомические структуры, измерять их размеры и взаимное расположение, а также выявлять отклонения от нормы, указывающие на наличие патологий. Однако недостаточное качество рентгеновских снимков, наличие помех, артефактов и неравномерностей может затруднять их восприятие системами компьютерного зрения. На рис. 1, а продемонстрирован рентгеновский снимок без предварительной обработки.

 

Рис. 1. Рентгеновский снимок без предварительной обработки (а); результаты работы детектора Harris на изображении без предварительной обработки (б)

 

Как видно на рис. 1, б, применение алгоритмов компьютерного зрения на необработанном изображении приводит к нечетким и неустойчивым результатам обнаружения ключевых анатомических ориентиров. Тем самым важной задачей, обеспечивающей эффективное применение алгоритмов компьютерного зрения, является разработка эффективных алгоритмов предварительной обработки изображений. Данные предварительной обработки, такие как улучшение контраста и устранение артефактов, служат основой для более точного и надежного анализа с использованием алгоритмов компьютерного зрения. Это позволяет повысить качество обнаружения ключевых анатомических ориентиров, играющих критическую роль в идентификации и оценке патологических изменений.

Предварительная обработка рентгеновских изображений

Существует ряд разнообразных подходов и методов, используемых для предварительной обработки изображений в компьютерном зрении. Эти методы применяются с целью подготовки изображений для последующего анализа, обеспечивая повышение точности и надежности работы алгоритмов распознавания и диагностики [5].

Фильтрация изображений – это один из фундаментальных методов предварительной обработки, который используется для подавления шумов и артефактов, возникающих при получении изображений. Шумы могут существенно снижать качество изображения и затруднять дальнейший анализ. Существуют различные виды фильтров, каждый из которых решает специфические задачи:

• медианный фильтр применяется для устранения импульсных шумов, которые появляются в виде точек или полос на изображении, заменяет значение пикселя на медианное значение в окрестности пикселей, что позволяет эффективно сглаживать изображение без значительных потерь деталей [6];
• гауссов фильтр основан на применении гауссова размытия, которое помогает уменьшить шумы за счет сглаживания изображения, что особенно эффективно для устранения мелких шумов не влияет на крупные структуры, такие как контуры анатомических объектов;
• адаптивная фильтрация включает использование методов, которые учитывают местные особенности изображения, такие как яркость и контраст. Адаптивные фильтры, например фильтр Винера, могут динамически изменять свои параметры в зависимости от локальных характеристик изображения, что делает их эффективными при обработке изображений с неравномерным уровнем шума [7].

Методы нормализации контраста и яркости предназначены для выравнивания неравномерного распределения световых и цветовых характеристик по изображению. В медицинских изображениях часто встречаются области с различной яркостью, что может затруднять анализ. Для решения этой проблемы применяются следующие подходы:

• гистограммная равнизация – нормализует распределение интенсивностей пикселей на изображении, расширяя области с низким контрастом, позволяет сделать детали в затемненных или пересвеченных участках изображения более заметными, что улучшает их восприятие и анализ[8];
• адаптивная гистограммная равнизация (CLAHE), в отличие от традиционной гистограммной равнизации, – применяется к локальным участкам изображения, что позволяет улучшить контраст в конкретных зонах без перерасширения контрастности в других, что особенно полезно для медицинских изображений, где важно сохранить локальные контрастные особенности, такие как контуры органов или опухолей [9];
• логарифмическое и экспоненциальное преобразование – использует нелинейные функции для регулирования яркости изображения: логарифмическое преобразование усиливает темные области изображения, а экспоненциальное – светлые, что помогает выделить важные детали в зависимости от задачи [10].

Сегментация – это метод, который используется для выделения и изоляции ключевых анатомических структур на изображении. Сегментация является важным этапом при анализе медицинских изображений, так как позволяет фокусироваться на конкретных областях интереса, игнорируя менее значимые элементы. Основными подходы к сегментации являются:

• глобальная и локальная сегментация. Глобальная сегментация предполагает разделение всего изображения на сегменты на основе общих критериев, таких как цвет или текстура. Локальная сегментация, напротив, фокусируется на конкретных участках изображения, где требуются более точные критерии для выделения структур, например при сегментации мелких сосудов или микроскопических опухолей [1];
• алгоритмы выделения границ, например, детектор Канни или алгоритм активных контуров (snakes), которые используются для выделения четких контуров анатомических структур. Эти методы полезны для определения границ органов или опухолей, что позволяет более точно измерять их размеры и форму [12];
• региональное разрастание и кластеризация. Применяются для выделения сегментов изображения на основе сходства пикселей. Региональное разрастание объединяет соседние пиксели с аналогичными характеристиками, тогда как кластеризация группирует пиксели на основе их статистических свойств. Эти подходы полезны для выделения однородных областей, таких как ткани или органы [13].

Улучшение резкости изображения направлено на повышение четкости и детализации, что важно для точного распознавания и анализа мелких структур на медицинских изображениях. Основные методы включают:

• контрастное усиление, которое увеличивает контраст между соседними пикселями, что позволяет выделить тонкие детали и улучшить общую четкость изображения; это важно при анализе рентгеновских снимков, где необходимо различать мелкие костные структуры или сосудистые образования;
• нерезкое маскирование, основанное на вычитании размытого изображения из оригинала, что приводит к усилению границ и выделению мелких деталей. Часто используется для улучшения резкости контуров и краев анатомических структур, таких как границы органов или опухолей;
• деконволюция – используется для восстановления деталей изображения, размытых в результате систематических искажений, таких как движение пациента или дефокусировка; помогает восстановить утраченные детали и улучшить общее качество изображения, что особенно важно в условиях низкой освещенности или высокой динамики процесса съемки [14].

Кроме основных методов существуют и другие техники, которые могут быть использованы для улучшения качества изображений:

• морфологическая обработка. Она включает операции, такие как эрозия, дилатация, открытие и закрытие, которые используются для удаления мелких артефактов, заполнения пробелов и выделения структур определенной формы. Эти методы полезны для улучшения сегментации и анализа изображений;
• преобразование Фурье и вейвлет-преобразование. Используются для анализа изображения в частотной области, что позволяет выделять определенные структуры или шумы на различных масштабах. Вейвлет-преобразование применяется для мультиуровневой обработки изображений, где важно учитывать детали на различных уровнях разрешения [15];
• интерполяция и ресемплинг. Применяются для изменения разрешения изображения, чтобы привести его к нужному формату для последующего анализа. Эти методы могут включать билинейную интерполяцию, кубическую интерполяцию и другие подходы, обеспечивающие сохранение важной информации при изменении размеров изображения [16].

Для выявления наиболее эффективных методов предварительной обработки рентгеновских изображений, которые могут быть использованы для повышения производительности и точности систем автоматического анализа, проведен комплексный сравнительный анализ влияния различных подходов на точность работы алгоритмов распознавания ключевых анатомических ориентиров [17]. Для оценки методов предварительной обработки были использованы такие метрики, как точность (precision – доля правильно распознанных ориентиров среди всех распознанных), полнота (recall – доля правильно распознанных ориентиров среди всех реально присутствующих) и F-мера (комплексный показатель, учитывающий и точность, и полноту) [18]. Этот анализ позволил выявить наиболее эффективные методы предварительной обработки, которые были использованы для повышения производительности и точности систем автоматического анализа рентгеновских снимков [19].

Для анализа использован набор рентгеновских снимков DICOM, содержащий около 1000 рентгеновских изображений различных анатомических областей, таких как плечо, локоть, позвоночник, запястье, колено и лодыжка. Все изображения были размечены врачами-травматологами, что позволило обеспечить наибольшую достоверность оценки точности работы алгоритмов.

Для создания эталонного набора изображений рентгеновские снимки в формате DICOM были загружены в специализированное программное обеспечение для медицинской визуализации. DICOM является стандартным форматом для медицинских изображений, который позволяет сохранять изображение с высоким качеством и дополнительной информацией об исследовании. Однако для дальнейшей обработки и анализа эти DICOM-файлы конвертируются в более распространенные графические форматы. Специализированное программное обеспечение сохраняет их в формате PNG. На рис. 2, а представлено изображение, полученное в результате работы в специализированном программном обеспечении.

Несмотря на то, что PNG является одним из четких графических форматов, он все же может приводить к некоторой потере качества по сравнению с исходными DICOM-файлами. Поэтому для извлечения более качественных изображений и проведения более детального анализа применяются алгоритмы и методы компьютерного зрения, которые способны работать непосредственно с DICOM-данными, избегая потерь при конвертации.

Для сравнительного анализа использовались различные методы и алгоритмы компьютерного зрения. Помимо изображений в формате PNG, конвертированных из исходных DICOM-файлов, применялись и другие подходы, направленные на извлечение более качественных изображений непосредственно из DICOM-данных, среди которых:

• базовое отображение Python. Изображения загружены в Python и отображены при помощи библиотеки Pillow без применения каких-либо дополнительных преобразований. Данный метод представлен на рис. 2, б;
• медианный фильтр. Для сглаживания шумов и артефактов на изображениях к базовому отображению Python применен медианный фильтр из библиотеки OpenCV. Размер окна фильтра был подобран эмпирически. Данный метод обработки представлен на рис. 2, в;
• адаптивная эквализация гистограммы. Для улучшения локального контраста изображений помимо базового отображения Python использована адаптивная эквализация гистограммы из библиотеки OpenCV. Метод адаптивной эквализации представлен на рис. 3, a;
• стандартная эквализация гистограммы. Для сравнения с адаптивной эквализацией помимо базового отображения Python применена стандартная эквализация гистограммы из OpenCV. Данный метод представлен на рис. 3, б;
• гамма-коррекция. Для регулирования яркости и контрастности изображений, а также для сравнения с двумя предыдущими эквализациями использована гамма-коррекция. Значение гамма-параметра подбиралось эмпирически. Гамма-коррекция представлена на рис. 3, в.

 

Рис. 2. Изображение, полученное при помощи специализированного программного обеспечения (а), метод базового отображения в Python (б), метод базового отображения Python с применением медианного фильтра (в)

 

Все перечисленные методы предварительной обработки последовательно применены к изображениям набора рентгеновских снимков DICOM.

Исходя из полученных изображений при использовании различных методов можно сделать следующие выводы:

• базовое отображение DICOM-данных с помощью библиотеки Pillow показало наличие значительного количества шумов и размытых объектов на полученных изображениях, что затрудняет четкое обнаружение анатомических ориентиров;
• применение медианного фильтра для сглаживания артефактов привело к чрезмерному размытию деталей на изображениях, сделав их еще менее пригодными для дальнейшего анализа;
• использование методов эквализации гистограммы продемонстрировало значительное улучшение контрастности и четкости визуализации анатомических структур по сравнению с базовым отображением и медианной фильтрацией;
• гамма-коррекция изображений, в отличие от эквализации, больше повлияла на яркость, нежели на контрастность, поэтому показала себя хуже в контексте задачи выделения ключевых анатомических ориентиров;
• отображение изображений в формате PNG, полученных из исходных DICOM-данных после применения ряда предварительных обработок с помощью специализированного программного обеспечения, продемонстрировало качество визуализации несколько меньшее, чем у методов эквализации, но при этом превосходящее качество других рассматриваемых методов обработки. В итоге комплекс предварительных обработок, необходимых для конвертации DICOM-данных в формат PNG, позволяет достичь качества визуализации, которое хотя и уступает эквализации, но превосходит другие методы.

 

Рис. 3. Метод адаптивной эквализации гистограммы, метод стандартной эквализации гистограммы, метод гамма-коррекции

 

Однако для точного сравнительного анализа к каждому изображению последовательно применены три алгоритма нахождения анатомических ориентиров:

• детектор Харриса (Harris Corner Detector). Данный алгоритм основан на анализе матрицы Гессе изображения для выявления углов и угловых точек. Он позволяет находить устойчивые к масштабированию и повороту ключевые точки на изображениях;
• алгоритм Shi-Tomasi. Этот алгоритм является модификацией детектора Харриса и обеспечивает более устойчивое обнаружение углов и ключевых точек на изображениях. Он использует собственные значения матрицы Гессе для идентификации наиболее значимых точек;
• алгоритм SIFT (Scale-Invariant Feature Transform). SIFT является одним из наиболее распространенных методов обнаружения и описания ключевых точек на изображениях. Он позволяет выявлять устойчивые к масштабированию, повороту и изменению освещения характерные особенности объектов на изображении.

В итоге для каждого обработанного рентгеновского снимка получены три различные карты анатомических ориентиров, соответствующие детектору Харриса, алгоритму Shi-Tomasi и SIFT. Данный набор использован на этапе сравнительного анализа.

На рис. 4, 5 и 6 представлены результаты работы детектора Харриса, алгоритма Shi-Tomasi и SIFT при различных методах предварительной обработки изображений.

 

Рис. 4. Результаты работы детектора Harris на изображении, полученном при помощи специализированного программного обеспечения (а); результаты работы детектора Harris при методе адаптивной эквализации гистограммы (б); результаты работы детектора Harris при методе стандартной эквализации гистограммы (в); результаты работы детектора Harris при методе гамма-коррекции (г)

 

Рис. 5. Результаты работы алгоритма Shi-Tomasi на изображении, полученном при помощи специализированного программного обеспечения (а); результаты работы алгоритма Shi-Tomasi при методе базового отображения в Python (б); результаты работы алгоритма Shi-Tomasi при методе базового отображения Python с применением медианного фильтра (в); результаты работы алгоритма Shi-Tomasi при методе адаптивной эквализации гистограммы (г); результаты работы алгоритма Shi-Tomasi при методе стандартной эквализации гистограммы (д); результаты работы алгоритма Shi-Tomasi при методе гамма-коррекции (е)

 

Рис. 6. Результаты работы алгоритма SIFT на изображении, полученном при помощи специализированного программного обеспечения (а); результаты работы алгоритма SIFT при методе адаптивной эквализации гистограммы (б); результаты работы алгоритма SIFT при методе стандартной эквализации гистограммы (в)

 

После получения всех карт анатомических ориентиров составлена таблица и проведен сравнительный анализ. В таблице представлены данные сравнительного анализа методов предварительной обработки и алгоритмов распознавания анатомических ориентиров. В ней представлены следующие данные:

• в колонке «Метод» указаны различные методы предварительной обработки изображений и алгоритмы распознавания анатомических ориентиров;
• в колонке «Принцип» описан принцип действия каждого метода;
• в колонке «Количество анатомических ориентиров (кластеров) и распределение по ним» указано, сколько анатомических ориентиров (кластеров) было правильно распознано каждым из методов и алгоритмом автоматического распознавания, а также как они распределились по различным позвонкам. Эта информация отражает полноту распознавания анатомических ориентиров, то есть долю реально присутствующих ориентиров, которые были корректно идентифицированы;
• в колонке «Точность» приводятся значения точности распознавания анатомических ориентиров для каждого метода;
• в колонке «Точность до обработки» приводятся значения точности распознавания анатомических ориентиров для каждого метода до предварительной обработки изображения.

 

Сравнительный анализ методов предварительной обработки и алгоритмов распознавания 

Метод	Принцип	Количество анатомических ориентиров (кластеров) и распределение по ним			Точность	Точность до обработки
		Harris	Shi-Tomasi	SIFT
Программа Dicom Image Viewer (эталон)	PNG-картинка полученная, специализированным программным обеспечением	78 кластеров 6: 8, 15, 13, 14, 15, 13	80 кластеров 6: 8, 15, 15, 13, 14, 16	40 кластеров 4: 9, 15, 11, 6	Harris – 87 %, Shi-Tomasi – 90 %, SIFT – 78 %	Harris – 65 %, Shi-Tomasi – 68 %, SIFT – 54 %
Базовое отображение Python (Pillow)	Отображение при помощи библиотеки Pillow в Python	Не нашел	80 Кластеров 6: 10, 10, 17, 15, 13, 15	Не нашел	Shi-Tomasi – 45 %	Shi-Tomasi – 25 %
Медианный фильтр	Отображение при помощи библиотеки Pillow в Python с применением фильтра Гаусса и медианного фильтра	Не нашел	80 Кластеров 6: 8, 15, 11, 17, 14, 15	Не нашел	Shi-Tomasi – 35 %	Shi-Tomasi – 22 %
Адаптивная эквализация	Разбитие снимка на небольшие области и контрастирование каждой из них с применением фильтра Гаусса и медианного фильтра	26 кластеров 6: 3, 1, 6, 4, 5, 7	80 кластеров 6: 4, 12, 17, 14, 12, 21	38 кластеров 6: 1, 4, 9, 10, 11, 3	Harris – 77 %, Shi-Tomasi – 82 %, SIFT – 74 %	Harris – 65 %, Shi-Tomasi – 71 %, SIFT – 62 %
Стандратная эквализация	Перераспределение значения пикселей для их равномерного распределения по диапазону. Данный метод выявляет более мелкие детали на изображении	50 кластеров 6: 6, 8, 10, 8, 5, 10	80 кластеров 6: 8, 16, 16, 14, 10, 16	37 кластеров 6: 4, 8, 8, 9, 5, 3	Harris – 91 %, Shi-Tomasi – 95 %, SIFT – 87 %	Harris – 74 %, Shi-Tomasi – 78 %, SIFT – 71 %
Гамма-корректировка	Отображение при помощи библиотеки Pillow в Python с применением фильтра гамма-коррекции	26 кластеров 6: 4, 2, 6, 4, 4, 6	80 Кластеров 6: 8, 15, 17, 12, 12, 16	Не нашел	Harris – 55 %, Shi-Tomasi – 65 %	Harris – 38 %, Shi-Tomasi – 47 %

 

Максимальное количество кластеров, которое может быть выделено, равно 6, так как на рентгеновских снимках выделялась часть спины, включающая 6 позвонков. Некоторые методы выделяют меньше кластеров, в то время как другие – больше; кроме того, часть методов не смогла распознать ключевые анатомические ориентиры вовсе. Это связано с особенностями алгоритмов и качеством предварительной обработки изображений.

На рис. 7 представлена гистограмма, на которой представлено количество ключевых анатомических ориентиров, распознанных при помощи трех алгоритмов на различных предварительно обработанных изображениях.

 

Рис. 7. Гистограмма сравнительного анализа методов предварительной обработки и алгоритмов распознавания ключевых анатомических ориентиров

 

Из данных таблицы видно, что наилучшим алгоритмом распознавания анатомических ориентиров является алгоритм Shi-Tomasi. Он распознал максимальное количество анатомических ориентиров вне зависимости от качества изображения, с которым работал, в то время как детектор Harris и алгоритм SIFT не смогли их распознать на изображениях, полученных при помощи базового отображения библиотекой Pillow, а также при применении медианного фильтра. Также алгоритм SIFT не смог найти ориентиры на изображении, полученном при гамма-коррекции.

Проанализировав все методы предварительной обработки и то, как алгоритмы смогли распознать ключевые анатомические ориентиры на них, можно сделать несколько выводов. Наилучшим методом оказалась стандартная эквализация изображений, при которой алгоритм Shi-Tomasi распознавал анатомические ориентиры с точностью около 95 %. Использование специализированного программного обеспечения также показало неплохие результаты, но немного уступало стандартной эквализации по точности распознавания – около 90 %. Остальные методы, такие как применение фильтров или гамма-коррекция, показали более низкую точность, в диапазоне от 35 до 75 %. В свою очередь, применение любого метода предварительной обработки повышало точность распознавания ключевых анатомических ориентиров на 15–25 %. В итоге наиболее предпочтительными методами оказались стандартная эквализация и специализированное программное обеспечение.

Построение системы поддержки принятия решений врача

На основе результатов комплексного сравнительного анализа существующих методов обработки и анализа медицинских изображений была построена система поддержки принятия врачебных диагностических решений для врачей-травматологов. Система основана на автоматизированной обработке и анализе рентгеновских снимков пациентов с целью выявления признаков травм и повреждений опорно-двигательного аппарата. Блок-схема, иллюстрирующая работу данной системы, представлена на рис. 8.

 

Рис. 8. Блок-схема работы системы поддержки принятия врачебных решений, основанной на обработке и анализе медицинских изображений

 

Работа системы происходит в следующей последовательности:

• ввод рентгеновских снимков. Пользователь (врач) загружает в систему необходимые рентгеновские снимки пациента;
• предварительная обработка изображений. Система выполняет предварительную обработку загруженных рентгеновских снимков, включающую в себя операции по улучшению качества, фильтрации шумов, сегментации и выделению интересующих областей;
• применение методов обработки снимков. На предварительно обработанных изображениях применяются наиболее эффективные методы обработки, выявленные в ходе сравнительного анализа;
• распознавание анатомических ориентиров. Используя полученные данные, система распознает и идентифицирует ключевые анатомические ориентиры на рентгеновских снимках;
• коррекция с использованием полученных данных. На основе распознанных анатомических ориентиров система проводит коррекцию и уточнение диагностических параметров;
• вынесение рекомендаций системой. Система формирует рекомендации для врача по дальнейшей диагностике и лечению пациента;
• визуализация результатов. Полученные результаты анализа, включая выявленные патологии и сформированные рекомендации, отображаются в понятном для врача виде с использованием различных визуальных средств;
• принятие решения врачом. Врач рассматривает представленную информацию, оценивает рекомендации системы и принимает окончательное решение по дальнейшей тактике ведения пациента.

На рис. 9 представлены результаты работы системы поддержки принятия врачебных решений.

 

Рис. 9. Результаты работы системы поддержки принятия врачебных решений

 

Система включает в себя следующие ключевые возможности:

• автоматическая предварительная обработка медицинских изображений. Система использует метод стандартной эквализации, который показал наилучшие результаты по точности распознавания анатомических ориентиров;
• кластеризация и распознавание анатомических ориентиров. Алгоритм Shi-Tomasi применяется для выделения ключевых элементов позвоночника на изображениях, сгруппированных в 5–6 кластеров. Точность распознавания достигает 95 %;
• интеллектуальная система поддержки диагностики. На основе выделенных анатомических ориентиров система может предложить врачу предварительные диагнозы, а также рекомендации по дальнейшему обследованию пациента.

Таким образом, данная система упрощает процессы диагностики заболеваний позвоночника, а также облегчает работу медицинского персонала.

Выводы

Разработанная система поддержки принятия врачебных решений, основанная на обработке рентгеновских снимков, представляет собой комплексное решение, учитывающее результаты сравнительного анализа существующих методов компьютерного зрения, а также методов предварительной обработки и анализа медицинских изображений. Применение передовых алгоритмов предварительной обработки изображений, распознавания анатомических ориентиров, анализа диагностических параметров, а также визуализации результатов позволяет существенно повысить эффективность и точность диагностики заболеваний позвоночника. Использование данной системы снижает нагрузку на врачей при работе с большими объемами медицинских изображений, предоставляя им достоверные рекомендации для принятия окончательных клинических решений.

Разработка и внедрение подобных интеллектуальных систем поддержки принятия врачебных решений открывает новые перспективы для совершенствования медицинской диагностики и повышения качества оказания медицинской помощи.

About the authors

Ilya I. Mishchenko

Inter-state educational institution of higher education “Belarusian-Russian university”

Author for correspondence.
Email: sombra74@yandex.by

Master's Student

Belarus, 43, Mira Ave, Mogilev, 212000

Anton E. Misnik

Inter-state educational institution of higher education “Belarusian-Russian university”

Email: anton@misnik.by

(Ph.D. (Techn.)), Associate Professor, Dept. of Software for Information Technologies, Head Lab. of Cyber-Physical Systems

Belarus, 43, Mira Ave, Mogilev, 212000

Anatoly V. Alexandrov

Inter-state educational institution of higher education “Belarusian-Russian university”

Email: an.vit.aleksandrov@yandex.by

(Ph.D. (Economic)), Associate Professor, Head Dept. of Marketing and Management

Belarus, 43, Mira Ave, Mogilev, 212000

References

Supplementary files