Post-processing of medical image segmentation results

Full Text

ВВЕДЕНИЕ

Алгоритмы глубокого обучения, базирующиеся на архитектуре нейронных сетей, находят широкое применение в решении задач медицинской направленности. Обнаружение патологических образований, их идентификация и определение точного местоположения на медицинских снимках является одной из наиболее критических задач в современной радиологии и компьютерной диагностике.

Зависимость между целевыми классами патологий в одном пространстве, предсказанная моделью, может расходиться с тем, как исходный объект существует в реальных клинических случаях. При использовании методов глубокого обучения для многоклассовой сегментации трехмерных медицинских данных, таких как КТ и МРТ, результатом является многомерный тензор размерностью N × H × W × D, где N – количество классов, а H, W, D – размерность изображения. Каждый воксель (трехмерный пиксель) характеризуется вектором вероятностей размерности N, сумма компонент которого равна единице. Финальная классификация каждого вокселя определяется путем выбора класса с максимальной вероятностью. При использовании такого подхода из-за несовершенства модели или шума в данных, пространственно-связанные воксели, относящиеся к одному и тому же объекту (например, определенной патологии), могут быть классифицированы в разные классы. Это приводит к появлению нескольких разрозненных областей, которые на самом деле представляют собой единый объект, что ухудшает качество сегментации и затрудняет дальнейший анализ. Проблема проявляется в виде ложноположительных фрагментов (неправильно классифицированных областей, принадлежащих к другому классу) и неполной сегментации (пропусков частей истинного объекта). В результате, вместо единой, связной области, представляющей конкретный объект, получается несколько более мелких областей, что искажает представление о размере, форме и расположении объекта и существенно снижает интерпретируемость получаемых сегментаций. Данная проблема требует особого внимания при разработке систем поддержки принятия врачебных решений.

Одним из решений является использование методов постобработки результатов анализа медицинских изображений, учитывающих пространственную связность и анатомические особенности исследуемых структур. Они осуществляются после первичного предсказания классов модели. Постобработкой является этап обработки данных, включающий в себя улучшение качества результатов, полученных от нейронной сети. Его основная цель – повышение точности и надежности диагностики с сохранением вычислительной эффективности. На данном этапе происходит выбор одного или нескольких наиболее вероятных классов объектов, которые должны наилучшим образом локализовывать аномальные участки, чтобы каждый объект имел только одну наиболее вероятную метку, размеченную моделью. Этап постобработки в конвейере систем компьютерного зрения для медицинской диагностики позволяет улучшить визуальное качество результатов, устранить нежелательные артефакты и подстроить их в соответствии с требованиями конкретной клинической задачи.

В данной работе рассматриваются основные методы постобработки, применяемые в задачах компьютерного зрения для медицинских изображений с использованием нейронных сетей. Проанализированы существующие подходы, их преимущества и недостатки, а также предлагаются алгоритмы реализации постобработки в задачах медицинской сегментации новообразований на основе карт вероятностей. В заключении обсуждаются полученные результаты и перспективы дальнейших исследований в этой области.

1. АНАЛИЗ МЕТОДОВ ПОСТОБРАБОТКИ В ЗАДАЧАХ СЕГМЕНТАЦИИ

1.1. Методы постобработки

Подходы, которые применялись на практике для целей постобработки карт вероятностей в медицинской сегментации и визуализации, можно разделить на несколько групп.

1. Пороговые методы. Это наиболее простой и интерпретируемый подход, при котором воксели, имеющие вероятность определенной патологии выше заданного порога, относятся к классу патологического образования, а остальные – к нормальной ткани (фону). Пороговые методы также можно разделить на простые и адаптивные. Первые используют единое пороговое значение для всех классов, а вторые применяют для разных областей изображения различные пороги. Пороговое значение может определяться на основе анализа гистограммы вероятностей, например, по методу Оцу. В медицинской диагностике пороговые методы могут быть адаптированы для различных типов новообразований, учитывая их специфические характеристики на снимках.
2. Морфологические методы. Среди них можно выделить как единую группу методов эрозию (сужение областей объекта) и дилатацию (расширение областей объекта), а также их комбинирование для сглаживания контуров, заполнения небольших разрывов и удаление мелких объектов или дыр. В отдельную группу морфологических методов относится выделение компонент связности, с помощью которых обозначаются наиболее крупные связные объекты, удаляются пересечения и мелкие несвязанные области. В контексте медицинской визуализации эти методы особенно полезны для уточнения границ патологий и устранения артефактов сегментации. Эрозия и дилатация могут применяться для сглаживания контуров сегментированных объектов, что критично для точного определения их объема и планирования лечения. Выделение компонент связности помогает идентифицировать отдельные очаги поражения в случае мультифокальных патологий.
3. Графовые методы на основе связных компонент. Данное алгоритмическое применение теории графов заключается в уникальной маркировке подмножеств связных компонент на основе определенной эвристики. Применение данного метода описано в работах Винсента и Сойля [1], Хошена–Копельмана, а также метод связных компонент используется в составе более сложных алгоритмов. В медицинской диагностике эти методы могут быть использованы для анализа структуры и распространенности опухолевого процесса
4. Вероятностные методы. Основываются на вероятностных моделях и статистических подходах. Одним из таких методов является байесовская постобработка, которая применяет теорему Байеса для обновления вероятностей классов объектов на основе наблюдаемых данных. В контексте обработки изображений этот подход может включать использование апостериорных вероятностей для улучшения сегментации или классификации как, например, в работе [2]. К данной группе методов можно отнести марковские случайные поля (MRF). Они представляют собой графовые модели, где узлы соответствуют вокселям изображения, а ребра определяют зависимости между ними. MRF моделируют как локальные (между соседними пикселями), так и глобальные зависимости (между различными регионами изображения). Марковские случайные поля применяются в задачах постобработки, например, в области МРТ головного мозга, так и в иных задачах, где присутствует высокий шум в выходных данных [3]. Обобщением MRF является метод условных случайных полей (CRF). CRF фокусируется на условном распределении целевой переменной и не требует моделировать вероятностные зависимости между наблюдаемыми переменными. Байесовская постобработка в контексте медицинской диагностики может учитывать априорные знания о вероятности различных типов патологий в зависимости от локализации и характеристик пациента. Марковские случайные поля (MRF) и условные случайные поля (CRF) особенно эффективны при анализе сложных структур, таких как опухоли, где важно учитывать пространственные взаимосвязи между различными типами тканей. Однако эти методы характеризуются высокой вычислительной сложностью.
5. Контекстные методы. Это методы, которые учитывают особенности входных данных и пространственные взаимосвязи между элементами. К этим методам относятся семантические правила, которые основываются на знаниях о том, как должны выглядеть объекты в определенных местах или условиях. Это способствует корректировке результатов обработки в соответствии с ожидаемым значением. Эти методы могут учитывать анатомические особенности органов и типичные паттерны роста опухолей. Например, при анализе новообразований могут применяться правила, учитывающие характерное кровоснабжение различных типов опухолей и их типичную локализацию в сегментах органа.
6. Некоторые подходы используют специальные нейронные сети, обученные для выполнения дополнительной обработки выходных данных. Они могут учитывать контекстные и частотные характеристики, которые не были учтены в исходной модели сегментации.

1.2. Обзор связанных работ

В обзорной работе [4] рассматривается использование глубокого обучения в обнаружении рака простаты у мужчин. В статье разобраны основные подходы, модели, наборы данных и опыт исследований этой проблематики. Выделены такие аспекты как предобработка и постобработка. Для второго, по мнению авторов, характерно решение проблемы семантической сегментации с помощью морфологических операций и голосование большинства для определения окончательного класса объекта. Авторы работы занимались разработкой нового метода классификации стадий онкологического процесса по КТ-снимкам. После сегментации глубокой сверточной сетью изображения были разделены на суперпиксели, из них извлекались цветовые, форменные и текстурные признаки. В свою очередь они использовались для обучения модели случайного леса, что в конечном счете позволило увеличить точность классификации. Морфологические операции, в частности удаление мелких артефактов, сглаживание границ объектов также были рассмотрены, чтобы улучшить анализ медицинских изображений. Авторы статьи [3] рассмотрели различные стратегии постобработки в задачах обнаружения и сегментации рака простаты, молочной железы, легких, толстой кишки, мозга. Результаты можно оформить в свод, который приведен в табл. 1.

 

Таблица 1. Методы постобработки для задач медицинской сегментации [Post-processing methods for medical segmentation tasks]

Орган [Organ]	Методы постобработки [Post-processing methods]	Источники [Sources]
Простата [Prostate]	Голосование большинства, кумулятивная гистограмма патчей, пороговое значение для участков патологии, агрегирование решений с использованием модели логистической регрессии, классификатор ближайшего соседа для маркировки [Majority voting, cumulative patch histogram, pathology area threshold, decision aggregation using logistic regression model, nearest neighbor classifier for labeling]	[4–5]
Молочная железа [Breast]	Пороговое значение, анализ связных компонент, извлечение признаков из тепловой карты CNN для выполнения классификации, голосование большинства, ансамблевая модель, оценка по максимуму вероятности, агрегация патчей с использованием информации о соседях [Thresholding, connected component analysis, feature extraction from CNN heatmap to perform classification, majority voting, ensemble model, maximum likelihood estimation, patch aggregation using neighbor information]	[6–7]
Легкие [Lungs]	Условные случайные поля, пороговое значение [Conditional random fields, threshold value]	[8–9]
Толстая кишка [Colon]	Агрегация патчей с использованием информации о соседях, голосование большинства [Patch aggregation using neighbor information, majority voting]	[10]
Мозг [Brain]	SVM классификатор и модель логистической регрессии для уточнения классов после сегментации нейронной сетью [SVM classifier and logistic regression model for class refinement after neural network segmentation]	[11]

 

Также стоит отметить работу [12] в которой авторы стремились улучшить точность и эффективность сегментации ядер на гистопатологических изображениях, разработав усовершенствованную архитектуру нейронной сети на основе U-net, способную справляться с разнообразием форм и размеров ядер. В исследовании были использованы морфологические методы постобработки для сглаживания границ сегментированных ядер и устранения артефактов, улучшающие качество выделенных областей.

В обзорной работе [13] авторы провели всесторонний анализ современных методов глубокого обучения для выявления злокачественных поражений печени. Было выделено, что наиболее часто используемыми методами постобработки являются анализ связных компонент и морфологические операторы, за которыми следует метод условных случайных полей (CRF). А в статье [14] проведен анализ результатов соревнования Liver Tumor Segmentation Benchmark (LiTS) по автоматической сегментации патологий печени. По результатам соревнований были выделены следующие методы постобработки, используемые участниками: выделение связных компонент, удаление объектов с вероятностью ниже порога, морфологические методы, заполнение дыр в сегментациях, а также использование CRF.

2. РЕЗУЛЬТАТЫ И ИХ ОБСУЖДЕНИЕ

Анализ трехмерных изображений является сложной задачей компьютерного зрения, особенно при необходимости точной сегментации и классификации объектов. В данной работе рассматривается обработка трехмерных данных с помощью глубокого обучения.

В качестве входных данных использовались КТ-снимки брюшной полости с экспертной разметкой патологических изменений. Для их обработки и автоматической сегментации патологий внутренних органов применялась архитектура 3D U-Net, способная эффективно извлекать пространственные признаки из объемных данных, реализованная в библиотеке nnU-Net. Модель выполняла многоклассовую сегментацию, формируя на выходе тензоры, соответствующие размерности входных данных для каждого целевого класса. Полученные результаты сегментации подробно описаны в работе [16]. Библиотека nnU-Net содержит встроенный метод постобработки на основе CRF. Однако при анализе результатов разработанной модели были выявлены следующие проблемы (рис. 1):

• наличие шумовых артефактов малого размера, ошибочно классифицированных как целевые объекты;
• некорректное пересечение сегментов разных классов патологий;
• ошибочное включение сегментов одного класса внутрь другого;
• появление ложных сегментаций вне целевой области интереса.

 

Рис. 1. Проблемные сегменты патологий печени после сегментации с использованием нейронной сети:

a – пересечение двух патологий; b – одна патология внутри другой и есть мелкий артефакт; c – сегмент патологии находится вне печени, маска которой выделена фиолетовым цветом

Fig. 1. Problematic segments of liver pathologies after segmentation using a neural network:

a – intersections of two pathologies; b – one pathology inside another; c – the pathology segment is outside the liver

 

Для устранения данных артефактов был разработан дополнительный модуль постобработки, включающий несколько алгоритмов анализа карт вероятностей, полученных на выходе нейронной сети.

Для описания предлагаемых алгоритмов ведем следующие обозначения.

1. D – карта вероятности патологий, где D(n, x, y, z) – вероятность того, что воксель с координатами (x, y, z) принадлежит к патологии с номером $n=\overline{\mathrm{1,}N}$, либо к фону при n = 0. При этом

$\begin{array}{l}\sum _{n=0}^{N}D\left(n,x,y,z\right)=\mathrm{1,}\\ \forall x=\overline{\mathrm{0,}X},\forall y=\overline{\mathrm{0,}Y},\forall z=\overline{\mathrm{0,}Z}.\end{array}$

2. Пороговые значения T₀ – для сегментации фона; T₁ – для фильтрации областей; V_min – минимальный объем связной области.
3. R – маска целевого органа, элементы которой R(x, y, z) принимают значения 1, если воксель (x, y, z) находится внутри органа и 0, если вне органа.
4. M – маска фона, элементы которой рассчитываются по формуле

$M\left(x,y,z\right)=\left\{\begin{array}{l}\mathrm{1,}\mathrm{если}1–D(\mathrm{0,}x,y,z)>T_0;\\ \mathrm{0,}\mathrm{иначе}.\end{array}\right.$ (1)

Если вероятность фона в вокселе (x, y, z) ниже, чем 1 – T₀, мы считаем, что этот воксель относится к какой-либо патологии, иначе к фону.

5. L – матрица меток связных компонент (отдельных фрагментов патологий), элементы которой рассчитываются по формуле

$L\left(x,y,z\right)=\left\{\begin{array}{l}j,\mathrm{если}\mathrm{воксель}(x,y,z)\mathrm{принадлежит}j-\mathrm{связной}\mathrm{области},j=\overline{\mathrm{1,}L};\\ \mathrm{0,}\mathrm{если}\mathrm{воксель}(x,y,z)\mathrm{принадлежит}\mathrm{фону}.\end{array}\right.$ (2)

6. S – матрица с разметкой патологий, в которой для каждого вокселя указана наиболее вероятная патология, к которой он относится (или 0, если это фон).

$\begin{array}{l}S\left(x,y,z\right)={\mathrm{argmax}}_m\left[D\left(m,x,y,z\right)\right],\\ \forall x=\overline{\mathrm{0,}X},\forall y=\overline{\mathrm{0,}Y},\forall z=\overline{\mathrm{0,}Z},\forall m=\overline{\mathrm{1,}N}.\end{array}$ (3)

Рассмотрим далее совокупность алгоритмов, предлагаемых для улучшения качества семантической сегментации трехмерных медицинских изображений.

Алгоритм 0. Базовая обработка

Шаг 1. Предобработка фона.

Метод заключается в создании бинарной маски M по формуле (1).

Шаг 2. Поиск связных областей в маске фона М.

Метод реализован с помощью метода связных компонент label библиотеки scipy [15]. Результатом является матрица L.

Шаг 3. Удаление шума (мелких фрагментов).

На этом шаге проводится фильтрация матрицы L по маске органа и R минимальному объему связной области V_min. (обнуляются, то есть становятся фоном, все патологии вне интересующего органа и меньше заданного объема).

Алгоритм 1. Устранение вложенных и пересекающихся патологий по принципу максимального объема

Шаг 1. Присвоение меток патологий связанным областям. Разметим каждую связную область в L метками, соответствующими номеру патологии, которая обладает наибольшей вероятностью, в итоге получим матрицу S(3).

Шаг 2. Голосование по большинству внутри области. Для каждой связной области из S найдем наиболее часто встречаемую в ней метку k и присвоим ее всем точкам связной области.

Алгоритм 1, присваивающий пересекающимся и вложенным патологиям метку той патологии, которая больше по размеру, выглядит наиболее логичным. Однако в процессе тестирования было выявлено, что в выборке присутствуют ситуации, когда вложенная патология меньше по объему, но имеет высокие вероятности. Тогда как внешняя опухоль больше, но с меньшими значениями вероятностей в вокселях. Поэтому дополнительно был разработан алгоритм 2.

Алгоритм 2. Устранение вложенных и пересекающихся патологий по принципу максимума суммарной вероятности

Шаг 1. Суммирование вероятностей всех вокселей для каждой патологии в каждой связной области. Для каждой найденной связной компоненты из L рассчитаем суммарную вероятность каждой патологии для всех вокселей, входящих в нее.

Шаг 2. Выбор патологии с наибольшей вероятностью. В каждой связной области присвоим каждому вокселю метку патологии с наибольшей суммарной вероятностью в этой области.

Как вариант для сравнения, был реализован еще один алгоритм, который находит не суммарную (кумулятивную) вероятность каждой патологии, а среднюю вероятность каждой патологии в каждой связной области.

Алгоритм 3. Устранение вложенных и пересекающихся патологий по принципу средней вероятности

Шаг 1. Расчет средних вероятностей патологий в связных областях. В каждой связной компоненте найдем среднюю вероятность каждой патологии, беря в расчет только те воксели, вероятности данной патологии в которых превышают порог T₁.

Шаг 2. Выбор патологии с наибольшей средней вероятностью. Всем вокселям в каждой связной области присвоим метку той патологии, чья рассчитанная средняя вероятность в этой области наибольшая.

При анализе карты вероятностей алгоритмом 3 необходимо установить порог для вероятности патологии T₁, при превышении трехмерная точка будет рассматриваться как возможный элемент этой патологии. Для этого была исследована зависимость качества предсказания от порога вероятности. Метрикой качества выступала доля устраненных артефактов классификации базового алгоритма из работы [16]. Результат представлен на рис. 2. В результате в качестве базового был установлен порог T₁, равный 0,1.

 

Рис. 2. Результат подбора порога вероятности для классификации точки как патологической

Fig. 2. Result of fitting the probability threshold for classifying a point as pathological

 

Для удаления объектов слишком малых размеров (шумов) был добавлен фильтр оценивающий сегмент по количеству вокселей, превышающих выбранный порог вероятности T₁. В целях удаления сегментов, находящихся вне целевого органа, на сегментированные области была наложена маска органа R.

Процесс постобработки поспособствовал решению проблем, обозначенных, в частности, на рис. 1, и тем самым улучшил качество сегментации медицинских изображений. Все три алгоритма успешно справились с задачей удаления пересекающихся и вложенных патологий. Результат представлен на рис. 3.

 

Рис. 3. Результат сегментации КТ печени после применения постобработки к полученным из нейронной сети картам вероятностей:

a – объединение пересекающихся патологий с помощью алгоритмов 1–3; b – удаление вложенной патологии; c – все сегменты находятся внутри маски печени

Fig. 3. Result of liver CT segmentation after applying post-processing to the probability maps obtained from the neural network:

a – removal of intersecting hemangioma carcinoma using algorithms 1–3; b – removal of nested pathology; c – all segments are in the liver mask

 

В рамках исследования была проведена валидация разработанных алгоритмов постобработки на наборе данных, состоящем из 643 трехмерных томографических изображений печени [16], из которых 401 было отнесено к обучающему набору и 242 – к тестовому. В качестве исходных данных использовались вероятностные карты, сгенерированные предварительно обученной сверточной нейронной сетью архитектуры 3D U-Net, реализованной с использованием фреймворка nnU-Net [17]. Эксперименты, описанные в [16] показывают, что использование фреймворка nnU-Net позволяет достичь достаточно высокой точности сегментации и классификации объемных образований печени. Основной задачей нейросетевого анализа являлась сегментация и последующая классификация четырех типов патологических образований. В качестве метрик оценки качества классификации были использованы:

• доля правильных ответов (accuracy) показывает долю корректно классифицируемых патологий, но в условиях несбалансированности классов ее следует оценивать в сочетании с другими метриками;
• специфичность (specificity) показывает долю правильно предсказанных истинно отрицательных случаев (отсутствие патологий), что важно для минимизации количества ложноположительных результатов;
• точность (precision) показывает, какая доля случаев, классифицированных как патология, действительно является патологией;
• полнота (sensitivity) характеризует способность модели обнаруживать все случаи патологии из имеющихся в выборке, что важно в медицинской диагностике для предотвращения пропуска заболеваний у пациентов.

Результаты применения алгоритмов 1, 2 и 3 для обнаружения и классификации четырех типов образований печени представлены в табл. 2. По данным табл. 2 следует, что по сравнению с базовой классификацией, все три алгоритма по всем метрикам, кроме Sensitivity превзошли ее. Алгоритм 1 демонстрирует наивысшую accuracy (0.891), превосходя базовую модель и другие алгоритмы. Все алгоритмы улучшают Accuracy по сравнению с исходной моделью, что подтверждает эффективность постобработки. Стоит отметить высокий уровень специфичности у второго алгоритма – 0.903 что на 3,9% выше варианта без дополнительной постобработки. Все алгоритмы улучшают precision, а наивысшие результаты по этой метрики имеет алгоритм 2. Это свидетельствует о снижении доли ложноположительных диагнозов среди всех предсказанных положительных случаев. Сам по себе предложенный механизм постобработки не предусматривает увеличение чувствительности (Sensitivity). Однако алгоритм 1 ее не снижает, при одновременном повышении других метрик.

 

Таблица 2. Cравнение разработанных алгоритмов [Comparison of developed algorithms]

Метрика [Metrics]	Без постобработки [Without post-processing]	Алгоритм 1 [Algorithm 1]	Алгоритм 2 [Algorithm 2]	Алгоритм 3 [Algorithm 3]
Accuracy	0,88	0,891	0,888	0,887
Specificity	0,869	0,892	0,903	0,898
Sensitivity	0,90	0,90	0,89	0,89
Рrecision	0.73	0.75	0.76	0.75

 

Таким образом все три разработанных алгоритма продемонстрировали целесообразность своего применения в задачах сегментации трехмерных медицинских данных.

ЗАКЛЮЧЕНИЕ

В исследовании проведен комплексный анализ методов постобработки, применяемых в задачах медицинской сегментации изображений. Изученные подходы включают морфологические операции, условные случайные поля, глубокие нейронные сети для уточнения границ, а также комбинированные методики, интегрирующие различные подходы для повышения качества диагностики. Несмотря на широкое применение постобработки в компьютерном зрении для улучшения сегментации медицинских изображений, универсальных, точных и легко интегрируемых решений пока не существует.

В рамках исследования был разработан и описан специализированный модуль постобработки результатов сегментации КТ-снимков брюшной полости. Реализованы три алгоритма, эффективно решающие проблему пересекающихся и вложенных классов образований. Дополнительно устранены сложности, связанные с идентификацией базовым алгоритмом сегментации патологий за пределами органа. Созданные алгоритмы постобработки показывают значительный потенциал для интеграции в современные нейросетевые фреймворки (nnU-Net), что способствует повышению эффективности систем поддержки принятия врачебных решений.

Анализ результатов применения разработанных методов постобработки для четырех типов патологий на КТ-снимках печени продемонстрировал прирост показателей специфичности (Specificity) и точности (Рrecision) на 3,9 и 4,1% по сравнению с исходными результатами. Также отмечена положительная динамика по метрике доля правильных ответов (accuracy).

Продолжение исследований в данном направлении может способствовать созданию более совершенных, надежных и клинически применимых методов анализа медицинских изображений.

About the authors

Sergey V. Ermolenko

Voronezh State University

Author for correspondence.
Email: ermolenko@math.vsu.ru
ORCID iD: 0009-0008-5159-0123
SPIN-code: 5931-1617

postgraduate student

Russian Federation, Voronezh

Irina L. Kashirina

Voronezh State University; MIREA – Russian Technological University

Email: kash.irina@mail.ru
ORCID iD: 0000-0002-8664-9817
SPIN-code: 1299-4820

Professor, Department of Mathematical Methods of Operations Research; Dr. Sci. (Eng.); Professor, Department of Artificial Intelligence Technologies

Russian Federation, Voronezh; Moscow

Yulia V. Starichkova

MIREA – Russian Technological University

Email: starichkova@mirea.ru
SPIN-code: 3001-6791

Cand. Sci. (Eng.); Head, Department of Artificial Intelligence Technologies

Russian Federation, Moscow

References

Supplementary files