Application of digital processing methods for automated cardiac segmentation from computed tomography data

Cover Page


Cite item

Full Text

Abstract

Computed tomography is now widely used in cardiac surgery as a method of non-destructive study of internal structure of objects, including specific tasks, such as mathematical modeling of physiological processes, surgical interventions in augmented reality, 3D printing, and radiomics. One of the key steps in creating a 3D model from computed tomography data is segmentation – the process of selecting objects in the image. Currently, there are several approaches to automating the segmentation process, including image processing methods, texture analysis and machine learning algorithms (in particular, clustering). Image processing methods are the simplest of the presented approaches and are found in various applications for segmentation of tomographic data. This paper reviews the advantages and disadvantages of various image processing methods (threshold, region growing, contour detection, and morphological watersheds) as tools for automated cardiac segmentation from computed tomography data. It was revealed that computed tomography images have characteristic features affecting the segmentation process (presence of noise, partial volume effect, etc.). The choice of the segmentation method is based on the brightness characteristics of the area of interest and also requires knowledge of the subject area, so it should be performed by a specialist with competence in anatomy and digital image processing. As independent methods of automated segmentation, the listed methods are applicable only in relatively simple cases (selection of homogeneous or high-contrast areas), otherwise, a combination of these methods, the use of machine learning algorithms or manual correction of the results is required.

Full Text

АКТУАЛЬНОСТЬ

Компьютерная томография (КТ) как метод неразрушающего исследования внутренней структуры объектов в настоящее время широко применяется в медицинской визуализации, в частности для диагностики заболеваний сердца [1]. Современные КТ-аппараты способны за считанные секунды составлять картину распределения рентгеновской плотности внутренних органов с субмиллиметровым пространственным разрешением [2]. Это позволяет с высокой степенью детализации воспроизводить трехмерную макроструктуру нормальных и патологически измененных органов для целого ряда прикладных задач в кардиохирургии, включающих математическое моделирование физиологических процессов, проведение хирургических вмешательств в дополненной реальности, трехмерную печать, анализ радиомических показателей [3–6]. Детальное выделение анатомических особенностей сердца и общего ствола, возможное при создании виртуальных 3D-моделей, также необходимо при планировании хирургической коррекции некоторых врожденных пороков сердца [7].

Одним из ключевых этапов в создании трехмерной модели по данным КТ является сегментация — процесс выделения объектов на изображении [8]. Она может быть ручной (область интереса выделяется поэлементно оператором), автоматизированной (оператор использует алгоритмы сегментации и корректирует их результаты) и автоматической (сегментация происходит без участия оператора). Последний способ наиболее привлекателен для использования в клинике, но некоторые особенности медицинских КТ-изображений (неоднозначное распределение рентгеновской плотности, эффект частичного объема, нерезкие контурные перепады и т. п.) делают задачу автоматической сегментации нетривиальной, требующей применения технологий искусственного интеллекта. Карты сегментации, полученные ручным способом, наиболее полно соответствуют области интереса и могут быть использованы в качестве эталона сравнения результатов сегментации [9]. Тем не менее высокая трудоемкость ручной сегментации не позволяет широко использовать данный способ на практике.

Автоматизированная сегментация позволяет в сравнении с ручной снизить трудозатраты, а в сравнении с автоматической, как правило, использует менее сложные вычислительные алгоритмы. В настоящее время существует несколько подходов к автоматизированной сегментации, включающих применение методов обработки изображений, текстурного анализа и алгоритмов машинного обучения (в частности, кластеризации). Методы обработки изображений являются наиболее простым из представленных подходов и встречаются в различных приложениях для сегментации томографических данных [10, 11].

Цель настоящей работы — обзор преимуществ и недостатков методов обработки изображений как инструментов автоматизированной сегментации сердца по данным компьютерной томографии.

МАТЕРИАЛЫ И МЕТОДЫ

В качестве тестового набора данных были использованы 224 КТ сердца с внутривенным контрастированием, полученные в спиральном режиме на аппарате GE Revolution CT (General Electric, США) с шагом 1 мм и размером матрицы получаемых изображений 512 × 512 пикселей. Обработка изображений проводилась с использованием языка Python 3.8 и библиотек numpy, python-opencv, matplotlib.

РЕЗУЛЬТАТЫ И ИХ ОБСУЖДЕНИЕ

Методы цифровой обработки, применяемые для сегментации изображений, можно разделить на два типа: контурные (основанные на определении контурных перепадов между различными областями) и яркостные (основанные на объединении в замкнутую область элементов изображения, обладающих сходством в соответствии с набором наперед заданных критериев) [12]. К первому типу можно отнести пороговую бинаризацию, обнаружение контуров и сегментацию по морфологическим водоразделам, ко второму — выращивание областей.

Наиболее простым и широко применяемым для сегментации методом обработки изображений является пороговая бинаризация [13]. Она заключается в выделении пикселей, яркость которых принадлежит определенному диапазону значений. Для выбора порогов сегментации можно использовать визуальный анализ получаемой карты сегментации или гистограммы изображения, а также алгоритмы поиска оптимальных порогов, например метод Оцу [14]. Как можно заметить по результатам сегментации миокарда, представленным на рис. 1, данный метод чувствителен к шуму (колебания яркости в жировой ткани и полостях сердца). Также он не учитывает эффект частичного объема, который выражается в искажении плотностных характеристик структур, занимающих элемент изображения не полностью (например, створка митрального клапана и перепончатая часть межжелудочковой перегородки (МЖП) на представленном изображении).

 

Рис. 1. Сегментация методом пороговой бинаризации: а — гистограмма КТ-изображения; b — диапазон значений, включенный в маску сегментации; c — результат сегментации

 

Следующим методом, используемым для сегментации изображений, является обнаружение контуров. Из-за упомянутых выше шумов и эффекта частичного объема контурные перепады на томограммах чаще всего не являются резкими, а их поиск включает последовательное преобразование изображения с применением сглаживающих и дифференциальных фильтров. Это позволяет более полно отграничить области интереса ценой увеличения вычислительной сложности. На рис. 2 представлен результат выделения контуров на исходном изображении с использованием алгоритма Кенни [15]. В отличие от метода пороговой бинаризации, зоны митрального клапана и МЖП включены в результат сегментации, но сохраняются ложные контуры в полостях сердца. Также к недостаткам данного метода можно отнести несвязанность полученных контуров, что требует дальнейшей постобработки.

 

Рис. 2. Результат выделения контуров на исходном изображении при помощи алгоритма Кенни (для наглядности инвертированы цвета)

 

Метод выращивания областей напротив, заключается в поиске среди окружающих заданную область таких пикселей, яркость которых приближена к средней по данной области [16]. Благодаря этому происходит более наглядное, чем при детекции контуров, выделение связной области интереса с меньшей, чем у пороговой обработки, чувствительностью к шуму. Тем не менее, как видно на рис. 3, b, данный метод не учитывает эффект частичного объема — «тонкие» структуры оказались включенными в карту сегментации полостей сердца. Следует также отметить, что данный метод применим для сравнительно крупных сегментов, в которых можно задать начальную область.

 

Рис. 3. Сегментация полостей сердца методом наращивания областей: а — задание базовых областей; b — избирательное присоединение к базовым областям окружающих пикселей; c — результат сегментации

 

Для сегментации структур, имеющих относительно неравномерное распределение рентгеновской плотности (как, например, участок миокарда на представленной томограмме), может быть применен метод морфологических водоразделов [17]. Он заключается в определении локальных минимумов яркости на изображении с последующим построением границ между ними в местах, где начинает соединяться между собой вода, условно заполняющая яркостный рельеф из этих минимумов (рис. 4, а, b). Преимуществом данного метода в сравнении с методом обнаружения контуров является получение замкнутых областей. К недостаткам можно отнести высокую вычислительную сложность, а также чувствительность к локальным максимумам, что, в свою очередь, может привести к избыточной сегментации (рис. 4, c).

 

Рис. 4. Сегментация методом морфологических водоразделов: а — яркостный рельеф исходного изображения (изображение нормализовано в диапазон 256 градаций серого, значения яркости более 127 заменены на 0); b — заполнение рельефа «водой» до значения яркости 80; c — результат сегментации

 

Каждый из четырех рассмотренных методов цифровой обработки имеет свои слабые стороны и не может быть предложен в качестве универсального инструмента для автоматизированной сегментации сердца по данным КТ. Тем не менее некоторые дополнительные методы обработки (например, морфологические операции или операции улучшения изображений) могут улучшить результат сегментации, поэтому специалисту, проводящему выделение анатомических структур на томограммах, необходимо понимать специфику используемых методов и уметь сочетать их для успешного выполнения поставленной клинической задачи.

ЗАКЛЮЧЕНИЕ

Изображения, получаемые при компьютерной томографии, обладают характерными особенностями, влияющими на процесс сегментации (наличие шумов, эффект частичного объема и т. д.). Выбор способа сегментации основывается на яркостных характеристиках области интереса, а также требует знаний предметной области, поэтому должен осуществляться специалистом, обладающим компетенциями в области анатомии и цифровой обработки изображений. В качестве самостоятельных способов автоматизированной сегментации перечисленные методы применимы только в относительно простых случаях (выделение однородных или высококонтрастных областей), в противном случае требуются комбинация методов обработки, применение алгоритмов машинного обучения или ручной коррекции результатов.

ДОПОЛНИТЕЛЬНАЯ ИНФОРМАЦИЯ

Источник финансирования. Финансирование данной работы не проводилось.

Конфликт интересов. Авторы декларируют отсутствие явных и потенциальных конфликтов интересов, связанных с публикацией настоящей статьи.

Этическая экспертиза. Проведение исследования одобрено локальным этическим комитетом ФГБВОУ ВО «Военно-медицинская академия имени С.М. Кирова».

Вклад авторов. Все авторы внесли существенный вклад в проведение исследования и подготовку статьи, прочли и одобрили финальную версию перед публикацией.

×

About the authors

Aleksandr V. Shirshin

Military Medical Academy; ITMO University

Author for correspondence.
Email: asmdot@gmail.com
ORCID iD: 0000-0002-1494-9626
SPIN-code: 4412-0498

M.D., Radiologist at Radiology Department, Postgraduate at Faculty of Control Systems and Robotics

Russian Federation, 6G, Akademika Lebedeva str., Saint Petersburg, 194044; Saint Petersburg

Igor’ V. Boikov

Military Medical Academy

Email: qwertycooolt@mail.ru

M.D., D.Sc. (Medicine), Deputy Head of the Radiology Roentgenology and Radiology Department

Russian Federation, Saint Petersburg

Vladimir N. Malakhovskiy

Military Medical Academy

Email: malakhovskyvova@gmail.com
ORCID iD: 0000-0002-0663-9345
SPIN-code: 2014-6335

M.D., D.Sc. (Medicine), Professor, Assistant at the Roentgenology and Radiology Department

Russian Federation, Saint Petersburg

Tamara E. Rameshvili

Military Medical Academy

Email: t.rameshvili@mail.ru

M.D., D.Sc. (Medicine), Professor, Associate Professor of the Roentgenology and Radiology Department

Russian Federation, Saint Petersburg

Sergey V. Kushnarev

Military Medical Academy

Email: S.v.kushnarev@yandex.ru
ORCID iD: 0000-0003-2841-2990
SPIN-code: 5859-0480

M.D., Ph.D. (Medicine), Lecturer at the Roentgenology and Radiology Department

Russian Federation, Saint Petersburg

References

  1. Shumakov IV, Sukhova MV. MSCT Coronary Angiography in Diagnosis of Chronic Coronary Occlusions. Sovremennye tehnologii v medicine. 2018;10(2):118–124. doi: 10.17691/stm2018.10.2.13
  2. Latina J, Shabani M, Kapoor K, et al. Ultra-High-Resolution Coronary CT Angiography for Assessment of Patients with Severe Coronary Artery Calcification: Initial Experience. Radiol Cardiothorac Imaging. 2021;3(4): e210053. doi: 10.1148/ryct.2021210053
  3. Niederer SA, Lumens J, Trayanova NA. Computational models in cardiology. Nat Rev Cardiol. 2019;16(2):100–111. doi: 10.1038/s41569-018-0104-y
  4. Arjomandi Rad A, Vardanyan R, Thavarajasingam SG, et al. Extended, virtual and augmented reality in thoracic surgery: a systematic review. Interact Cardiovasc Thorac Surg. 2022;34(2):201–211. doi: 10.1093/icvts/ivab241
  5. Vukicevic M, Mosadegh B, Min JK, Little SH. Cardiac 3D Printing and its Future Directions. JACC Cardiovasc Imaging. 2017;10(2): 171–184. doi: 10.1016/j.jcmg.2016.12.001
  6. Oikonomou EK, Williams MC, Kotanidis CP, et al. A novel machine learning-derived radiotranscriptomic signature of perivascular fat improves cardiac risk prediction using coronary CT angiography. Eur Heart J. 2019;40(43):3529–3543. doi: 10.1093/eurheartj/ehz592
  7. Sadykova GK, Zheleznyak IS, Ipatov VV, Ryazanov VV. The possibilities of computed tomography heart-axis-oriented multiplanar reformations in diagnostics of common arterial trunk. Vestnik of Russian Military Medical Academy. 2018;1(61):132–138. (In Russ.)
  8. Abdulrakeb ARA. Modification of thresholding based segmentation for half-tone images. Radio Engineering and Telecommunications Systems. 2017;2(26):50–58. (In Russ.)
  9. Borrelli P, Kaboteh R, Enqvist O, et al. Artificial intelligence-aided CT segmentation for body composition analysis: a validation study. Eur Radiol Exp. 2021;5(1):11. doi: 10.1186/s41747-021-00210-8
  10. Fedorov A, Beichel R, Kalpathy-Cramer J, et al. 3D Slicer as an image computing platform for the Quantitative Imaging Network. Magn Reson Imaging. 2012;30(9):1323–1341. doi: 10.1016/j.mri.2012.05.001
  11. Yushkevich PA, Piven J, Hazlett HC, et al. User-guided 3D active contour segmentation of anatomical structures: significantly improved efficiency and reliability. Neuroimage. 2006;31(3):1116–1128. doi: 10.1016/j.neuroimage.2006.01.015
  12. Gonzalez RC, Woods RE. Digital Image Processing, Global Edition. 4th ed. London: Pearson; 2018.
  13. Matlakhov VP, Ignatov AN, Suslov AG. Software module development for definition of percentage composition in antiwear coatings. The Bryansk State University Herald. 2016;2(50):46–51. (In Russ.) doi: 10.12737/20243
  14. Pashina TA, Gaidel AV, Zelter PM, et al. Automatic highlighting of the region of interest in computed tomography images of the lungs. Computer Optics. 2020;44(1):74–81. (In Russ.) doi: 10.18287/2412-6179-CO-659
  15. Canny J. A computational approach to edge detection. IEEE Trans Pattern Anal Mach Intell. 1986;8(6):679–698.
  16. Zhu L, Gao Y, Appia V, et al. Automatic delineation of the myocardial wall from CT images via shape segmentation and variational region growing. IEEE Trans Biomed Eng. 2013;60(10):2887–2895. doi: 10.1109/TBME.2013.2266118
  17. Sakly H, Said M, Tagina M. Evaluation of the active contour and topographic watershed segmentation «assessment of the systolic ejection fraction in the left ventricular for medical assistance in 5D short axis cine MRI». Heliyon. 2020;6(11): e05547. doi: 10.1016/j.heliyon.2020.e05547

Supplementary files

Supplementary Files
Action
1. JATS XML
2. Fig. 1

Download (233KB)
3. Fig. 2

Download (117KB)
4. Fig. 3

Download (216KB)
5. Fig. 4

Download (230KB)

Copyright (c) 2022 Shirshin A.V., Boikov I.V., Malakhovskiy V.N., Rameshvili T.E., Kushnarev S.V.

Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.

СМИ зарегистрировано Федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций (Роскомнадзор).
Регистрационный номер и дата принятия решения о регистрации СМИ: серия ПИ № ФС 77 - 77760 от 10.02.2020.


This website uses cookies

You consent to our cookies if you continue to use our website.

About Cookies