Разработка модели нейронной сети для выявления патологических митозов в гистологических препаратах

Полный текст

ОБОСНОВАНИЕ

Морфологический метод исследования значительно расширил диагностические возможности клиницистов и сделал патологоанатома неотъемлемым участником диагностического процесса. В общем объёме работы врача-патологоанатома постоянно растёт доля биопсийных исследований, что связано с возрастающей ролью исследований биопсийного материала в процессах диагностики и лечения. Не случайно в современной патологической анатомии всё большее место занимает клиническая патология — понятие, близкое к surgical pathology в англоязычной литературе и обозначающее раздел науки, который занимается прижизненной диагностикой на основании результатов изучения материала, полученного при биопсиях.

Конкретные цели патоморфологических исследований — уточнение клинического диагноза или установление его в неясных случаях, выявление начальных стадий заболевания, распознавание воспалительных, гиперпластических и опухолевых процессов, определение степени злокачественности новообразований и динамики изменений под влиянием проводимого лечения. Совместно с клиницистами патоморфологи участвуют в определении объёма оперативного вмешательства, установлении активности процесса и тяжести поражения, оценивают эффективность лечения и т.д.

Морфологическое исследование является обязательным в диагностике опухолей и опухолеподобных заболеваний костно-суставной системы. Диагностика опухолей костей — один из наиболее сложных разделов клинической онкологии, что объясняется редкостью этих опухолей, их разнообразием и выраженной гетерогенностью отдельных нозологических форм. В связи с этим необходимо придерживаться определённого алгоритма в проведении патологоанатомического исследования, что подразумевает последовательность определённых действий для постановки диагноза.

В патоморфологической дифференциальной диагностике доброкачественных процессов костно-суставной системы (доброкачественных опухолей и опухолеподобных заболеваний) и злокачественных опухолей одним из наиболее объективных критериев их отличия является определение патологических митозов [1]. Особенно сложно дифференцировать доброкачественные процессы с саркомами низкой степени злокачественности — какими могут быть остеосаркомы, хондросаркомы, фибросаркомы, ангиосаркомы и др. На основании морфологических особенностей митозы условно подразделяются на обычные (типичные) и атипичные (патологические). Биологическое значение типичного митоза состоит в строго одинаковом распределении хромосом между дочерними ядрами делящейся клетки, что обеспечивает образование генетически идентичных дочерних клеток и сохраняет преемственность в ряду клеточных поколений. Митотическое деление обеспечивает рост многоклеточных эукариот за счёт увеличения популяций клеток тканей. Наличие патологических митозов свидетельствует о нарушении нормального течения митотического деления и зачастую приводит к возникновению клеток с несбалансированными кариотипами, что ведёт к развитию мутаций и анеуплоидии. Патологические митозы часто наблюдаются при канцерогенезе, лучевой болезни, раке и предраковых гиперплазиях.

В современном мире нейронные сети широко используются в задачах распознавания изображений. Однако на сегодняшний день нет ни одного промышленного решения для распознавания морфологических или гистологических изображений. Применение нейронных сетей и машинного обучения, позволяющих автоматизировать процесс распознавания характерных паттернов клеток и межклеточного матрикса, а также предоставлять специалисту результаты анализа как вспомогательную информацию для принятия обоснованного решения при постановке диагноза, позволит существенно снизить сроки обработки данных, повысить качество диагностики и снизить физическую и моральную нагрузку на эксперта — врача-патологоанатома.

Проблематика данного исследования связана с целым рядом сложностей:

• во-первых, отсутствует методология выбора и доработки архитектуры нейронной сети для анализа гистологических изображений и, как следствие, нет предобученных моделей, созданных на датасетах из гистологических изображений, что замедляет исследования;
• во-вторых, нет качественных подготовленных наборов данных (датасетов) из гистологических изображений в открытом доступе;
• в-третьих, разработки моделей искусственного интеллекта (ИИ) для патогистологической диагностики опухолей если и существуют, то не имеют достаточного количества публикаций как с медицинской, так и с технической точки зрения, что послужило причиной действовать методом проб и ошибок авторам настоящей работы.

Кроме того, размер атипичных митозов очень мал, а формы разнообразны. Всё это усугубляется разногласиями среди экспертов в распознавании атипичных митозов.

В настоящей работе мы демонстрируем новый подход и методологию разработки математической модели ИИ для обнаружения специфических объектов на гистологических изображениях, характерных для онкологических заболеваний костно-суставной системы. В основу нашего исследования заложена идея о наличии патологических митозов как одного из основных критериев злокачественности опухолевого процесса костной ткани.

Цель исследования — оценка возможности поиска патологических митозов с помощью искусственной нейронной сети и создание прототипа программного решения для помощи врачу в дифференциальной диагностике доброкачественных процессов (доброкачественных опухолей и опухолеподобных заболеваний) и злокачественных опухолей костно-суставной системы.

В рамках научно-исследовательской и опытно-конструкторской работы решались следующие проблемы:

• помощь врачу-патологоанатому в патоморфологической диагностике онкологических заболеваний;
• дообучение модели искусственного интеллекта с целью сведения к минимуму количества ложных срабатываний;
• автоматизированная потоковая обработка массива гистологических изображений.

Задачами исследования являлись:

• выбор архитектуры нейронной сети;
• формулирование нефункциональных требований к набору данных и создание его в соответствии с этими требованиями;
• разработка математической модели для анализа изображений оцифрованных гистологических препаратов пациентов с опухолями и опухолеподобными заболеваниями костно-суставной системы в поточном режиме без участия врача-патолого-анатома.

По итогам проведённой работы можно заявить о разработке модели искусственного интеллекта, а также программного обеспечения для потоковой обработки оцифрованных гистологических препаратов с применением данной модели. Несмотря на успешные и многообещающие первые результаты, необходимо проведение дальнейшего тестирования и доработки этого инструмента в условиях онкологического учреждения. Это позволит использовать его в повседневной клинической практике.

МАТЕРИАЛЫ И МЕТОДЫ

В качестве набора данных для обучения модели нейронной сети использовалась коллекция гистологических изображений, собранных профессором Г.Н. Берченко более чем за 30 лет работы заведующим патологоанатомическим отделением НМИЦ травматологии и ортопедии им. Н.Н. Приорова.

Создание и обучение модели

Первой достаточно серьёзной проблемой, с которой столкнулись авторы данной работы, стал выбор архитектуры нейронной сети для создания модели. Для выбора подходящей архитектуры мы использовали существующие обзоры [2–4].

Авторами была проанализирована архитектура нейронной сети Faster-R CNN [2–4] для поиска объектов (object detection) [5–8] как имеющая лучшие, по результатам проведённых тестов на момент начала исследования (май 2018 года), показатели по прецизионности (precision) и полноте (recall).

Первоначально для обучения модели использовались только изображения, сделанные с помощью фотоприставки к микроскопу Olympus BX51 под иммерсией на увеличении ×1000. Данный подход сделал возможным создание модели, которая, начиная с 300 снимков в наборе данных для обучения, могла с высокой точностью выявлять искомые объекты. Однако попытки искать объекты на изображениях, выполненных при увеличении ×400, не увенчались успехом. Этот факт делал невозможным использование модели для распознавания отсканированных гистологических препаратов на сканирующем микроскопе Leica SC2, максимальное увеличение у которого ×400, и, как следствие, выполнение потоковой обработки гистологических препаратов. Авторы были вынуждены искать пути решения данной проблемы. После нескольких неудачных попыток доработать модель авторы опытным путём пришли к следующему решению: были отобраны снимки, выполненные приставкой к микроскопу Olympus BX51, в количестве 1200 штук (600 пар) фотографий одного и того же патологического митоза при увеличении ×1000 и ×400.

Отдельной задачей была формулировка нефункциональных требований к изображениям. Авторам необходимо было установить, какой размер изображений необходим для обучения модели. С одной стороны, размер изображения должен быть сопоставим с полем зрения микроскопа, с другой — необходимо просчитать минимальное количество пикселей изображения, достаточное для создания модели. Если при увеличении ×1000 изображение имело размер 1632×1229 пикселей (рис. 1), размер выделенного элемента составлял 90×87 пикселей (рис. 2). При увеличении ×400 (рис. 3) размер выделенного фрагмента составлял всего 30×40 пикселей (рис. 4). Поэтому прежде всего необходимо было определить требования к размеру изображений, который должен быть использован в данной модели.

 

Рис. 1. Фотография гистологического изображения фрагмента злокачественной опухоли с наличием патологического митоза, выполненная при увеличении ×1000, разрешение 1632×1229 пикселей.

Fig. 1. Photograph of a histological image of a fragment of a malignant tumor with the presence of pathological mitosis, taken at a magnification of ×1000, resolution 1632×1229 pixels.

 

Рис. 2. Фрагмент изображения «патологический митоз», выделенный для опознавания моделью при увеличении ×1000, разрешение 90×87 пикселей.

Fig. 2. A fragment of the image “pathological mitosis”, selected for recognition by the model at a magnification of ×1000, resolution 90×87 pixels.

 

Рис. 3. Фотография патологического митоза при увеличении ×400, разрешение 1632×1229 пикселей.

Fig. 3. Photograph of pathological mitosis at a magnification of ×400, resolution 1632×1229 pixels.

 

Рис. 4. Фрагмент изображения «патологический митоз», выделенный для опознавания моделью при увеличении ×400, разрешение 30×40 пикселей.

Fig. 4. A fragment of the image “pathological mitosis”, selected for recognition by the model at a magnification of ×400, resolution 30×40 pixels.

 

Кроме того, необходимо было поменять архитектуру нейронной сети для создания модели. Первоначально была использована архитектура Faster-R CNN. Однако созданная модель по результатам функционального тестирования показала следующее: исходные файлы с гистологическими изображениями «нарезались» на участки по 1024×1024 пикселя и в потоковом режиме пропускались через модель. При размере файла от 600 до 1500 МБ только из одного оцифрованного изображения получалось от 3000 до 10 000 файлов. Даже при 1% ложных срабатываний мы получали до 100 ложноположительных изображений, которые необходимо было перепроверить патологоанатому, что не соответствовало цели нашего исследования — упростить и ускорить работу врача при первичной обработке гистологических изображений. Увеличение числа изображений, использованных при создании модели, также не способствовало уменьшению процента ложных срабатываний. Поэтому было принято решение изменить архитектуру нейронной сети.

Авторами была рассмотрена нейросеть с архитектурой Mask R-CNN, разработанная Facebook Research. Одной из особенностей сети с архитектурой Mask R-CNN является её способность выделять на фотографиях контуры («маски») экземпляров разных объектов, даже если таких экземпляров несколько, они имеют различный размер и частично перекрываются. Поскольку ключевой проблемой для нашего исследования стала возможность научить модель распознавать изображения, которые имеют различный размер (увеличение), у авторов появилась надежда, что данная архитектура поможет решить эту проблему.

Кроме того, архитектура Mask R-CNN находилась в открытом доступе [9], что было немаловажным для нашей работы. Модель была переобучена с использованием открытой архитектуры Detectron (Mask R-CNN) [10].

Detectron2 позволяет работать как с Model Zoo — множеством предобученных моделей, так и с CNN-Zoo — наиболее известными архитектурами нейронных сетей, включая Faster R-CNN, Mask R-CNN, RetinaNet, DensePose, Cascade R-CNN, Panoptic FPN и TensorMask. Detectron2 позволяет использование синхронной батч-нормализации и новых датасетов для распознавания объектов.

В Detectron2 интегрированы модули, которые позволяют модифицировать архитектуру модели.

Кроме того, Detectron2 даёт возможность применять различные форматы датасетов, что позволяет легко дообучать модели, используя функцию автоматической разметки.

Использование предобученных моделей значительно сокращает время дообучения модели, так как основные веса модели уже рассчитаны. Время дообучения сокращается с нескольких месяцев до нескольких часов, а в качестве компьютерных мощностей, необходимых для дообучения, можно использовать видеокарту Nvidia, поддерживающую программное обеспечение CUDA.

Все эти условия были критичными в данном исследовании, поскольку технические ресурсы имеют очень высокую стоимость, и их применение существенно увеличило бы стоимость исследования.

В данном проекте нами были использованы видеокарта Nvidia RTX1070 и пакет программ CUDA 11.3.

Все эти возможности Detectron2, а также открытый код позволили использовать его как основной инструмент в нашем исследовании.

Одним из основных критериев качества создаваемой математической модели является минимальное количество ложных срабатываний. Однако во многих случаях для диагностики врачу-патологоанатому нужно увидеть не только патологические митозы, количество которых может быть очень мало, но и всевозможные предстадии митоза. Поэтому экспертом-медиком проводилось изучение всех ложных срабатываний модели с целью определения, можно ли считать данную находку модели ложной (следовательно, модель необходимо дообучать) или данный выявленный объект должен быть оставлен в результирующей выборке, и при этом только врач будет решать, является данная находка свидетельством злокачественности или нет. С этой целью по результатам первоначального тестирования модели на гистологических препаратах экспертом-патологоанатомом был проведён анализ ложноположительных находок математической модели. На основании его заключения проводилось дальнейшее дообучение модели.

Для этой цели отдельные категории схожих, с точки зрения модели, изображений выделялись в отдельные подкатегории, дополнительные изображения этой подкатегории добавлялись в набор данных так, чтобы каждая подкатегория имела равное количество изображений.

Тестирование модели

Тестирование модели осуществлялось в несколько этапов. Первоначально тестирование проводилось на новых изображениях, выполненных при увеличении ×400 и ×1000 с помощью фотоприставки к микроскопу Olympus BX51. Выполненное контрольное тестирование математической модели нейронной сети показало её высокую точность и возможность получения хороших результатов.

Функциональное тестирование модели было выполнено с помощью 188 гистологических стёкол 67 пациентов, обратившихся за консультацией в НМИЦ травматологии и ортопедии им. Н.Н. Приорова. Гистологические препараты были отсканированы на сканирующем микроскопе Leica Aperio CS2 с разрешением ×400 и преобразованы в формат JPEG. Затем изображение в формате JPEG было «нарезано» с использованием компьютерной программы на участки в виде квадратов, сравнимых с полем зрения микроскопа 1024×1024 пикселя. Далее в потоковом режиме был выполнен анализ всех полученных квадратов отсканированных изображений с использованием разработанной модели нейронной сети. Результат выполненного анализа изображения модель нейронной сети представляла в виде JSON-файла, содержащего координаты выявленного объекта диагностики — митоза и вероятность, с которой модель относила этот объект к данной категории (рис. 5).

 

Рис. 5. Модель вернула ответ об успешном нахождении объекта «митоз».

Fig. 5. The model returned a response indicating that it successfully found the “mitosis” object.

 

После этого выявленный объект «митоз» с помощью скрипта был обведён на изображении квадратом с диагональю x min, у min / x max, y max, где x min, у min — минимальные координаты объекта, x max, y max — максимальные координаты объекта. Кроме того, была показана вероятность принадлежности объекта к данной категории (рис. 6).

 

Рис. 6. Результат работы программы прорисовки объекта на изображении. Модель выявила патологический митоз с вероятностью 97,4%.

Fig. 6. The result of a program for drawing an object on an image. The model detected pathological mitosis with a probability of 97.4%.

 

Полученные изображения были проанализированы патологоанатомом с целью подтвердить или опровергнуть соответствие выявленного объекта патологическому митозу.

Помимо поиска, программа проводила подсчёт количества выявленных объектов. В случае если стороны квадратов, которыми изображения были обведены, пересекались (рис. 7), объекты считались совпадающими и суммарное число найденных патологических митозов не увеличивалось.

 

Рис. 7. Модель определила один объект как несколько.

Fig. 7. The model defined one object as several.

 

РЕЗУЛЬТАТЫ

Клиническое тестирование модели нейронной сети, определяющей объект поиска «патологический митоз» на отсканированных изображениях гистологических препаратов, иллюстрируется следующими клиническими примерами.

В процессе исследования было отсканировано и обработано с помощью модели нейронной сети 188 гистологических стёкол 67 больных как с доброкачественными опухолями и опухолеподобными процессами, так и со злокачественными опухолями костно-суставной системы. Результаты выполненного морфологического анализа представили в виде набора изображений, на которых в квадратную рамку выделены искомые объекты — патологические митозы и вероятность, с которой модель относила найденный объект к этой категории (рис. 8).

 

Рис. 8. Модель нашла объект «патологический митоз» с вероятностью 99,2%.

Fig. 8. The model found the object “pathological mitosis” with a probability of 99.2%.

 

Изображения, на которых модель нашла объекты «патологический митоз», были показаны эксперту-патологоанатому. После анализа всех изображений эксперт подтвердил, что патологические митозы, найденные на гистологических препаратах больных с вероятностью выше 70% (рис. 8), указывают на наличие злокачественной опухоли костно-суставной системы. Объекты «патологический митоз», найденные моделью с вероятностью ниже 60%, не являются патологическими митозами. Также эксперт подтвердил, что гистологические препараты, на которых модель не нашла объекты «патологический митоз» с вероятностью 70% и выше, он может диагностировать как доброкачественную опухоль или опухолеподобный процесс.

Метрики и характеристики созданной модели

Получив гистологическое изображение, модель может дать два ответа:

• о наличии объекта «патологический митоз» на изображении (Positive);
• об отсутствии объекта «патологический митоз» на изображении (Negative).

При этом в процессе обучения выполняется промежуточное контрольное тестирование обучаемой математической модели нейронной сети с вычислением следующих параметров:

• True Positive (TP) — количество правильных ответов о наличии патологического митоза;
• False Positive (FP) — количество ложных ответов о наличии патологического митоза;
• True Negative (TN) — количество правильных ответов об отсутствии патологического митоза;
• False Negative (FN) — количество ложных ответов об отсутствии патологического митоза.

Основной метрикой модели является параметр accuracy. Он показывает долю правильных ответов алгоритма. Данный параметр измеряет процент правильно классифицированных изображений и рассчитывается по формуле (TP+TN)/(TP+TN+FP+FN). Важно отметить, что эта метрика бесполезна в задачах с неравными классами, поэтому необходимо следить за сохранением одинакового числа объектов в каждой категории.

Для дополнительной оценки качества работы алгоритма введены метрики precision и recall.

Precision определяет, насколько можно доверять модели. Она показывает процент изображений, которые правильно идентифицированы. Другими словами, когда модель выполняет поиск объекта, как часто это выполняется правильно. Рассчитывается как TP/(TP+FР).

Recall определяет, как много нарушений находит модель. Она показывает, какую долю объектов из всех объектов данного класса нашёл алгоритм. То есть, когда изображение отнесено к данной категории, как часто оно идентифицируется. Полнота рассчитывается как TP/ (TP+FN).

При этом обе метрики характеризуют разные стороны качества обучаемой математической модели: чем выше precision, тем меньше ложных срабатываний, чем выше recall, тем меньше ложных пропусков. Precision и recall, в отличие от accuracy, не зависят от соотношения классов и поэтому применимы в условиях несбалансированных выборок.

В качестве итоговой меры оценки качества было использовано гармоническое среднее (или F-мера):

$F=2\times precision\times recall/(precision+recall).$

F-мера является стандартом в машинном обучении для усреднения точности. F-мера достигает максимума при полноте и точности, равных единице, и близка к нулю, если близок к нулю один из аргументов.

Характеристики полученной модели:

• precision=0,99834;
• recall=1;
• accuracy=0,958.

Вычисляем F-меру: F=(2×0,99834×1)/(0,99834+1)=0,99917.

Аналогично из формулы recall=TP/(TP+FN) получаем:

TP/(TP+FN)=1 => TP=(TP+FN) => FN=0; TP=1.

Подставляя найденное значение в формулу, получаем:

Precision=TP/(TP+FP)=0,99834 => FP=0,0016.

Таким образом, вероятность получения ложноположительных срабатываний, согласно внутренним характеристикам модели, меньше двух десятых процента (от 4 до 10 ложных срабатываний на одно гистологическое стекло).

В качестве клинического примера приводим следующий случай.

Больная Е., 1996 года рождения, в возрасте 17 лет отметила появление опухолевидного образования в области дистального отдела правой бедренной кости. В 2016 г. по месту жительства выполнена операция по удалению новообразования, гистологическое заключение — костно-хрящевой экзостоз. В последующем больная отметила рецидив новообразования. В 2019–2022 гг. обследована по месту жительства, обнаружены продолженный рост и отрицательная динамика, в связи с чем рекомендовано обратиться в федеральный центр. Больная обратилась в НМИЦ ТО им. Н.Н. Приорова. На представленных компьютерных томограммах от 2019–2022 гг. и магнитно-резонансных томограммах от 2022 г. определяется массивное паростальное новообразование с распространением в мягкие ткани бедра и голени, с вовлечением в опухолевый процесс бедренного сосудистого пучка, седалищного нерва и подколенного сосудисто-нервного пучка. При пересмотре гистологических препаратов от 2016 г. обнаружено костное новообразование, представленное беспорядочно расположенными в коллагеновой строме пучками фибробластов и остеобластоподобных клеток со слабовыраженной атипией ядер, единичными патологическими митозами, признаками атипичного остеогенеза — афункционально расположенными костными трабекулами различной степени зрелости, инфильтративным ростом опухоли в прилежащие поперечнополосатые мышечные волокна. Гистологическое заключение: гистологическая картина, с учётом данных методов лучевой диагностики, соответствует паростальной остеосаркоме GI дистального отдела правой бедренной кости.

В рамках тестирования программного обеспечения гистологические препараты были отсканированы и обследованы с помощью разработанного программного обеспечения. В гистологических препаратах были обнаружены единичные фигуры патологических митозов, что согласуется с нашим гистологическим заключением.

ОБСУЖДЕНИЕ

В большинстве проанализированных нами работ происходит сравнение ответов патологоанатома с результатом работы математической модели, что, с нашей точки зрения, является концептуальной ошибкой, поскольку среди самих патологоанатомов не всегда существует согласие в постановке диагноза, а диагноз, поставленный большинством голосов, далеко не всегда оказывается правильным. С точки зрения авторов данного исследования, целесообразно использовать модели ИИ как инструмент первичной обработки входящего потока графической информации, поступающего при сканировании гистологических препаратов.

Кроме того, в процессе анализа близких по тематике публикаций авторы заметили, что научные работы в области патогистологической диагностики используют нейронные сети не для обнаружения специфических гистологических паттернов, а для классификации или, в лучшем случае, сегментации гистологических изображений, что значительно снижает точность работы и, как следствие, достоверность исследования. Кроме того, подобный подход невозможен в потоковом режиме и требует от врача дополнительного времени и знаний в области компьютерных технологий, что усложняет работу врача-патологоанатома. Поэтому, скорее всего, подобные инструменты не будут востребованы среди специалистов.

Нам известно об исследовании L. Pantanowitz и соавт. [11], в котором сообщалось о реализации алгоритма на основе искусственного интеллекта для автоматического обнаружения рака простаты, но используемое авторами увеличение ×6 и ×200 на гистологических препаратах при обучении модели ставит под сомнение возможность применения данной модели в клинической практике. Метод классификации изображений, заявленный авторами статьи [11], не ищет объекты на изображениях, как показано авторами на иллюстрациях к работе. С помощью метода классификации можно лишь определить категорию, к которой относится изображение, вероятность, с которой модель относит изображение к данной категории, и тепловую карту. Из-за низкой точности метода классификации к изображениям предъявляются высокие требования в плане размеров, увеличения и предварительной обработки. Все фрагменты изображений, как использованные для создания модели, так и обработанные моделью, должны иметь одинаковый размер и быть выполнены при одинаковом увеличении. Метод классификации не может обработать все гистологические стёкла и выявить на них фрагменты, относящиеся к той или иной категории. Кроме того, в рассматриваемой работе не отражены ни вопросы выбора архитектуры нейронной сети для создания модели, ни требования к изображениям.

Основной проблемой применения метода классификации является необходимость использования большого количества подготовленных изображений для создания модели. Авторы заявляют о 1 357 480 помеченных участках изображений [11]. Однако, как известно, модели, построенные с помощью метода классификации, нуждаются в предварительной подготовке набора данных изображений, при этом тема предварительной обработки изображений в статье не затрагивается.

Исследование L. Pantanowitz и соавт. [11] посвящено разработке алгоритма глубокого обучения для улучшения оценки рака простаты по шкале Глисона. Однако в статье не представлено самое главное — каким патогистологическим признакам обучалось «машинное зрение», на основании которых проводилась дифференциальная диагностика между аденокарциномами с различной степенью злокачественности. Кроме того, здесь также был использован метод классификации. Если изображения в наборе данных, применяемые для обучения и тестирования модели ИИ, имеют существенные различия, возникает большое количество пропусков и ложных срабатываний, что приводит к невозможности использования модели в клинической практике. Поэтому мы ставим под сомнение как возможности применения в клинической практике метода классификации для задач гистологической диагностики, так и практическую ценность созданной в исследовании [11] модели ИИ.

Первой достаточно серьёзной проблемой, с которой столкнулись авторы данной работы, стал выбор архитектуры нейронной сети.

Теоретически чем больше слоёв имеет нейронная сеть, тем лучший результат она может показать. Однако по мере увеличения слоёв нейронной сети её точность резко падает, что вызывается исчезновением градиента (backpropagations). Происходит это потому, что процесс обратного распространения находит производные всей сети, продвигаясь от последнего слоя к первому. Согласно цепному правилу вычисления производных, производные каждого слоя умножаются друг на друга для вычисления производных входных слоёв. Повторяющийся процесс умножения делает производные и, следовательно, веса бесконечно малыми. Поэтому пороги входных слоёв не обновляются в процессе обучения. Поскольку эти входные слои критически важны для распознавания ключевых элементов входных данных, это приводит к неточности всей сети и низкой скорости обучения.

Поэтому в нашей работе мы проанализировали архитектуру нейронной сети ResNet, в которой используются остаточные блоки (residual blocks), обходящие один или несколько слоёв. Остаточный блок обучает остаточную функцию. Добавление остаточных блоков позволило сохранить большие градиенты до исходных слоёв, смягчая проблему исчезающего градиента.

Для создания модели нейронной сети нами был использован фреймворк с открытым исходным кодом Detectron2, выпущенный Facebook AI Research (FAIR). Detectron2 позволяет работать как с Model Zoo — множеством предобученных моделей, так и с CNN-Zoo — наиболее известными архитектурами нейронных сетей. Кроме того, Detectron2 позволяет применять различные форматы датасетов, что даёт возможность легко дообучать модели, используя функцию автоматической разметки.

Зная специфику решаемой задачи — поиск объектов размером 30×40 пикселей на изображении размером 4К пикселей, необходимо было учитывать эти особенности при выборе реализации архитектуры.

Мы сравнили архитектуры сети ResNet с глубиной 50 слоёв. ResNet извлекает признаки из последнего свёрточного слоя четвёртого этапа, который называется C4. В Detectron2 архитектура этой сети представлена как ResNet-50-C4.

Авторы протестировали ещё один вариант архитектуры с использованием технологии Feature Pyramid Network (FPN), которая применяет нисходящую архитектуру с боковыми соединениями для построения пирамиды функций в сети из одномасштабных входных данных. Несмотря на актуальность проблематики, авторам данной работы удалось найти лишь единичные научные исследования по созданию математической модели ИИ для поиска патологических митозов, клеток, а также элементов межклеточного матрикса, отражённых в отечественных или зарубежных изданиях. Авторы сравнили свои результаты с имеющимися научными публикациями [12]. Аналогично авторам упомянутой работы мы протестировали модель на фрагментах изображений, наборах данных, находящихся в открытом доступе (MITOS2012), и сравнили результаты с результатами разработанной нами модели.

Ранее мы не тестировали архитектуру ResNet-101, имеющую 101 слой, из-за слишком большого количества слоёв и, как следствие, высокой вероятности большого количества ложных срабатываний. Используя предобученную модель из Model Zoo Detectron2, мы дообучили нашу модель с применением вышеуказанной архитектуры. Однако результаты тестирования были неудовлетворительными. Метрики модели стали хуже, а функциональное тестирование показало плохие результаты.

Ещё одной серьёзной проблемой, которую авторам представленной работы пришлось решить, являлась обработка изображений больших размеров. Размер отсканированного гистологического изображения — от 600 МБ до 1,5 ГБ, при этом изображение патологического митоза, который должна найти модель, не превосходит ~400 байт (30×40 пикселей). В процессе создания и обучения модели авторы данной работы столкнулись с проблемой обнаружения мелких объектов на больших площадях, которая рассмотрена в статье [13]. Благодаря высокому качеству исходных изображений мы смогли разделить изображение на сегменты по ~400 КБ. Алгоритм построения модели сходен с предложенным в работе K. Simonyan и A. Zisserman [14]. Мы использовали для обучения модели изображения, сделанные на разных увеличениях.

Как было отмечено выше, несмотря на актуальность проблематики, авторам данной работы не удалось найти научных исследований по созданию математической модели ИИ для поиска патологических митозов, клеток, а также элементов межклеточного матрикса, отражённых в отечественных или зарубежных изданиях. Большинство работ, которые нам удалось найти и которые были изучены, имеют обзорный или описательный характер [15–17].

Насколько известно авторам данной работы, это первый отчёт о создании алгоритма на основе ИИ, который позволяет в потоковом режиме обнаруживать патологические митозы, характерные для злокачественных опухолей кости, в оцифрованных гистологических препаратах, и первый пример клинического использования алгоритма на основе ИИ в костно-суставной патологии.

Мы изучили и другие работы, посвящённые использованию математических моделей для онкологической диагностики. В исследованиях, посвящённых разработке алгоритма глубокого обучения для улучшения оценки рака простаты по шкале Глисона [11, 12], нам не удалось выяснить, по каким патогистологическим признакам обучалась математическая модель. Кроме того, в данных работах также ничего не сказано об использованной архитектуре и создании датасета. Выбор архитектуры модели занял существенную часть нашего исследования. Качество и размеры изображений, применяемые для обучения и тестирования модели ИИ, влияют на её метрики и возможности использования при диагностике. Мы ставим под сомнение возможности применения метода классификации для задач гистологической диагностики из-за его неточности, а также практическую ценность созданных в исследованиях [11, 12, 17, 18] моделей ИИ из-за отсутствия информации об используемых архитектурах нейронных сетей. Кроме того, авторы исследований [11, 12, 17, 18] ничего не сказали о тех проблемах, с которыми они столкнулись в процессе выполнения работы по созданию модели. Например, о повышении точности модели и устранении ложных срабатываний.

По мнению авторов данной работы, основной проблемой, которая до сих пор не позволяет использовать модели ИИ в клинической практике, является отсутствие или недостаточность понимания основ патоморфологии со стороны специалистов, создающих модели искусственного интеллекта, и, как следствие, игнорирование опыта врача-патологоанатома. Специалисты-математики по анализу данных слишком увлечены сравнениями архитектур нейронных сетей и не пытаются найти им практическое применение. Мы не нашли ни одной работы, в которой для тестирования архитектуры MASK R-CNN использовались бы наборы данных гистологических изображений. Работы, содержащие информацию по тестированию и сравнению архитектур нейронных сетей, производились с помощью наборов данных PACKAL VOC или COCO [6–13].

Кроме того, специалисты, создавая терабайтные базы данных оцифрованных изображений, зачастую не имеют ни базовых знаний, ни опыта создания нейронных сетей и, как следствие, не понимают, на каком увеличении эти изображения нужно делать и какого качества оцифрованные гистологические препараты пригодны для создания моделей ИИ. В то же время эксперты-патоморфологи скептически относятся к новым технологиям и не спешат делиться как накопленными опытом и знаниями, так и собственными наборами данных гистологических изображений, отснятых за многолетнюю практику работы.

Поэтому в существующих подходах к использованию ИИ в гистологической диагностике наблюдается существенный разрыв между математической и медицинской составляющими работы. Все изученные нами статьи имели чёткий уклон либо в одну, либо в другую сторону, упуская саму идею создания подхода к диагностике, понятного как врачу, так и математику, — связки «задача — инструмент».

Мы сообщаем о разработке модели искусственного интеллекта для потоковой обработки оцифрованных гистологических препаратов и внедрении этого инструмента в повседневную клиническую практику. Математическая модель была разработана командой математиков и программистов с использованием метода object detection и открытой архитектуры нейронной сети Detectron (Mask RCNN). Созданная модель была проверена на внешнем наборе данных экспертом-патологоанатомом со стажем работы в данной области более 30 лет для выявления патологических митозов в злокачественных опухолях костно-суставной системы как низкой, так и высокой степени злокачественности.

В результате проведённого исследования авторы рекомендуют придерживаться определённых правил при постановке задачи, которая должна формулироваться профильным специалистом-медиком, а также при построении математической модели. Основные правила построения модели представлены ниже:

• выбор архитектуры нейронной сети на базе анализа работ по тестированию данной архитектуры и пригодности её к поставленной задаче;
• формулировка нефункциональных требований к изображениям dataset как для создания, так и для использования модели;
• создание набора данных в соответствии с нефункциональными требованиями для выбранной архитектуры;
• проведение разметки набора данных в соответствии с критериями экспертов-патологоанатомов;
• использование более тысячи фрагментов изображений для обучения одной категории;
• использование трёх и более категорий для распознавания;
• отсутствие скачков или затухания метрик при обучении;
• многократное проведение функционального тестирования на наборе данных более 100 изображений.

ЗАКЛЮЧЕНИЕ

Разработанная математическая модель нейронной сети, используемая в составе программно-аппаратного комплекса для поточного распознавания патологических митозов в отсканированных гистологических препаратах, может применяться как инструмент, помогающий врачу-патологоанатому проводить диагностику. По мнению авторов исследования, дальнейшая доработка модели за счёт добавления современных исследований в области математических методов в библиотеку математических функций CUDA, а также разработка и внедрение методов оптимизации датасетов при обучении модели являются наиболее перспективными направлениями развития искусственного интеллекта, которые необходимо использовать для обработки и анализа гистологических изображений. Данная технология позволит сократить время и улучшить качество исследования, тем самым повышая шансы на раннюю диагностику заболевания и, как результат, успешность лечения пациента.

ДОПОЛНИТЕЛЬНО

Вклад авторов. Все авторы подтверждают соответствие своего авторства международным критериям ICMJE (все авторы внесли существенный вклад в разработку концепции, проведение исследования и подготовку статьи, прочли и одобрили финальную версию перед публикацией).

Источник финансирования. Работа выполнена в рамках реализации научно-исследовательской работы по государственному заданию, РК № 124040100041-5, «Разработка математической модели нейронной сети для системы поддержки принятия решения врачом-патологоанатомом в диагностике заболеваний опорно-двигательного аппарата».

Конфликт интересов. Авторы декларируют отсутствие явных и потенциальных конфликтов интересов, связанных с проведённым исследованием и публикацией настоящей статьи.

ADDITIONAL INFO

Autor contribution. All authors confirm that their authorship meets the international ICMJE criteria (all authors have made a significant contribution to the development of the concept, research and preparation of the article, read and approved the final version before publication).

Funding source. The work was carried out within the framework of realization of the research work under the state assignment “Development of a mathematical model of neural network for the system of support of decision making by a pathologist in the diagnosis of diseases of the musculoskeletal system” (RК № 124040100041-5).

Competing interests. The authors declare that they have no competing interests.

Об авторах

Геннадий Николаевич Берченко

Национальный медицинский исследовательский центр травматологии и ортопедии им. Н.Н. Приорова

Автор, ответственный за переписку.
Email: berchenko@cito-bone.ru
ORCID iD: 0000-0002-7920-0552
SPIN-код: 3367-2493

доктор медицинских наук, профессор, заведующий отделением, врачь-патологоанатом, цитолог

Россия, 127299, Москва, ул. Приорова, 10

Нина Вениаминовна Федосова

Национальный медицинский исследовательский центр травматологии и ортопедии им. Н.Н. Приорова

Email: hard_sign@mail.ru
ORCID iD: 0000-0002-0829-9188
SPIN-код: 5380-3194
Россия, 127299, Москва, ул. Приорова, 10

Михаил Геннадьевич Кочан

Национальный медицинский исследовательский центр травматологии и ортопедии им. Н.Н. Приорова

Email: mk_system@mail.ru
ORCID iD: 0009-0002-0699-1370
Россия, 127299, Москва, ул. Приорова, 10

Дмитрий Викторович Машошин

Национальный медицинский исследовательский центр травматологии и ортопедии им. Н.Н. Приорова

Email: dima_mash@mail.ru
ORCID iD: 0009-0003-5442-5055
SPIN-код: 7612-1311
Россия, 127299, Москва, ул. Приорова, 10

Список литературы

Дополнительные файлы