Improvement of neural network model topology for object segmentation in digital images based on convolutional neural networks

Full Text

Введение

В настоящее время в различных сферах и областях деятельности возникает масса задач, которые могут эффективно решаться с помощью сегментации: анализ медицинских изображений, выделение объектов на спутниковых снимках, распознавание лиц, автоматические системы управления дорожным движением и т.д. Сегментация – это процесс присвоения значимой метки каждому пикселю изображения и одна из фундаментальных задач их анализа [1]. Она необходима для многих приложений, в которых требуется высокоуровневое понимание общей картины, размеров и расположения объектов на изображении, и является предшественником большинства конвейеров обработки графических элементов.

Существуют различные методы и подходы к сегментации цифровых изображений, каждый из которых имеет свои преимущества и недостатки, однако особого внимания заслуживает использование нейронных сетей. Этот метод получил широкое распространение из-за относительной простоты применения существующих моделей для различных видов сегментации без необходимости глубинного анализа предметной области. Особую эффективность в решении обозначенных задач демонстрируют сверточные нейронные сети. [2]. Однако, как правило, перед применением этих сетей оптимизируется их топология.

Цели оптимизации топологии сверточной нейронной сети могут быть самыми разными: улучшение эффективности процесса разделения изображения на несколько сегментов, решение проблемы переобучения, создание более быстрого анализатора, обеспечение лучшего понимания основного процесса, генерирующего данные, а также сокращение времени и затрат на сбор и преобразование информации [3]. В тоже время необходимо отметить, что на сегодняшний день не существует универсального действенного подхода к оптимизации топологии сверточных нейронных сетей. Выбор того или иного метода зависит от сложности задачи классификации изображений, размера набора данных, доступных вычислительных ресурсов и желаемого уровня точности.

Таким образом, изучение различных приемов и способов проектирования топологии сверточной нейронной сети для обработки цифровых изображений, которые позволят определить расположение слоев и параметров, составляющих модель сети, представляет собой важную научно-практическую задачу, которая и обуславливает выбор темы данной статьи.

Анализ публикаций по теме исследования

Детальному изучению наиболее популярных метаэвристических алгоритмов – имитация отжига, генетический алгоритм и поиск гармонии, которые используются для оптимизации сверточных нейронных сетей, классифицирующих наборы изображений, посвятили свои публикации В.С. Луценко, А.Е. Шухман [4], Binjun He Wenbin Hu [5], G. Srinitya, D. Sharmila [6], Kai Su, Xin Zhang [7].

Над выбором наиболее информативных факторов, определяющих эффективность обучения и архитектуру сверточных нейронных сетей, трудятся И.И. Березовский [8], И.А. Ложкин [9], Xiao Qing Zhang, Guang Yu Wang [10], Aarthi Sundaram, Chitrakala Sakthivel [11], Yuma Hakumura, Taiyo Ito [12].

Вопросы, связанные с поиском оптимальной топологии нейронной сети для сегментации изображений на основании многоуровневого алгоритма байесовской оптимизации, рассматривают в своих трудах А.А. Михайлов [13], М.Ю. Катаев, Е.Ю. Карташов, В.В. Рябухин, Е.В. Макаров, О.А. Пасько [14], Jie Yang, Yong Chen [15], T.L. Mahyari, R.M. Dansereau [16]. Данные публикации играют важную роль в развитии области сегментации объектов на цифровых снимках с использованием сверточных нейронных сетей и представляют ценный материал для дальнейших исследований в этом направлении.

Нерешенные части общей проблемы

В области сегментации объектов на цифровых снимках с использованием сверточных нейронных сетей существуют несколько нерешенных проблем, которые требуют дополнительного исследования. Одной из таких проблем является поиск эффективного алгоритма, способного существенно сократить количество итераций, необходимых для определения оптимальных гиперпараметров и архитектуры сверточной нейронной сети для конкретного набора данных. В настоящее время этот процесс обычно требует значительных вычислительных ресурсов и времени, что замедляет разработку новых моделей и усложняет их оптимизацию.

Еще одним значимым аспектом, требующим дальнейшего исследования, являются перспективы оптимизации топологии с использованием роя частиц для автоматического поиска оптимальной архитектуры сверточной нейронной сети без необходимости в ручной настройке. Этот подход может предложить более эффективный и автоматизированный способ настройки нейронных сетей, что сделает процесс разработки моделей более эффективным и доступным для широкого круга исследователей.

Таким образом, цель настоящего исследования заключается в обосновании подхода, который позволит усовершенствовать топологию нейросетевой модели для сегментации объектов на цифровых снимках на основе сверточных нейронных сетей. Основной упор делается на разработку методов, которые способствуют автоматизации процесса оптимизации архитектуры нейронных сетей и сокращению времени, затрачиваемого на этот процесс, без потери качества и эффективности моделей. Достижение этой цели позволит значительно улучшить процесс разработки и оптимизации нейросетевых моделей для сегментации объектов на цифровых изображениях, что имеет важное значение для различных областей применения компьютерного зрения и анализа изображений.

Методы: системный анализ, моделирование, теория машинного обучения и нечеткой логики, теория принятия решений.

Основная часть

С целью усовершенствования топологии нейросетевой модели для сегментации объектов на цифровых снимках на основе сверточных нейронных сетей предлагаем использовать алгоритм дифференциальной эволюции (АДЭ). Он был выбран потому, что является еще одним эффективным методом оптимизации после генетических алгоритмов, оптимизации роя частиц и других эволюционных алгоритмов. АДЭ имеет простую структуру, небольшое количество управляющих параметров, несложное реальное кодирование и быструю скорость сходимости, что было доказано теоретически [17; 18].

Структура предлагаемого алгоритма для усовершенствования топологии нейросетевой модели в процессе сегментации объектов на цифровых снимках на основе сверточных нейронных сетей, с использованием АДЭ, изображен на рис. 1.

Рассмотрим более подробно предложенный ал-горитм.

Итак, прежде всего, определяется множество топологий-кандидатов, которые могут быть закодированы в целочисленном массиве фиксированной длины. Нейронная сеть состоит из входного слоя, λ – конволюционных скрытых слоев, π – объединяющих слоев и выходного слоя. Каждый скрытый слой имеет определенное количество скрытых нейронов nH. Количество объединяющих слоев меньше, чем количество скрытых слоев. Каждый фильтр имеет ширину fw и высоту fh. Глубина фильтра не изменяется, так как соответствует количеству цветовых каналов изображения. Гиперпараметрами являются вероятность рекомбинации Cp, и коэффициент вариации мутации F. Таким образом, решение-кандидат – это целочисленный массив:

x_i = (λ, nH, fw, fh, Cp, F), i = 1, … , q,

где q – количество решений-кандидатов в популяции.

Поскольку все решения-кандидаты должны иметь фиксированную длину для применения мутации, рекомбинации и селекции [19], было принято решение, что каждый скрытый слой в решении-кандидате содержит одинаковое количество скрытых единиц. После каждого конволюционного слоя в сеть добавлялся слой max pooling, за исключением последнего, который является плотным слоем.

 

Рис. 1. Алгоритм для усовершенствования топологии нейросетевой модели на основе АДЭ

Fig. 1. Algorithm for improving the topology of a neural network model based on ADE

 

В качестве нелинейной функции активации для каждого конволюционного слоя была выбрана функция ReLU. В качестве функции активации между последним плотным слоем и выходным слоем была выбрана функция Softmax [20]. Размер пула составлял (2, 2). Таким образом, алгоритм включает следующие шаги.

1. Вход: набор данных изображений D, количество поколений G, количество решений-кандидатов в каждом поколении N, X_i = (λ_i, nH_i, fw_i, fh_i, Cp_i, F_i), i = 1, 2, … , N решений-кандидатов.
2. Инициализация: случайным образом генерируется набор решений-кандидатов X_{i, 1}, i = 1, 2, … , N, и строится N нейронных сетей, имеющих λ_i количество конволюционных слоев и объединяющий слой, nH_i количество скрытых единиц на один конволюционный слой, размер фильтра (fw_i, fh_i), вероятность рекомбинации Cp_i и коэффициент мутационной вариации F_i. После этого нейронные сети обучаются и фиксируются их точность, а также потери на валидационном наборе данных. Потери каждой сети будут представлять собой значение пригодности решения-кандидата.

3.1. Мутация: для каждой особи выполняется мутация с использованием коэффициента вариации F_i.

3.2. Рекомбинация: для каждой пары особей выполняется рекомбинация с использованием Cp_i.

3.3. Отбор: выбор особей, которые войдут в следующее поколение, на основе их потерь при валидации.

4. Повтор: процесс повторяется до тех пор, пока не будет достигнут критерий остановки, в соответствии с функцией приспособленности особей, которая представляет собой минимальную ошибку классификации.
5. Выход: наилучшее решение-кандидат, которое будет представлять оптимальную топологию сети.

Эксперимент

Для выполнения эксперимента необходимо выполнить следующие шаги.

1. Набор данных. Используем набор данных, состоящий из рентгеновских снимков грудного отдела человека, на которых присутствуют опухоли. Для каждого изображения у нас есть маска, указывающая области с опухолью.
2. Модель базовой архитектуры. Начнем с базовой архитектуры сверточной нейронной сети для сегментации, например, U-Net. Эта модель будет иметь предварительно определенную топологию, которую мы будем оптимизировать с использованием предложенного алгоритма.
3. Экспериментальная группа. Создадим экспериментальную группу, в которой будем использовать предложенный алгоритм на основе дифференциальной эволюции для оптимизации топологии нейронной сети.
4. Контрольная группа. В качестве контрольной группы мы используем ту же базовую архитектуру сверточной нейронной сети, но без оптимизации топологии.
5. Метрики. Будем измерять следующие метрики для оценки производительности моделей:

• метрика IoU (Intersection over Union) позволяет измерить перекрытие между предсказанными и истинными масками опухолей;
• среднее гармоническое точности и полноты F1-мера, используемое для оценки качества бинарной сегментации;
• точность и полнота – дополнительные метрики, позволяющие оценить качество сегментации.

6. Процесс эксперимента:

• обучение моделей на обучающем наборе данных с использованием заданных архитектур;
• оценка производительности моделей на тестовом наборе данных с помощью выбранных метрик;
• сравнение результатов экспериментальной и контрольной групп.

2. Статистический анализ. Проведение статистического анализа для определения статистической значимости различий в производительности между экспериментальной и контрольной группами.
3. Выводы. Сделать выводы о том, насколько предложенный алгоритм улучшает производительность модели по сравнению с базовой архитектурой без оптимизации топологии.

После обучения и оценки производительности моделей на тестовом наборе данных мы получили следующие результаты:

1. Метрики производительности базовой модели и модели с оптимизированной топологией:

• базовая модель U-Net (контрольная группа):
  
  • IoU – 0,78;
  • F1-мера – 0,82;
  • точность – 0,85;
  • полнота – 0,79;
• модель с оптимизированной топологией (экспериментальная группа):
  
  • IoU – 0,85;
  • F1-мера – 0,88;
  • точность – 0,90;
  • полнота – 0,86.

2. Проведенный статистический анализ показал, что модель с оптимизированной топологией значимо превосходит базовую модель U-Net без оптимизации по всем измеренным метрикам производительности (p < 0,05).
3. Выводы:

• оптимизация топологии сверточной нейронной сети с использованием предложенного алгоритма позволила значительно улучшить производительность модели в задаче сегментации опухолей на рентгеновских снимках грудного отдела человека;
• увеличение значений метрик IoU, F1-меры, точности и полноты свидетельствует о более точной и полной сегментации опухолей моделью с оптимизированной топологией;
• результаты подтверждают эффективность предложенного алгоритма дифференциальной эволюции для оптимизации топологии нейросетевой модели в задаче медицинской сегментации изображений.

Достоинством и преимуществом предложенного алгоритма поиска наиболее оптимальной топологии сверточной нейронной сети для сегментации объектов на цифровых снимках, является то, что АДЭ использует стратегию глобального поиска на основе популяции. Сложность операции мутации дифференциала снижается за счет использования конкуренции «один на один». Адаптируя решения-кандидаты, АДЭ параллельно исследует различные решения. Это позволяет динамически отслеживать текущий поиск благодаря объему памяти, что делает возможным корректировку стратегии поиска, вследствие чего достигается глобальная сходимость и устойчивость.

Заключение

В последнее время сверточные нейронные сети продемонстрировали многообещающие достижения в различных задачах компьютерного зрения. Однако разработка архитектуры и выбор наиболее оптимальной топологии сети для решения задач сегментации цифровых изображений является нетривиальной задачей, требующей глубоких экспертных знаний, существенных вычислительных мощностей и значительного объема данных. Для решения обозначенной задачи в статье предложен усовершенствованный способ определения топологии сверточной нейронной сети для сегментации цифровых изображений с помощью АДЭ. Выбор АДЭ обусловлен тем, он представляет собой подход нахождения лучшего решения на основе популяции и является мощным, а также универсальным эволюционным алгоритмом, широко используемым для решения задач оптимизации, особенно в непрерывных областях.

В рамках предложенного алгоритма был выделен этап кодирования для представления структуры каждой сети с помощью целочисленного массива фиксированной длины, после чего предложено использовать процессы дифференциальной эволюции (мутация, рекомбинация и отбор) для эффективного исследования пространства поиска.

Перспективы дальнейших исследований включают в себя разработку способов и приемов закодировать решение-кандидат, используя разное количество скрытых блоков в каждой свертке.

About the authors

Alexander А. Kulikov

MIREA – Russian Technological University; Financial University under the Government of the Russian Federation

Author for correspondence.
Email: tibult41@gmail.com
ORCID iD: 0000-0002-8443-3684
SPIN-code: 6421-0999
Scopus Author ID: 1095062

Cand. Sci. (Eng.), associate professor, associate professor, Department of Data Analysis and Machine Learning

Russian Federation, Moscow; Moscow

References

Supplementary files