Application of Artificial Intelligence Methods to the Task of Diagnosing Respiratory Diseases

Full Text

1. Введение Диагностика заболеваний - одна из важнейших областей, в которой могут быть использованы методы и алгоритмы искусственного интеллекта. Как показано в дальнейшем, существует широкий спектр научных областей, таких как математическая статистика, эконометрика и др., которые позволяют ближе подойти к задаче помощи врачу, пациенту, к задаче упрощения медицинского менеджмента. В данной статье предлагается использовать элементы искусственного интеллекта, в частности, искусственные нейронные сети, для предварительной диагностики некоторых заболеваний органов дыхания. Цель работы - показать, как можно использовать нейросетевые модели для решения подобных задач, а также какую предварительную работу необходимо проделать, чтобы подготовить данные для обучения модели. 2. Обзор современных подходов, применяющихся в сфере медицинской диагностики Различные методы диагностики заболеваний основываются на анализе и оценке тех или иных показателей жизнедеятельности человека, например, показателей артериального давления или объемных и скоростных показателей дыхания. Один из подходов к диагностике заболеваний дыхательных путей представлен в патенте [Трушина и др., 2019]. Данный подход опирается на математическую оценку четырех информативных лабораторных показателей. В результате статистического анализа строится следующая математическая модель: y = 0,0206x1 - 0,0583x2 + 0,0205x3 - 0,0011x4 + 0,582, где y - тип воспаления дыхательных путей; x1 - содержание эозинофилов в индуцированной мокрóте, %; x2 - количество нейтрофилов в крови, 109/л; x3 - количество эозинофильного катионного протеина в крови, нг/мл; x4 - количество нейтрофильной эластазы в крови, нг/мл. Показатель y отражает тип воспаления дыхательных путей нейтрофильный или эозинофильный. В статье [Гуляев, Жубр, Цаллагова, 2019] представлен подход к выявлению пациентов с риском гипотензии. Он основан на анализе показателей артериального давления с применением метода линейной регрессии, благодаря которому строится разделяющая гиперплоскость между группами пациентов с низким и высоким риском гипотензии. Диагностика обструкции дыхательных путей легкой степени выраженности с помощью импульсной осциллометрии представлена в статье [Савушкина и др., 2018]. Диагностика осуществляется на параметрах AX (площадь реактанса), Rrs (резистивный компонент дыхательного импеданса), Xrs (реактивное сопротивление). Если использовать базовые параметры Rrs5 и Xrs5, то процент выявления заболевания мал и равен 32%. Параметр AX имеет большую информативность, так как его отклонение от нормы присуще 64% пациентов. Интеллектуальный анализ данных (Data mining) - совокупность методов классификации и прогнозирования, основанных на применении методов наивного Байеса, k-ближайших соседей, случайного леса, опорных векторов, логистической регрессии, нейронных сетей. Наивный байесовский классификатор Это вероятностный классификатор, используемый для задач классификации. Используя теорему Байеса, мы можем найти вероятность того, что произойдет событие A, учитывая, что произошло событие B: Здесь B - это доказательство; A - гипотеза. Сделанное предположение состоит в том, что признаки независимы, поэтому его называют наивным [Gandhi, 2018]. Метод k-ближайших соседей (k-nearest neighbors) Метод k-ближайших соседей - это контролируемый алгоритм машинного обучения, использующийся в задачах классификации, регрессии, алгоритм с учителем. Он является одним из самых фундаментальных и простых методов классификации с низким временем выполнения и вычислений [Taunk et al., 2019]. Метод предполагает, что похожие экземпляры будут расположены близко к друг другу, то есть чем они ближе, тем больше вероятность того, что они относятся к одному и тому же классу. Перед выполнением алгоритма определяется положительное целое число k - количество соседей для данной точки. Затем с помощью функций расстояния вычисляется расстояние до новых данных. Для вычисления расстояния между объектами часто применяют евклидово расстояние [26]: Метод опорных векторов Метод из теории статистического обучения. Метод представляет собой контролируемую модель машинного обучения, которая использует алгоритмы классификации для задач классификации по двум категориям [Noble, 2006]. Он основан на линейном разделении. Однако не все данные могут быть разделены линейно: для точек двух категорий может потребоваться кривая, чтобы разделить их границы в двумерном пространстве. Основным элементом метода является разделяющая гиперплоскость, задача которой состоит в том, чтобы классифицировать точки на два класса. Она находит максимальный отступ между точками обоих классов. Максимизация расстояния отступа обеспечивает точность метода. Логистическая регрессия Математическая модель, используемая в статистическом анализе, которая моделирует зависимость одной переменной от набора других входных переменных. Такая модель с помощью логистической функции относит объект к одному из двух классов с определенной вероятностью. Результат логистической регрессии всегда находится в интервале [0, 1]. Случайный лес Случайный лес или дерево принятия решений - алгоритм машинного обучения, который использует множество деревьев для принятия решения, является контролируемым алгоритмом обучения, используется в регрессии, кластеризации, классификации. За счет большого количества решающих деревьев точность алгоритма возрастает, при этом каждое отдельное дерево может давать низкую точность. Искусственные нейронные сети Подобно тому, как биологические нервные системы обрабатывают информацию, искусственные нейронные сети (ANN) тоже состоят из взаимосвязанных элементов, называемых нейронами, взаимодействующих для определения решений конкретных проблем [Papadopoulos, Kosmas, Michalakelis, 2021]. Как и у людей, процесс обучения ANN основан на примерах. Вместо набора инструкций по выполнению конкретной задачи им даются примеры для анализа и поиска способа решения проблемы. Существует несколько подходов, основанных на искусственных нейронных сетях, для диагностики заболеваний в медицине. В статье [Nagarajan, Thirunavukarasu, 2022] применяется архитектура нейро-нечетких систем в здравоохранении для анализа и прогнозирования заболеваний. Нейро-нечеткая система (neuro-fuzzy system, NFS) или нечеткая нейронная сеть (fuzzy neural network, FNN) комбинирует методы искусственных нейронных сетей и систем на нечеткой логике. Информация из медицинских записей подвергается предварительной обработке, нормализации с помощью процесса фаззификации, прогнозированию заболевания путем применения определенных правил и де-фаззификации выходных значений для получения информации, которая относится к прогнозируемому заболеванию. Процесс принятия решений основан на базе нечетких правил и достигает значения точности 87,7%. В статье [Shafiekhani, Namdar, Rafiei, 2022] с помощью моделей прогнозирования на основе ANN решается задача прогнозирования подтвержденной госпитализации с COVID-19 в отделение интенсивной терапии, что необходимо для прогнозирования количества коек или других типов медицинских устройств во время пандемии COVID-19. Исследователи рассмотрели такие модели нейронных сетей, как сети долговременной краткосрочной памяти (LSTM), адаптивной сети нейро-нечеткого вывода (ANFIS), дерева решений и регрессии опорных векторов (SVR). Обучались модели на данных о ежедневных случаях госпитализации в обычных медицинских стационарах, отделениях неотложной помощи, отделениях интенсивной терапии. Результаты показали, что все модели предсказывают динамику госпитализации в отделения интенсивной терапии, но лучшей прогностической способностью обладает адаптивная сеть на основе системы нечеткого вывода (ANFIS). В целом исследование показало, что такие модели могут использоваться в медицинских учреждениях. Помимо уже упомянутых архитектур нейронных сетей существует сверточная нейронная сеть, именно ее новую модификацию ConCeptCNN представили в статье [Chen et al., 2022]. Предлагаемая модель используется для извлечения топологических признаков из данных коннектом мозга для классификации и анализа неврологических расстройств. Она хорошо справляется с извлечением топологических признаков из коннектомы мозга (полное описание структуры связей в нервной системе организма) и с задачей прогнозирования нарушений развития нервной системы, благодаря особенности фильтров свертки. Разница с обычными CNN заключается в наличии не одного сверточного фильра, который имеет ограниченную способность извлекать различительную информацию, а нескольких сверточных фильтров, что улучшает общую эффективность классификации задач. ConCeptCNN использует несколько векторных фильтров для извлечения топологической информации из коннектома мозга на разных уровнях для дополнительного встраивания признаков коннектом мозга. Результаты проверки ConCeptCNN показал многообещающие результаты в выявлении синдрома дефицита внимания и гиперактивности у молодых людей с точностью прогнозирования 78,7% и в прогнозировании когнитивного дефицита в возрасте двух лет с поправкой на недоношенных детей с точностью 81,6%. Эффективная модель раннего прогнозирования COVID представлена в статье [Mydukur et al, 2022]. Она повышает точность и сводит к минимуму затраты времени, а также частоту ошибок по сравнению с существующими работами при прогнозировании COVID. Для решения этих проблем в этой статье представлена методика регрессионной гауссовой нейро-нечеткой многоуровневой классификации данных с наименьшими квадратами (LSRGNFM-LDC). Метод LSRGNFM-LDC обеспечивает эффективное прогнозирование COVID с большей точностью и меньшими затратами времени за счет выбора и классификации признаков. Предварительная обработка используется для устранения нежелательных данных во входных объектах и уменьшения временной сложности. Затем выполняется регрессионный процесс выбора признаков по методу наименьших квадратов Деминга для выбора наиболее релевантных признаков путем определения линии наилучшего соответствия. После процесса выбора признаков гауссовский нейро-нечеткий классификатор в методике LSRGNFM-LDC выполняет процесс классификации данных с помощью нечетких правил if-then для выполнения процесса прогнозирования. Наконец, нечеткое правило «если - то» классифицирует данные пациента, как: низкий, средний, высокий уровень риска, с более высокой точностью и меньшими затратами времени. 3. Применение искусственных нейронных сетей к задаче диагностики дыхательных путей по аудиозаписям дыхания 3.1. Выбор архитектуры нейронной сети Последние несколько лет проблема классификации аудио данных была затронута научным сообществом и были проведены различные исследования, которые посвящены распознаванию аудио данных с использованием сверточных [Karol, 2015] и рекуррентных [Phan, Koch, 2017] сетей. Рекуррентная нейронная сеть (recurrent neural network, RNN) - архитектура нейронных сетей, которая содержит в себе обратные связи, благодаря чему может хранить информацию в процессе обучения (рис. 1). Эти сети хорошо подходят для обработки последовательностей. [Olah, 2015] Рис. 1. RNN с обратными связями Fig. 1. RNN with feedbacks Обратные связи необходимы для сохранения информации между обучением нейронной сети. Рекуррентная сеть во временном представлении состоит из копий самой себя, предающей информацию своему следующему экземпляру. Такую архитектуру нейронной сети использовали в работах по распознаванию речи [Graves, Mohamed, Hinton. 2013], классификации звуковых сцен [Phan, Koch, 2017], анализу текста [Guan, Cho, 2019], перевода текста [Sharma, Banerjee, 2020], обработке видео и изображений [Qasim, Pettirsch, 2020]. Такую нейронную сеть следует использовать тогда, когда важно соблюдать последовательность данных, то есть когда важен порядок поступающих объектов. Сверточная нейронная сеть (convolutional neural network, CNN) - вид нейронных сетей, который предназначен для распознавания образов. Сверточные нейронные сети появились еще в 1980-х годах, но только недавно они были приняты в качестве метода выбора для различных задач классификации объектов. Работа Крижевского [Krizhevsky, Sutskever, Hinton, 2012] ознаменовала поворотный момент в крупномасштабном визуальном распознавании в 2012 году. С тех пор, сверточные нейронные сети позволили значительно продвинуться в решении многочисленных задач распознавания образов, включая классификацию дорожных знаков [Cireşan, Meier, Masci, Schmidhuber, 2012], номеров домов и рукописных цифр [Simard, Steinkraus, Platt, 2003], обнаружение пешеходов [Sermanet, Kavukcuoglu, Chintala, 2013] и обработку изображений с помощью электронной микроскопии [Cireşan, Giusti, Gambardella, Schmidhuber, 2012]. Хотя в основном они используются в контекстах визуального распознавания, сверточные архитектуры также успешно применяются в речи и анализе музыки [Dieleman, Brakel, Schrauwen, 2011]. Эти труды показали, что подходы, использующие преимущества локальности данных, могут обеспечить жизнеспособные решения проблем, возникающих в других областях. Подробное освещение современных методов глубокого обучения и их применения в различных контекстах, включая обработку речи и аудио, можно найти в недавно опубликованных книгах, обсуждающих эту тему [Bengio, Goodfellow, Courville, 2015]. Архитектура сверточной нейронной сети состоит из входного слоя (input), группы сверточных (convolutional) и объединяющих (pooling) слоев (которые могут быть объединены различными способами), ограниченного числа полностью связанных скрытых слоев (dense) и выходного слоя (output). Фактическое различие по сравнению с многослойным персептроном заключается во введении комбинации операций свертки и объединения [Karol, 2015] (рис. 2): В качестве функции активации сверточных слоев выступает - выпрямленных линейный блок (ReLUs) f(x) = max(0, x). Глубокие нейронные архитектуры имеют естественную тенденцию к переобучению. Один из способов решения этой проблемы был представлен в форме отсева обучения [Srivastava, Hinton, 2014]. Концепция довольно проста, но очень эффективна. В каждой итерации обучения каждая скрытая единица удаляется случайным образом с заранее определенной вероятностью (первоначально 50%), и процедура обучения продолжается в обычном режиме. Эти случайные возмущения эффективно предотвращают изучение сетью ложных зависимостей между скрытыми единицами. Рис. 2. Схематическая визуализация типичной операции свертки и объединения, выполняемой с входными данными Fig. 2. Schematicvisualization of a typical convolution and pooling operation performed with input data В данной работе будет использоваться сверточная нейронная сеть для классификации аудиозаписей респираторных заболеваний, так как данная сеть наиболее подходит к задаче подобного рода. В свою очередь рекуррентные нейронные сети больше подходят для анализа и прогнозирования аудиосцен. 3.2. Предобработка данных Исходный набор данных представлен дата-сетом [Rocha et al., 2018]. В нем содержатся сами аудиозаписи в формате .wav и файл patient_diagnosis.csv, который содержит информацию о заболеваниях пациентов. Предобработка заключается в предварительном просмотре и анализе набора файлов и содержащейся в ней информации. Так получено, что всего аудиофайлов - 920, и такое же количество текстовых файлов, содержащих информацию о начале и конце цикла дыхания пациента для каждой записи (рис. 3). Рис. 3. Фрейм данных, содержащий информацию о циклах дыхания и болезни пациента (первые пять строк) Fig. 3. A data frame containing information about the breathing cycles and the patient’s illness (the first five lines) Также в данной базе данных содержится файл, содержащий информацию о пациенте и соответствующий ему тип диагноза (рис. 4). Всего 8 диагнозов: COPD (ХОБЛ - хроническое обструктивное болезнь легких), pneumonia (пневмония), asthma (астма), bronchiectasis (бронхоэктазы), bronchiolitis (бронхиолит), URTI (инфекция верхних дыхательных путей), LRTI (инфекция нижних дыхательных путей), healthy (здоровый). Рис. 4. Первые 5 записей в файле patient_diagnosis.csv (pid - номер пациента, disease - название заболевания) Fig. 4. The first 5 entries in the patient_diagnosis.csv file (pid is the patient’s number, disease is the name of the disease) Далее рассмотрим распределение количества циклов дыхания, относящихся к разным болезням (рис. 5). Заметен сильный перевес в количестве циклов дыхания у болезни ХОБЛ (COPD на диаграмме). Данный перевес не позволит нейронной сети обучиться корректно, возможен случай переобучения на классе ХОБЛ. Рис. 5. Диаграмма распределения количества записей циклов дыхания по классам: 1 - инфекция верхних дыхательных путей (ИВДП); 2 - здоровый; 3 - астма; 4 - ХОБЛ (хроническая обструктивная болезнь легких); 5 - инфекция нижних дыхательных путей (ИНДП); 6 - бронхоэктазы; 7 - пневмония; 8 - бронхиолит Fig. 5. Diagram of the distribution of the number of records of breathing cycles by class: 1 - URTI; 2 - healthy; 3 - asthma; 4 - COPD; 5 - LRTI; 6 - bronchiectasis; 7 - pneumonia; 8 - bronchiolitis Поэтому было решено сократить выборку из класса ХОБЛ до 60% от общего количества экземпляров и произвести увеличение количества экземпляров классов с малым количеством записей (аугментировать). Аугментация - действие, процесс создания или увеличения размера, или количества. В данные были добавлены шумы и сдвиги по времени (рис. 6). Рис. 6. Аугментация: добавление шума и сдвиг по времени Fig. 6. Augmentation: adding noise and time shift В результате был получен генеральный набор данных (рис. 7). Рис. 7. Диаграмма количества классов заболеваний в генеральной совокупности после аугментации: 1 - инфекция верхних дыхательных путей (ИВДП); 2 - здоровый; 3 - астма; 4 - ХОБЛ (хроническая обструктивная болезнь легких); 5 - инфекция нижних дыхательных путей (ИНДП); 6 - бронхоэктазы; 7 - пневмония; 8 - бронхиолит Fig. 7. Diagram of the number of classes of diseases in the general population after augmentation: 1 - URTI; 2 - healthy; 3 - asthma; 4 - COPD; 5 - LRTI; 6 - bronchiectasis; 7 - pneumonia; 8 - bronchiolitis 3.3. Извлечение признаков Далее с помощью извлечения признаков из аудиозаписей формируется выборка и делится на обучающую и тестовую. Какие признаки нужно извлечь? Каждая аудиозапись состоит из множества признаков. Поэтому стоит извлекать только те характеристики, которые относятся к решаемой проблеме (рис. 8). Рис. 8. Функция получения признаков из аудиозаписи Fig. 8. The function of obtaining features from an audio recording Рис. 9. Извлеченные признаки из цикла дыхания пациента: a - MFCC спектрограмма, b - хромограмма, c - спектрограмма в масштабе мел Fig. 9. Extracted signs from the patient’s breathing cycle: a - MFCC spectrogram, b - chromogram, c - spectrogram at the mel scale Ключевыми признаками являются признаки, полученные из спектра сигнала. Спектр сигнала состоит из множества гармоник, которые высчитываются с помощью преобразования Фурье. На основе спектра сигнала, состоящий из множества гармоник, можно рассчитать и другие частотные признаки сигнала, например, частотные кепстральные коэффициенты в масштабе мел, хромограмма [Chauhan, 2020]. Возвращаемое значение функции getFeatures (рис. 8) содержит три массива коэффициентов mfcc, cstft, mSpec (рис. 9): mfcc - мел частотный кепстральный коэффициент (20 коэффициентов); cstft - хромограмма, признак или вектор цветности (12 коэффициентов); mSpec - спектрограмма в масштабе мел (128 коэффициентов). 3.4. Описание модели разработанной нейронной сети Создание и обучение сверточной нейронной сети включает в себя множество решений, которые должны быть приняты как в отношении архитектуры (формат входных данных, количество и размер слоев, размеры фильтра), так и в отношении макропараметров обучения (скорость обучения, импульс, размер пакета, вероятность отсева). Этот процесс отбора в основном основан на эвристике. Была построена модель сверточной нейронной сети (рис. 10), состоящей: из трех входных слоев - mfcc, croma и mspec; из трех сверточных моделей - mfccModel, cromaModel и mSpecModel, каждая из которых состоит из нескольких сверточных слоев; из соединительного слоя Concatenate, объединяющий выходы трех сверточных моделей; из двух полносвязных слоев Dense с отсевом обучения каждый Dropout; из выходного слоя с функцией активации softmax, который содержит 8 нейронов - это столько же, сколько классов диагнозов. В каждый из входных слоев необходимо подать матрицы признаков, которые были получены из предыдущего шага (п. 3.3). Размерность этих матриц равна (20, 259), (12, 259), (128, 259) для входных слоев mfcc, croma, mspec соответственно. Макропараметры обучения модели: функцияпотерь - sparse categorical crossentropy; оптимизатор - adam; метрика - accuracy; размер пакета - 100; максимальное количество эпох - 100; функции активации для всех слоев кроме последнего - ReLU, активация последнего выходного слоя - softmax; количество обучающих примеров - 5187, количество тестовых примеров - 1297. Далее идут три сверточные модели, их структурное устройство относительно друг друга одинаково, поэтому рассмотрим только первую модель - mfccModel (рис. 11). Здесь представлено четыре повторяющихся своя свертки, отличающиеся только параметрами самой свертки: размером ядра свертки, шагом ядра и размерностью выходного пространства (т.е. количеством выходных фильтров в свертке). Основные слои сверточной модели mfccModel: сверточный слой (Conv2D). Этот слой производит операцию свертки по всему входному изображению или карте признаков с помощью ядра свертки. Коэффициенты ядер или фильтров корректируются в процессе обучения нейронной сети; слой батч-нормализации (BatchNormalization). Идея батч-нормализации - ограничить внутренний ковариационный сдвиг путем нормализации выхода каждого слоя, преобразуя его в распределение с нулевым математическим ожиданием и единичной дисперсией. Дает следующие возможные эффекты: ускорение сходимости к модели обучающей выборки, ускорение обучения; возросшая независимость обучения каждого слоя нейронов; меньшая чувствительность к начальной инициализации весовых коэффициентов; слой активации (Activation). В качестве функции активации сверточных слоев выступает - функция ReLU (RectifiedLinearUnit) - выпрямленный линейный блок; слой выборки (пулинга) (MaxPooling2D) производит следующие действия: входная карта признаков делится на сектора размерности равной размерности слоя выборки, далее входное изображение уменьшается за счет выборки одного числа из каждого сектора, тем самым входные данные уменьшаются в несколько раз. Обычно применяют выборку максимального числа из сектора, что и использовалось в нашем слое выборки. Также существует выборка среднего числа по всему сектору. 3.8. Оценка обучения В результате обучения нашей модели сверточной нейронной сети (рис. 12) тестовые метрики составили: точность (accuracy) - 87%; потери (loss) - 0,36%. Рис. 12. Графики тренировочных и проверочных метрик (62 эпохи): а - точность; b - потери Fig. 12. Graphs of training and validation metrics (62 epochs): a - accuracy; b - losses В результате обучения (рис. 13) получены прогнозы для классов asthma - 95%, bronchiectasis - 95%, COPD - 97%, LRTI - 96%, pneumonia - 86%, bronchiolitis - 80%. Классы healthy и URTI получили более меньшую точность 71 и 82% соответственно, возможно из-за того, что данные диагнозы похожи и область распространения этих болезней находится в одной области, в верхних дыхательных путях. 4. Выводы Описанная в статье нейросетевая модель для диагностирования заболеваний дыхательных путей по аудиозаписям дыхания может быть использована для предварительной работы по постановке диагноза. Созданная сверточная нейронная сеть для диагностики заболеваний аудиозаписей дыханий обладает точностью 87%. Модель обладает хорошими показателями выявляемости заболеваний COPD - 97%, asthma - 95%, bronchiectasis - 95%, LRTI - 96%, pneumonia - 86%. Меньшую точность получили диагнозы bronchiolitis - 80%, healthy - 71%, URTI - 82%. 5. Заключение В работе представлен метод диагностики заболеваний дыхательных путей. Предложена модель сверточной нейронной сети. Для обучения модели использовался набор данных из базы данных респираторных заболеваний. Предварительно этот набор данных был проанализирован и подвергся предобработке. Ключевыми признаками аудиозаписей дыхания являлись их спектральные/частотные характеристики. Модель была обучена и протестирована. Точность модели сверточной нейронной сети составила 87%. Рис. 10. Модель сверточной нейронной сети для диагностики аудиозаписей дыхания Fig. 10. Convolutional neural network model for diagnostics of audio recordings of breathing Рис. 11. Модель mfccModel - одна из подмоделей полной модели Fig. 11. The mfccModel model is one of the submodels of the full model Рис. 13. Матрица неточности: 1 - астма; 2 - бронхоэктазы; 3 - бронхиолит; 4 - ХОБЛ (хроническая обструктивная болезнь легких); 5 - здоровый; 6 - инфекция нижних дыхательных путей (ИНДП); 7 - пневмония; 8 - инфекция верхних дыхательных путей (ИВДП) Fig. 13. Confusionmatrix: 1 - asthma; 2 - bronchiectasis; 3 - bronchiolitis; 4 - COPD; 5 - healthy; 6 - LRTI; 7 - pneumonia; 8 - URTI

About the authors

Tatyana S. Katermina

Nizhnevartovsk State University

Email: nggu-lib@mail.ru
Cand. Sci. (Eng.); associate professor at the Department of Informatics and Methods of Teaching Informatics Khanty-Mansi Autonomous Okrug - Yugra, Tyumen region, Nizhnevartovsk, Russian Federation

A. F Sibagatulin

Nizhnevartovsk State University

Email: sibagatulin.azat@yandex.ru
bachelor Khanty-Mansi Autonomous Okrug - Yugra, Tyumen region, Nizhnevartovsk, Russian Federation

References

Supplementary files