The experience of neural network prediction of the need for surgical treatment in patients with the diseases of hepatopancreatoduodenal zone
- Authors: Lazarenko VA1, Zarubina TV2, Antonov AE1, Sood S3
-
Affiliations:
- Kursk State Medical Unviersity
- Russian National Research Medical University named after N.I. Pirogov
- Centre for Development of Advanced Computing
- Issue: Vol 99, No 4 (2018)
- Pages: 569-574
- Section: Theoretical and clinical medicine
- Submitted: 03.08.2018
- Published: 08.08.2018
- URL: https://kazanmedjournal.ru/kazanmedj/article/view/9194
- DOI: https://doi.org/10.17816/KMJ2018-569
- ID: 9194
Cite item
Full Text
Abstract
Aim. Using multilayer perceptron artificial neural network, to develop a mathematical model for predicting the need for surgical intervention in patients admitted for hepatopancreatoduodenal zone diseases and to assess the capabilities for its clinical application.
Methods. The study was performed using the data of 488 patients with peptic ulcer, cholecystitis or pancreatitis, analyzed using multilayer perceptron artificial neural network, trained to distinguish vectors of data on risk factors of patients who did or did not require surgical intervention during current hospitalization.
Results. Patients in the training sample who had required surgical intervention during hospitalization were different from patients who had undergone conservative treatment by such characteristics as gender, age, duration of the disease, state on admission, and the structure of risk factors. The acquired data made it possible to train the artificial neural network. The ROC analysis of the mathematical model demonstrated the area under the curve (AUC) equal to 0.880 for the training group (n=385) and 0.739 for the clinical approbation group (n=103).
Conclusion. The AUC indicators of the created model can be characterized as very good in terms of predicting the need for surgical treatment in the training group and good for the clinical approbation group: sensitivity and specificity of the model exceed 80% in the training group and are highest in patients with peptic ulcer disease; in the clinical approbation group these parameters were lower as expected, however, remained at the level of 60-70%.
Full Text
Качество оказания медицинской помощи в целом и безопасность проведения оперативного вмешательства в значительной степени определяются своевременностью и объёмом обследования, проведённого в предоперационном периоде [1]. Однако для некоторых форм патологии гепатопанкреатодуоденальной зоны отсутствуют чёткие показания для оперативного лечения, что негативно влияет на ближайшие и отдалённые результаты лечения [2].
Принятие корректного врачебного решения в отношении таких пациентов подразумевает обработку сложных данных, включающих всю совокупность клинической картины и факторов риска в сжатые сроки [3], что стимулирует научный поиск современных информационных систем для их анализа [4, 5], в частности искусственных нейронных сетей (ИНС) [6–9]. Главное преимущество интеллектуальных систем при решении задач такого рода — возможность обнаружения неизвестных закономерностей и связей между данными [10].
Стратегическая позиция России по вопросу востребованности научных работ, принадлежащих к междисциплинарным областям, находящихся на стыке клинической медицины и медицинской информатики, а также необходимости занятия лидирующих позиций в сфере разработки и применения систем искусственного интеллекта были обозначены Президентом РФ В.В. Путиным [11]. В этом контексте поиск математических моделей, обеспечивающих прогнозирование развития клинической ситуации и развитие систем поддержки принятия врачебных решений, представляются перспективными.
В связи с изложенным целью нашего исследования было следующее: с применением искусственной нейронной сети типа многослойный персептрон разработать математическую модель для прогнозирования потребности в оперативном вмешательстве у больных, госпитализированных по поводу заболеваний гепатопанкреатодуоденальной зоны, и оценить потенциал её клинического применения.
Исследование проведено по материалам 488 пациентов с язвенной болезнью, холециститом и панкреатитом. Больные были разделены на две клинические группы. Первая клиническая группа (КГ1 — 385 человек) проходила лечение в сроки до 1 января 2011 г. Представители второй группы (КГ2 — 103 человека) были госпитализированы в более поздние сроки.
Исследователи осуществляли сбор информации о факторах риска развития указанных нозологий путём анкетирования больных и выкопировки медицинской информации из карт стационарного больного. Собираемые данные содержали сведения о поле, возрасте, диагнозе, вредных привычках, наличии стрессов, характере питания, диетическом режиме, занятости, отношениях в семье и иных факторах риска.
В целях повышения качества включения больных в исследование сбор материала выполняли по следующей методике: с применением генератора случайных чисел определяли массив номеров по порядку дней года, в которые проводили анкетирование. Затем осуществляли тотальный сбор данных пациентов, проходивших стационарное лечение в выбранные дни. Отказов от участия мы не встретили.
Всего 165 больным КГ1 и 40 пациентам КГ2 в ходе текущей госпитализации было проведено оперативное вмешательство. Обработку данных осуществляли с применением ИНС типа многослойный персептрон, реализованной на программном обеспечении собственной разработки [12–14]. Материалы больных КГ1 применяли для обучения нейросети с целью прогнозирования возникновения потребности в оперативном лечении в ходе текущей госпитализации. Больные, включённые в КГ2, участвовали в клинической апробации обученной ИНС.
Для исключения влияния результатов прогнозирования на принятие решения о проведении оперативного лечения или отказе от него обработку данных проводили после окончательной выписки пациента из стационара. Контроль функционирования ИНС на этапе обучения и клинической апробации осуществляли с применением методов описательной индуктивной статистики, определения чувствительности, специфичности и ROC-анализа.
В КГ1 число прооперированных больных составило 165 человек, в КГ2 — 40 пациентов. Количество больных, при лечении которых не возникло потребности в операции, составило 220 и 63 соответственно. Данные о поле, возрасте и распространённости некоторых факторов риска в описываемых группах представлены в табл. 1.
Таблица 1. Структура некоторых изучаемых факторов риска и параметров здоровья в исследуемых группах
Показатель | Больные, которым проведено оперативное вмешательство | Больные, проходившие консервативное лечение | ||
КГ1, n=165 | КГ2, n=40 | КГ1, n=220 | КГ2, n=63 | |
Средний возраст*, годы | 56,9±1,21 | 57,9±2,44 | 49,8±1,08 | 52,8±1,8 |
Пол**, %: – мужчины – женщины |
35,2±3,72 64,8±3,72 |
30±7,25 70±7,25 |
58,2±3,33 41,8±3,33 |
47,6±6,29 52,4±6,29 |
Состояние при поступлении**, %: – удовлетворительное – средней тяжести – тяжёлое – крайне тяжёлое |
44,5±44,51 51,8±3,9 2,44±1,2 1,22±0,86 |
72,5±7,06 22,5±6,6 3,4±8,59 0±0 |
76,0±2,9 21,7±2,8 2,3±1,02 0±0 |
87,3±4.19 11,1±3,93 1,6±1,57 0±0 |
Длительность диагностического поиска*, сут | 1,6±0,13 | 1±0 | 1,4±0,06 | 1±0 |
Длительность заболевания*, годы: – впервые возникшее – за исключением впервые возникшего |
4,9±0,58 7,6±0,78 |
9,5±1,45 11,5±1,55 |
9,12±0,75 10,6±0,81 |
8,8±1,08 9,2±1,1 |
Некоторые факторы риска. Стресс**, % Соблюдение диеты**, %: – субъективное – объективное Злоупотребление алкоголем**, % Курение**, % Стаж курения*, годы Выкуривает сигарет*, шт./сут Частота обострений**, %: – чаще 2 раз в год – 2 раза в год – 1 раз в год – 1 раз в 2–3 года и реже – возникло впервые |
55,8±3,87
30,9±7,5 4,2±1,6 26,1±3,42 30,9±3,6 33,7±2,0 7,6±1,06
20,1±3,18 17,0±2,98 6,3±1,93 7,5±2,09 49,1±3,96 |
40±7,75
32,5±7,41 5±3,4 35±7,54 52,5±7,9 21,4±3,39 13,1±2,24
0±0 42,5±7,82 12,5±5,23 25±6,85 20±6,32 |
57,3±3,33
34,1±3,2 4,1±1,34 43,2±2,89 44,1±3,35 27,4±1,35 7,7±0,82
19,3±2,71 22,6±2,87 18,4±2,66 10,4±2,09 29,2±3,12 |
38,1±6,12
44,4±6,26 1,6±1,57 38,1±6,12 33,3±5,94 26,0±2,72 7,1±1,43
3,3±2,28 21,3±5,24 39,3±6,25 18,0±4,92 18,0±4,92 |
Примечание: *данные представлены в формате M±m; **данные представлены в формате P(q)±m; КГ — клиническая группа.
Как следует из приведённых в табл. 1 данных, есть различия показателей здоровья и состава факторов риска как между группами, так и в разные временные периоды. Первая группа различий может быть обусловлена различным набором факторов риска, влияющим на формирование патологии, требующей проведения оперативного и консервативного лечения. Вторая группа различий демонстрирует динамику факторов риска во времени.
Разнонаправленные различия наглядно свидетельствуют о недостаточной мощности традиционных методов описательной и индуктивной статистики для выявления закономерностей воздействия факторов риска, подтверждают необходимость применения математических методов, дающих возможность многомерного анализа совокупности данных. Изменения структуры факторов риска со временем в свою очередь могут служить обоснованием необходимости регулярной актуализации и мониторирования факторов риска в популяции в условиях высокой изменчивости жизни современного общества.
На основе введённых формализованных данных о состоянии здоровья и факторах риска была обучена нейронная сеть с единственным логическим выходом: наличие или отсутствие потребности в проведении оперативного вмешательства в ходе текущей госпитализации. Обучение ИНС проводили методом обратного распространения ошибки.
Результаты ROC-анализа обученной нейросети представлены на рис. 1. Показатели AUC (площади под кривой) для КГ1 составили 0,880, для КГ2 — 0,739, что позволяет характеризовать качество модели как очень хорошее или хорошее соответственно [15]. Оптимальное значение порога отсечения (ycut–off), определяемое как величина, при которой сумма чувствительности и специфичности принимает наибольшее значение, в нашем исследовании оценивалась графически и соответствовала абсциссе точки пересечения кривых (рис. 2). Для КГ1 ycut–off был принят равным −0,35.
Рис. 1. Результаты ROC-анализа. Кривая чёрного цвета — клиническая группа 1, серого цвета — группа 2
Рис. 2. Кривые чувствительности (прерывистая линия) и специфичности (сплошная линия) для клинической группы 1
С учётом установленного значения порога отсечения были вычислены показатели чувствительности и специфичности. Их значения для КГ1 по разным нозологическим формам представлены в табл. 2. Как следует из приведённых данных, чувствительность и специфичность модели превышают 80%. Показатели наиболее высоки при оценке у пациентов с язвенной болезнью, что, вероятно, может быть обусловлено сочетанием двух факторов — отличием структуры риска у таких больных относительно пациентов с панкреатитом и холециститом, а также относительно невысокой долей прооперированных пациентов с язвенной болезнью (16,5, m=3,22%). Для пациентов с холециститом доля прооперированных достигала 76,6 (m=3,27%), с панкреатитом — 25,8 (m=3,93%), а в целом по выборке — 42,9 (m=2,52%).
Таблица 2. Распределение качества прогноза потребности в оперативном лечении в клинической группе 1 по нозологическим формам для ycut–off=–0,35
Показатель | Все больные, n=385 | Язвенная болезнь, n=133 | Холецистит, n=167 | Панкреатит, n=124 |
Чувствительность (+/+), % | 81,2, m=1,99 | 81,8, m=3,34 | 80,5, m=3,07 | 71,9, m=4,04 |
Ложноотрицательный результат (−/+), % | 18,8, m=1,99 | 18,2, m=3,34 | 19,5, m=3,07 | 28,1, m=4,04 |
Специфичность (−/−), % | 80,0, m=2,04 | 85,6, m=3,05 | 69,2, m=3,57 | 80,4, m=3,56 |
Ложноположительный результат (+/−), % | 20,0, m=2,04 | 14,4, m=3,05 | 30,8, m=3,57 | 19,6, m=3,56 |
Проведено оперативное лечение, абс. | 165 | 22 | 128 | 32 |
Лечение консервативное, абс. | 220 | 111 | 39 | 92 |
На этапе клинической апробации обученную ИНС применяли для прогнозирования возникновения потребности в оперативном лечении у пациентов КГ2 (табл. 3). Показатели чувствительности и специфичности в этой группе были ожидаемо ниже, чем в КГ1, что соответствует результатам ROC-анализа и обусловлено объективными причинами, связанными с методикой обучения и применения ИНС. Тем не менее, уровни чувствительности и специфичности оставались на достаточной высоте. Как и в случае с КГ1, наибольший показатель чувствительности зарегистрирован у пациентов с язвенной болезнью.
Таблица 3. Качество прогноза потребности в оперативном лечении при клинической апробации в клинической группе 2 для ycut–off=−0,35
Показатель | Все больные, n=103 | Язвенная болезнь, n=43 | Холецистит, | Панкреатит, |
Чувствительность (+/+), % | 65,0, m=4,70 | 62,5, m=7,38 | 71,4, m=7,53 | 57,1, m=7,55 |
Ложноотрицательный результат (−/+), % | 35,0, m=4,70 | 37,5, m=7,38 | 28,6, m=7,53 | 42,9, m=7,55 |
Специфичность (−/−), % | 79,4, m=3,99 | 77,1, m=6,40 | 100,0, m=0,00 | 80,6, m=6,04 |
Ложноположительный результат (+/−), % | 20,6, m=3,99 | 22,9, m=6,40 | 0,0, m=0,00 | 19,4, m=6,04 |
Проведено оперативное лечение, абс. | 40 | 8 | 35 | 7 |
Лечение консервативное, абс. | 63 | 35 | 1 | 36 |
Выявленные различия наборов данных о факторах риска позволили обучить ИНС типа многослойный персептрон для классификации такого рода. Предлагаемая математическая модель продемонстрировала хорошее или очень хорошее качество в оценке вероятности возникновения потребности в оперативном лечении.
Описываемый подход может служить основой системы поддержки принятия врачебных решений при определении индивидуализированной лечебно-диагностической тактики в условиях дефицита времени и ресурсов. Разработанная математическая модель может рассматриваться врачом как советник, позволяющий выявить отдельных пациентов, которым с большей вероятностью во время текущей госпитализации потребуется хирургическое пособие. Информация такого рода может позволить врачу выиграть время за счёт своевременного дополнительного обследования больного, назначения ему инструментальных и лабораторных исследований и приглашения консультантов, заключения которых необходимы оперируемым больным.
Выводы
1. Группы пациентов с заболеваниями гепатопанкреатодуоденальной зоны, нуждающихся и не нуждающихся в проведении оперативного вмешательства, различаются по половозрастному составу и факторам риска в мере, достаточной для обучения на основе такой информации искусственных нейронных сетей типа многослойный персептрон. Показатели AUC такой модели в обучающей выборке (клиническая группа 1) достигают 0,880 для обучающей группы (очень хорошее качество прогноза) и 0,739 для группы клинической апробации (клиническая группа 2; хорошее качество).
2. Показатели чувствительности и специфичности модели превышают в обучающей группе (клиническая группа 1) 80% и наиболее высоки при оценке у пациентов с язвенной болезнью. Показатели чувствительности и специфичности в группе клинической апробации (клиническая группа 2) были ожидаемо ниже, тем не менее, оставались на уровне 60–70%. Как и в случае с клиническая группой 1, наибольший показатель чувствительности отмечен у пациентов с язвенной болезнью.
Авторы заявляют об отсутствии конфликта интересов по представленной статье.
About the authors
V A Lazarenko
Kursk State Medical Unviersity
Author for correspondence.
Email: drantonov@mail.ru
Kursk, Russia
T V Zarubina
Russian National Research Medical University named after N.I. Pirogov
Email: drantonov@mail.ru
Moscow, Russia
A E Antonov
Kursk State Medical Unviersity
Email: drantonov@mail.ru
Kursk, Russia
S Sood
Centre for Development of Advanced Computing
Email: drantonov@mail.ru
Mohali, India
References
- Ivanenko V.A., Zolotareva R.I. Preoperation examination as a cornerstone of safe surgical treatment. In: Meditsina katastrof: obuchenie, nauka i praktika. Sbornik materialov nauchno-prakticheskoy konferentsii. (Medicine of catastrophes: education, science and practice. Collection of proceedings of scientific and practical conference.) 2015; 143–144. (In Russ.)
- Korochanskaya N.V., Rogal’ M.L., Makarenko A.V., Murashko N.V. Pre-operative preparation of patients with complicated chronic pancreatitis. Vestnik MUZ GB №2. 2013; (1): 1–8. (In Russ.)
- Konstantinova E.D., Varaksin A.N., Zhovner I.V. Identification of the main risk factors for non-infectious diseases: method of classification trees. Gigiena i sanitarija. 2013; (5): 69–72. (In Russ.)
- Skvorcova V.I. Seven principles of moernization of healthcare. Voprosy ekonomiki i upravleniya dlya rukovoditeley zdravookhraneniya. 2010; (5): 7–14. (In Russ.)
- Greenes R.A. Clinical decision support: the road ahead Amsterdam. Boston: Elsevier. 2007; 581 p.
- Chubukova I.A. Data Mining. Moscow: BINOM. Laboratoriya znaniy. 2008; 324 p. (In Russ.)
- Shchepin V.O., Rastorgueva T.I., Proklova T.N. Towards prospective directions of healthcare development in the Russian Federation. Byulleten’ Natsional’nogo nauchno-issledovatel’skogo instituta obshhestvennogo zdorov’ya imeni N.A. Semashko. 2012; (1): 147–152. (In Russ.)
- Mustafaev A.G. Use of artificial neural networks in early diagnosis of diabetes mellitus. Kibernetika i programmirovanie. 2016; (2): 1–7. (In Russ.)
- Medvedev N.V., Lobyntseva E.M. The possibilities of neural network analysis to evaluate the prognosis of chronic heart failure in elderly. Vestnik novykh meditsinskikh tekhnologiy. 2015; 22 (1): 6–11. (In Russ.)
- Yasnitsky L.N., Dumler A.A., Poleshchuk A.N. et al. Artificial neural networks for obtaining new medical knowledge: Diagnostics and prediction of cardiovascular disease progression. Biol. Med. (Aligarh.) 2015; 7 (2): BM-095-15,8.
- Prezident Rossii. Zasedanie Soveta po nauke i obrazovaniyu. (President of Russia. Meeting of the Council for Science and Education.) http://kremlin.ru/events/president/news/56827 (access date: 15.02.2018). (In Russ.)
- Lazarenko V.A., Antonov A.E. Experience of the development of the software package for neural network diagnosis and prediction of diseases of hepatopancreatoduodenal zone. Vrach i informatsionnye tekhnologii. 2017; (4): 132–140. (In Russ.)
- Lazarenko V.A., Antonov A.E. Evaluation of the quality of functioning of artificial neural network with logic outputs in the diagnosis of diseases of hepatopancreatoduodenal zone. Kazanskiy meditsinskiy zhurnal. 2017; 98 (6): 928–932. (In Russ.)
- Lazarenko V.A., Antonov A.E., Prasolov A.V., Churilin M.I. Evaluating the efficiency of neural network prognosis of health quantitative indicators in patients with diseases of the hepatopancreatoduodenal zone. Yakutsliy meditsinskiy zhurnal. 2017; (3): 83–85. (In Russ.)
- BaseGroup Labs. Tekhnologii analiza dannykh Logisticheskaya regressiya i ROC-analiz — matematicheskiy apparat. (Technologies of Data Mining. Logistic Regression and ROC-Analysis. Mathematical Apparatus.) https://basegroup.ru/community/articles/logistic (access date: 15.02.2018). (In Russ.)
Supplementary files
![](/img/style/loading.gif)