<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE root>
<article xmlns:mml="http://www.w3.org/1998/Math/MathML" xmlns:xlink="http://www.w3.org/1999/xlink" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:ali="http://www.niso.org/schemas/ali/1.0/" article-type="other" dtd-version="1.2" xml:lang="en"><front><journal-meta><journal-id journal-id-type="publisher-id">Health Сare of the Russian Federation</journal-id><journal-title-group><journal-title xml:lang="en">Health Сare of the Russian Federation</journal-title><trans-title-group xml:lang="ru"><trans-title>Здравоохранение Российской Федерации</trans-title></trans-title-group></journal-title-group><issn publication-format="print">0044-197X</issn><issn publication-format="electronic">2412-0723</issn><publisher><publisher-name xml:lang="en">Federal Scientific Center for Hygiene F.F.Erisman</publisher-name></publisher></journal-meta><article-meta><article-id pub-id-type="publisher-id">637940</article-id><article-id pub-id-type="doi">10.46563/0044-197X-2020-64-6-343-350</article-id><article-categories><subj-group subj-group-type="toc-heading" xml:lang="en"><subject>PROBLEMS OF SOCIALLY SIGNIFICANT DISEASES</subject></subj-group><subj-group subj-group-type="toc-heading" xml:lang="ru"><subject>ПРОБЛЕМЫ СОЦИАЛЬНО ЗНАЧИМЫХ ЗАБОЛЕВАНИЙ</subject></subj-group><subj-group subj-group-type="article-type"><subject></subject></subj-group></article-categories><title-group><article-title xml:lang="en">Methodology and tools for creating training samples for artificial intelligence systems for recognizing lung cancer on CT images</article-title><trans-title-group xml:lang="ru"><trans-title>Методология и инструментарий создания обучающих выборок для систем искусственного интеллекта по распознаванию рака легкого на КТ-изображениях</trans-title></trans-title-group></title-group><contrib-group><contrib contrib-type="author"><contrib-id contrib-id-type="orcid">https://orcid.org/0000-0001-7046-7157</contrib-id><name-alternatives><name xml:lang="en"><surname>Kulberg</surname><given-names>Nikolay S.</given-names></name><name xml:lang="ru"><surname>Кульберг</surname><given-names>Николай Сергеевич</given-names></name></name-alternatives><address><country country="RU">Russian Federation</country></address><bio xml:lang="en"><p>MD, Ph.D., head of the Department, Scientific and Practical Clinical Center for Diagnostics and Telemedicine Technologies, Moscow, 109029, Russia.</p><p>e-mail: kulberg@npcmr.ru </p></bio><bio xml:lang="ru"><p>Канд. физ.-мат. наук, руководитель отдела ГБУЗ «Научнопрактический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы», 109029, Москва.</p><p>e-mail: kulberg@npcmr.ru</p></bio><email>kulberg@npcmr.ru</email><xref ref-type="aff" rid="aff1"/><xref ref-type="aff" rid="aff2"/></contrib><contrib contrib-type="author"><contrib-id contrib-id-type="orcid">https://orcid.org/0000-0001-8864-8722</contrib-id><name-alternatives><name xml:lang="en"><surname>Gusev</surname><given-names>Maxim A.</given-names></name><name xml:lang="ru"><surname>Гусев</surname><given-names>М. А.</given-names></name></name-alternatives><address><country country="RU">Russian Federation</country></address><xref ref-type="aff" rid="aff1"/><xref ref-type="aff" rid="aff3"/></contrib><contrib contrib-type="author"><contrib-id contrib-id-type="orcid">https://orcid.org/0000-0002-9661-0254</contrib-id><name-alternatives><name xml:lang="en"><surname>Reshetnikov</surname><given-names>Roman V.</given-names></name><name xml:lang="ru"><surname>Решетников</surname><given-names>Р. В.</given-names></name></name-alternatives><address><country country="RU">Russian Federation</country></address><xref ref-type="aff" rid="aff1"/><xref ref-type="aff" rid="aff4"/></contrib><contrib contrib-type="author"><contrib-id contrib-id-type="orcid">https://orcid.org/0000-0003-3786-4171</contrib-id><name-alternatives><name xml:lang="en"><surname>Elizarov</surname><given-names>Alexey B.</given-names></name><name xml:lang="ru"><surname>Елизаров</surname><given-names>А. Б.</given-names></name></name-alternatives><address><country country="RU">Russian Federation</country></address><xref ref-type="aff" rid="aff1"/></contrib><contrib contrib-type="author"><contrib-id contrib-id-type="orcid">https://orcid.org/0000-0002-6752-1375</contrib-id><name-alternatives><name xml:lang="en"><surname>Novik</surname><given-names>Vladimir P.</given-names></name><name xml:lang="ru"><surname>Новик</surname><given-names>В. П.</given-names></name></name-alternatives><address><country country="RU">Russian Federation</country></address><xref ref-type="aff" rid="aff1"/></contrib><contrib contrib-type="author"><contrib-id contrib-id-type="orcid">https://orcid.org/0000-0003-0970-3645</contrib-id><name-alternatives><name xml:lang="en"><surname>Prokudaylo</surname><given-names>Sergey B.</given-names></name><name xml:lang="ru"><surname>Прокудайло</surname><given-names>С. Б.</given-names></name></name-alternatives><address><country country="RU">Russian Federation</country></address><xref ref-type="aff" rid="aff1"/></contrib><contrib contrib-type="author"><contrib-id contrib-id-type="orcid">https://orcid.org/0000-0001-9419-2282</contrib-id><name-alternatives><name xml:lang="en"><surname>Philippovich</surname><given-names>Yuriy N.</given-names></name><name xml:lang="ru"><surname>Филиппович</surname><given-names>Ю. Н.</given-names></name></name-alternatives><address><country country="RU">Russian Federation</country></address><xref ref-type="aff" rid="aff3"/></contrib><contrib contrib-type="author"><contrib-id contrib-id-type="orcid">https://orcid.org/0000-0003-1816-1315</contrib-id><name-alternatives><name xml:lang="en"><surname>Gobmolevsky</surname><given-names>Victor A.</given-names></name><name xml:lang="ru"><surname>Гомболевский</surname><given-names>В. А.</given-names></name></name-alternatives><address><country country="RU">Russian Federation</country></address><xref ref-type="aff" rid="aff1"/></contrib><contrib contrib-type="author"><contrib-id contrib-id-type="orcid">https://orcid.org/0000-0002-2990-7736</contrib-id><name-alternatives><name xml:lang="en"><surname>Vladzymyrskyy</surname><given-names>Anton V.</given-names></name><name xml:lang="ru"><surname>Владзимирский</surname><given-names>А. В.</given-names></name></name-alternatives><address><country country="RU">Russian Federation</country></address><xref ref-type="aff" rid="aff1"/></contrib><contrib contrib-type="author"><contrib-id contrib-id-type="orcid">https://orcid.org/0000-0002-0925-5822</contrib-id><name-alternatives><name xml:lang="en"><surname>Kamynina</surname><given-names>Natalya N.</given-names></name><name xml:lang="ru"><surname>Камынина</surname><given-names>Н. Н.</given-names></name></name-alternatives><address><country country="RU">Russian Federation</country></address><xref ref-type="aff" rid="aff5"/></contrib><contrib contrib-type="author"><contrib-id contrib-id-type="orcid">https://orcid.org/0000-0001-6545-6170</contrib-id><name-alternatives><name xml:lang="en"><surname>Morozov</surname><given-names>Sergey P.</given-names></name><name xml:lang="ru"><surname>Морозов</surname><given-names>С. П.</given-names></name></name-alternatives><address><country country="RU">Russian Federation</country></address><xref ref-type="aff" rid="aff1"/></contrib></contrib-group><aff-alternatives id="aff1"><aff><institution xml:lang="en">Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department</institution></aff><aff><institution xml:lang="ru">ГБУЗ города Москвы «Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы»</institution></aff></aff-alternatives><aff-alternatives id="aff2"><aff><institution xml:lang="en">Federal Research Center «Computer Science and Control» of Russian Academy of Sciences</institution></aff><aff><institution xml:lang="ru">Федеральный исследовательский центр «Информатика и управление» Российской академии наук</institution></aff></aff-alternatives><aff-alternatives id="aff3"><aff><institution xml:lang="en">Moscow Polytechnic Uniersity</institution></aff><aff><institution xml:lang="ru">ФГБОУ ВО «Московский политехнический университет»</institution></aff></aff-alternatives><aff-alternatives id="aff4"><aff><institution xml:lang="en">Institute of Molecular Medicine, Sechenov First Moscow State Medical University</institution></aff><aff><institution xml:lang="ru">Институт молекулярной медицины, ФГАОУ ВО «Первый Московский государственный медицинский университет им И.М. Сеченова» (Сеченовский университет), Минздрава России</institution></aff></aff-alternatives><aff-alternatives id="aff5"><aff><institution xml:lang="en">Research Institute for Healthcare Organization and Medical Management of Moscow Healthcare Department</institution></aff><aff><institution xml:lang="ru">ГБУ «Научно-исследовательский институт организации здравоохранения и медицинского менеджмента Департамента здравоохранения города Москвы»</institution></aff></aff-alternatives><pub-date date-type="pub" iso-8601-date="2021-01-01" publication-format="electronic"><day>01</day><month>01</month><year>2021</year></pub-date><volume>64</volume><issue>6</issue><fpage>343</fpage><lpage>350</lpage><history><date date-type="received" iso-8601-date="2024-10-25"><day>25</day><month>10</month><year>2024</year></date></history><permissions><copyright-statement xml:lang="en">Copyright ©; 2021, Kulberg N.S., Gusev M.A., Reshetnikov R.V., Elizarov A.B., Novik V.P., Prokudaylo S.B., Philippovich Y.N., Gobmolevsky V.A., Vladzymyrskyy A.V., Kamynina N.N., Morozov S.P.</copyright-statement><copyright-statement xml:lang="ru">Copyright ©; 2021, Кульберг Н.С., Гусев М.А., Решетников Р.В., Елизаров А.Б., Новик В.П., Прокудайло С.Б., Филиппович Ю.Н., Гомболевский В.А., Владзимирский А.В., Камынина Н.Н., Морозов С.П.</copyright-statement><copyright-year>2021</copyright-year><copyright-holder xml:lang="en">Kulberg N.S., Gusev M.A., Reshetnikov R.V., Elizarov A.B., Novik V.P., Prokudaylo S.B., Philippovich Y.N., Gobmolevsky V.A., Vladzymyrskyy A.V., Kamynina N.N., Morozov S.P.</copyright-holder><copyright-holder xml:lang="ru">Кульберг Н.С., Гусев М.А., Решетников Р.В., Елизаров А.Б., Новик В.П., Прокудайло С.Б., Филиппович Ю.Н., Гомболевский В.А., Владзимирский А.В., Камынина Н.Н., Морозов С.П.</copyright-holder><ali:free_to_read xmlns:ali="http://www.niso.org/schemas/ali/1.0/" start_date="2022-01-01"/><license><ali:license_ref xmlns:ali="http://www.niso.org/schemas/ali/1.0/">https://creativecommons.org/licenses/by/4.0</ali:license_ref></license></permissions><self-uri xlink:href="https://journals.eco-vector.com/0044-197X/article/view/637940">https://journals.eco-vector.com/0044-197X/article/view/637940</self-uri><abstract xml:lang="en"><p><bold>Introduction.</bold> Medical imaging techniques can diagnose many diseases at the early stages of their development, improving the patient survival. Artificial intelligence (AI) systems, requiring the high-quality annotated and marked-up sets of medical images, are a suitable and promising means of improving the diagnostics’ quality.</p><p><bold>The purpose</bold> of the study was to develop a methodology and software for creating AIS training sets.</p><p><bold>Material and methods.</bold> We compared the main annotation methods’ performance and accuracy and based the information system on the most efficient method in both domains to develop an optimal approach. To markup objects of interest, we used the cluster model of lesions localization previously developed by the authors. We used C++ and Kotlin programming languages for software development.</p><p><bold> Results.</bold> A structured annotation template with delivered a glossary of terms became the basis of the information system. The latter consists of three interacting modules, two of which are executed on a remote server’s capacities and one on a personal computer or mobile device of the end-user. The first module is a web service responsible for the workflow logic. The second module, a web server, is responsible for interacting with client applications. Its role is to identify users and manage the database and Picture Archiving and Communication System (PACS) connections. The front-end module is a web application with a graphical interface that assists the end-user in images’ markup and annotation.</p><p><bold>Conclusions.</bold> An algorithmic basis and a software package have been created for annotation and markup of CT images. The resulting information system was used in a large-scale lung cancer screening project for the creation of medical imaging datasets.</p></abstract><trans-abstract xml:lang="ru"><p><bold>Введение.</bold> Методы медицинской визуализации позволяют диагностировать многие заболевания на ранних стадиях развития, способствуя повышению выживаемости пациентов. Актуальным и перспективным средством повышения качества диагностики являются системы искусственного интеллекта (ИИ), для обучения которых необходимы высококачественные аннотированные и размеченные наборы медицинских изображений.</p><p><bold>Целью</bold> исследования является повышение качества диагностики рака легкого с помощью использования систем ИИ.</p><p><bold> Материал и методы.</bold> Разработана методология и программное обеспечение, позволяющие в короткое время сформировать обучающие выборки для создания систем ИИ по распознаванию рака легкого. Для обоснования методологии сравнивали точность и быстродействие основных подходов к созданию обучающих выборок на компьютерных моделях опухолевых образований. Для разметки объектов интереса использовали ранее разработанную авторами кластерную модель обозначения локализации. При разработке программного обеспечения использовали языки C++ и Kotlin.</p><p><bold> Результаты.</bold> Разработан шаблон структурированной аннотации со словарём терминов, ставший основой для создания информационной системы. Последняя состоит из трёх взаимодействующих между собой модулей, два из которых выполняются на мощностях удалённого сервера и один - на персональном компьютере или мобильном устройстве конечного пользователя. Фундаментом информационной системы является серверная часть, отвечающая, отвечающий за логику работы с исследованиями. За взаимодействие с клиентскими приложениями отвечает веб-сервер, роль которого заключается в идентификации пользователей, работе с базой данных, управлении подключением к системе передачи и архивации изображений и выгрузке отчетов. В качестве клиентской части выступает веб-приложение с графическим интерфейсом, позволяющим оптимизировать разметку и аннотацию изображений.</p><p><bold>Заключение.</bold> Созданы алгоритмическая основа и программный комплекс, позволяющие проводить разметку компьютерных томограмм с целью создания обучающих выборок для разработки систем ИИ. Разработанную информационную систему использовали для разметки и аннотации КТ-исследований в рамках проекта «Московский скрининг рака лёгкого».</p></trans-abstract><kwd-group xml:lang="en"><kwd>artificial intelligence systems</kwd><kwd>training sample</kwd><kwd>computed tomography</kwd><kwd>computer diagnostics</kwd><kwd>medical artificial intelligence</kwd><kwd>medical imaging</kwd></kwd-group><kwd-group xml:lang="ru"><kwd>системы искусственного интеллекта</kwd><kwd>обучающая выборка</kwd><kwd>компьютерная томография</kwd><kwd>компьютерная диагностика</kwd><kwd>медицинские интеллектуальные технологии</kwd><kwd>медицинская визуализация</kwd></kwd-group></article-meta></front><body></body><back><ref-list><ref id="B1"><label>1.</label><citation-alternatives><mixed-citation xml:lang="en">Riquelme D., Akhloufi M.A. Deep learning for lung cancer nodules detection and classification in CT scans. AI. 2020; 1(1): 28–67. https://doi.org/10.3390/ai1010003</mixed-citation><mixed-citation xml:lang="ru">Riquelme D., Akhloufi M.A. Deep learning for lung cancer nodules detection and classification in CT scans. AI. 2020; 1(1): 28-67. https://doi.org/10.3390/ai1010003</mixed-citation></citation-alternatives></ref><ref id="B2"><label>2.</label><mixed-citation>Bell D.J., Morgan M.A. Lung-RADS. National Cancer Institute (NCI). Available at: https://radiopaedia.org/articles/lung-rads</mixed-citation></ref><ref id="B3"><label>3.</label><citation-alternatives><mixed-citation xml:lang="en">Morozov S.P., Kul’berg N.S., Gombolevskiy V.A., Ledikhova N.A., Sokolina I.A., Vladzimirskiy A.V., et al. Tagged Chest Computed Tomography (CT) Images. Patent RU № 2018620500; 2018. (in Russian)</mixed-citation><mixed-citation xml:lang="ru">Морозов С.П., Кульберг Н.С., Гомболевский В.А., Ледихова Н.А., Соколина И.А., Владзимирский А.В. и др. Тегированные результаты компьютерных томографий легких, база данных. Патент RU № 2018620500; 2018.</mixed-citation></citation-alternatives></ref><ref id="B4"><label>4.</label><citation-alternatives><mixed-citation xml:lang="en">Morozov S.P., Kul’berg N.S., Gombolevskiy V.A., Ledikhova N.A., Sokolina I.A., Vladzimirskiy A.V., et al. Chest Computer Tomography (CT) set for Machine Learning. Patent RU № 2018620427; 2018. (in Russian)</mixed-citation><mixed-citation xml:lang="ru">Морозов С.П., Кульберг Н.С., Гомболевский В.А., Ледихова Н.А., Соколина И.А., Владзимирский А.В. и др. Обучающий набор компьютерных томограмм легких. Патент RU № 2018620427; 2018.</mixed-citation></citation-alternatives></ref><ref id="B5"><label>5.</label><mixed-citation>Li Z., Wang C., Han M., Xue Y., Wei W., Li L.J., et al. Thoracic Disease Identification and Localization with Limited Supervision. Available at: https://arxiv.org/abs/1711.06373</mixed-citation></ref><ref id="B6"><label>6.</label><citation-alternatives><mixed-citation xml:lang="en">Armato S.G., McLennan G., Bidaut L., McNitt-Gray M.F., Meyer C.R., Reeves A.P., et al. The Lung Image Database Consortium (LIDC) and Image Database Resource Initiative (IDRI): A completed reference database of lung nodules on CT scans. Med. Phys. 2011; 38(2): 915–31. https://doi.org/10.1118/1.3528204</mixed-citation><mixed-citation xml:lang="ru">Armato S.G., McLennan G., Bidaut L., McNitt-Gray M.F., Meyer C.R., Reeves A.P., et al. The Lung Image Database Consortium (LIDC) and Image Database Resource Initiative (IDRI): A completed reference database of lung nodules on CT scans. Med. Phys. 2011; 38(2): 915-31. https://doi.org/10.1118/1.3528204</mixed-citation></citation-alternatives></ref><ref id="B7"><label>7.</label><mixed-citation>Kan S.H. Metrics and Models in Software Quality Engineering. Boston: Addison-Wesley Professional; 2003.</mixed-citation></ref><ref id="B8"><label>8.</label><citation-alternatives><mixed-citation xml:lang="en">Kovalev V.A., Levchuk V.A., Kalinovskiy A.A., Fridman M.V. Tumor segmentation in whole-slide histology images using deep learning. Informatika. 2019; 16(2): 18–26. (in Russian)</mixed-citation><mixed-citation xml:lang="ru">Ковалев В.А., Левчук В.А., Калиновский А.А., Фридман М.В. Сегментация опухолей на полнослайдовых гистологических изображениях с использованием технологии глубокого обучения. Информатика. 2019; 16(2): 18-26.</mixed-citation></citation-alternatives></ref><ref id="B9"><label>9.</label><mixed-citation>Xu R., Zhou X., Hirano Y., Tachibana R., Hara T., Kido S., et al. Particle system based adaptive sampling on spherical parameter space to improve the MDL method for construction of statistical shape models. Comput. Math. Methods Med. 2013; 2013: 196259. https://doi.org/10.1155/2013/196259</mixed-citation></ref><ref id="B10"><label>10.</label><citation-alternatives><mixed-citation xml:lang="en">Armato S.G., Meyer C.R., Mcnitt-Gray M.F., McLennan G., Reeves A.P., Croft B.Y., et al. The Reference Image Database to Evaluate Response to therapy in lung cancer (RIDER) project: A resource for the development of change analysis software. Clin. Pharmacol. Ther. 2008; 84(4): 448–56. https://doi.org/10.1038/clpt.2008.161</mixed-citation><mixed-citation xml:lang="ru">Armato S.G., Meyer C.R., Mcnitt-Gray M.F., McLennan G., Reeves A.P., Croft B.Y., et al. The Reference Image Database to Evaluate Response to therapy in lung cancer (RIDER) project: A resource for the development of change analysis software. Clin. Pharmacol. Ther. 2008; 84(4): 448-56. https://doi.org/10.1038/clpt.2008.161</mixed-citation></citation-alternatives></ref><ref id="B11"><label>11.</label><mixed-citation>Bakr S., Gevaert O., Echegaray S., Ayers K., Zhou M., Shafiq M., et al. A radiogenomic dataset of non-small cell lung cancer. Sci. Data. 2018; 5: 180202. https://doi.org/10.1038/sdata.2018.202</mixed-citation></ref></ref-list></back></article>
