At the Crossroads of Technology and Medicine: Prospects of Automation in Medical Practice with the Use of Neural Networks

Full Text

Введение

Актуальность темы исследования связана с развитием современных технологий. В последние десятилетия нейронные сети стремительно ворвались в различные сферы нашей жизни, став ее неотъемлемой частью, и медицина тут не стала исключением. С использованием передовых технологий искусственного интеллекта, в частности нейросетей, медицинская наука стоит перед новыми перспективами автоматизации и замены человека.

Целью исследования является изучение перспективы замены человека нейросетями, а также выгоды и вызовы, которые могут возникнуть на этом пути.

Успехом нашего исследования будет получение данных, по которым можно будет сделать выводы о современных нейросетях, их возможностях и перспективах на данный момент времени.

Возможные сферы применения

1. Диагностика заболеваний. С помощью нейронных сетей можно разработать системы, которые будут самостоятельно анализировать медицинские данные пациентов, такие как результаты оценки состояния здоровья, симптомы, диагнозы. Это может помочь ускорить процесс диагностики и повысить точность конечных выводов [3].
2. Разработка лекарственных средств. Нейронные сети могут быть использованы для прогнозирования взаимодействия между различными химическими соединениями и поиска новых лекарственных препаратов. Это может ускорить процесс разработки новых лекарств и помочь снизить затраты на исследования [2].
3. Мониторинг пациентов. Нейронные сети могут быть обучены обрабатывать и анализировать данные о состоянии пациента, такие как сердечный ритм, уровень сахара в крови, давление и т.д. Они могут автоматически предупреждать медицинский персонал о возможных проблемах или изменениях в состоянии здоровья пациента [4].
4. Автоматизация хирургических процедур. Нейронные сети могут быть использованы для управления роботизированными системами во время проведения хирургических операций. Это может помочь повысить точность и снизить риск совершения ошибок [4].
5. Поддержка пациентов. Нейронные сети могут быть использованы для создания виртуальных ассистентов, которые будут отвечать на вопросы пациентов, предоставлять информацию о заболеваниях и лечении, а также давать рекомендации по улучшению состояния здоровья [4].

Это лишь некоторые примеры того, как нейронные сети могут заменить или облегчить работу человека в сфере медицины. Однако необходимо учесть, что человеческий фактор и экспертное мнение врачей играют в медицине важную роль, и нейросети не могут полностью заменить человека во всех аспектах.

Перспективы автоматизации и замены человека в медицине представляют огромный потенциал для совершенствования сферы здравоохранения и достижения лучших результатов лечения. Нейросети могут стать незаменимыми помощниками врачей, сокращая риски и оптимизируя процессы. Однако, эти перспективы влекут за собой необходимость внимательного регулирования и соблюдения этических принципов. Важно, чтобы эти передовые технологии служили исключительно для блага пациентов и медицинской науки [5].

Все вышесказанное подразумевало возможность использования нейросетей в ближайшем будущем, однако развитие технологий позволяет нам исследовать их потенциал уже сейчас [9].

Проверка нейросети по тесту USMLE

Рассмотрим, как справляется нейросеть с предоставленными ей задачами. В нашей работе мы будем использовать искусственный интеллект под названием GPT-3 (Generative Pre-trained Transformer 3) или, как он больше известен, ChatGPT разработанный OpenAI. Это большая языковая модель, которая использует крупный объем тренировочных данных для генерации естественных языковых ответов на текстовый ввод в контексте беседы. Она особенно эффективна в работе с долгосрочными зависимостями и создании согласованных и контекстуально подходящих ответов. ChatGPT – это модель языка, содержащаяся на сервере, которая не способна просматривать интернет или выполнять поисковые запросы в сети. Поэтому все ответы генерируются на месте, на основе абстрактных связей между словами в нейронной сети [1].

Нашим испытанием будет служить тест USMLE (United States Medical Licensing Examination, Экзамен на медицинское лицензирование в Соединенных Штатах), который считается одним из наиболее сложных на знание медицины. Этот экзамен охватывает широкий спектр медицинских знаний и оценивает понимание основных научных принципов, анатомии, биохимии, фармакологии, патологии, микробиологии и других областей медицины. USMLE является одним из самых длительных и трудоемких экзаменов, и для его сдачи требуется обширная подготовка и отличное знание предмета. Он состоит из более, чем 280 вопросов и делится на три раздела:

1. USMLE Уровень 1 (USMLE Step 1) [6]:

1.1 Цель. Оценка основных научных и медицинских знаний.

1.2 Содержание. В этом разделе обычно оцениваются основы биологии, биохимии, физиологии, фармакологии и других предметов, связанных с медициной.

1.3 Формат. Множественный выбор, включая некоторые вопросы с одним верным ответом и вопросы с несколькими верными ответами.

2. USMLE Уровень 2 (USMLE Step 2) [7]:

2.1 Цель. Оценка навыков клинической практики.

2.2 Содержание. Этот раздел делится на две части: Уровень 2 CK оценивает клинические знания, а Уровень 2 CS оценивает навыки взаимодействия с пациентами и клинические навыки.

2.3 Формат. Уровень 2 CK – множественный выбор и клинические ситуации; Уровень 2 CS – структурированные клинические экзамены.

3. USMLE Уровень 3 (USMLE Step 3) [8]:

3.1 Цель. Оценка способности врача принимать независимые клинические решения.

3.2 Содержание. Включает в себя разнообразные клинические ситуации, оценивающие способность врача диагностировать и лечить пациентов.

3.3 Формат. Множественный выбор, клинические ситуации, исследования и структурированные клинические экзамены.

Количество правильных ответов, необходимых для сдачи, зависит от текущего процента верных ответов. Обычно для сдачи экзамена необходимо набрать около 60-70% правильных ответов. Среднее время сдачи USMLE экзамена составляет около 9 часов.

Рассмотрим вводные данные, которые мы предоставим нашему боту: 376 публично доступных тестовых вопросов были взяты из выпуска образцового экзамена июня 2022 года, названного USMLE-2022, и были получены с официального веб-сайта USMLE. Поэтому все входные данные представляют собой настоящие образцы внеучебных данных для модели GPT3. После фильтрации было передано 350 элементов USMLE (Уровень 1: 119, Уровень 2CK: 102, Уровень 3: 122).

Вопросы были отформатированы в три варианта и введены в ChatGPT в следующей последовательности.

Открытый вопрос – Создан путем удаления всех вариантов ответа и добавления вариативной вступительной вопросительной фразы. Этот формат имитирует свободный ввод и естественный запрос пользователя. Примеры включают: «Каков будет диагноз пациента на основе предоставленной информации?» или «По вашему мнению, в чем причина асимметрии зрачка у пациента?».

Множественный выбор с одним ответом без обязательного обоснования: Создан путем воспроизведения исходного вопроса USMLE дословно. Примеры включают: «Какой из следующих вариантов будет представлять собой наиболее подходящий следующий этап лечения?» или «Состояние пациента, в основном, обусловлено каким из следующих патогенов?».

Множественный выбор с единственным ответом с обязательным обоснованием подразумевает добавление вопросительной фразы или повелительного наклонения, обязывающих ChatGPT обосновать каждый вариант ответа. Примеры включают в себя: «Какая из перечисленных причин наиболее вероятна для ночных симптомов пациента? Объясните свои аргументы по каждому варианту ответа» или «Наиболее подходящая фармакотерапия для этого пациента, скорее всего, действует по какому из следующих механизмов? Почему другие варианты неверны?».

Приступим к выполнению теста. Для уменьшения искажения ответов была начата новая сессия чата в ChatGPT для каждого вопроса. Это означает, что все они были заданы без начального предложения или контекста.

Первые элементы экзамена были представлены в виде открытых вопросов. Этот формат ввода имитирует свободный естественный запрос пользователя. Правильность ответов ChatGPT для USMLE Уровень 1, 2CK и 3 составила соответственно 75,0%, 61,5% и 68,8%.

Затем элементы экзамена были представлены как множественный выбор с одним ответом без принудительного обоснования. Этот формат ввода представляет собой дословный формат вопроса, представленный тестирующимся. Правильность ответов ChatGPT для USMLE Уровень 1, 2CK и 3 составила 55,8%, 59,1% и 61,3% соответственно.

Наконец, элементы были даны как множественный выбор с одним ответом с принудительным обоснованием положительных и отрицательных выборов. Этот формат ввода имитирует поиск информации в поведении пользователя. Правильность ответов ChatGPT составила 64,5%, 52,4% и 65,2% соответственно.

Затем, врачом-хирургом с первой квалификационной категорией и дипломом по специальности «Лечебное дело» в Федеральном государственном бюджетном образовательном учреждении высшего образования «Самарский государственный медицинский университет» Министерства здравоохранения Российской Федерации, были оценены соответствия ответов путем анализа содержания объяснений. В целом, ChatGPT выдал ответы и объяснения с согласованностью на уровне 94,6% для всех вопросов, что значит, при просьбе пояснить свой ответ мы сможем увидеть обоснованное объяснение. Высокая степень глобальной согласованности сохранялась на всех уровнях экзамена и для всех форм ввода вопросов.

Дальше мы проанализировали взаимосвязь между правильностью и соответствием в ответах. ChatGPT был вынужден обосновать свой выбор и защитить свое отклонение от альтернативных вариантов. Согласованность среди точных ответов была практически идеальной и значительно выше, чем среди неточных ответов (99,1% против 85,1%).

Анализ результатов

Анализируя результаты, можно заметить, что процент правильных ответов на вопросы, требующих развернутого описания выше, чем у вопросов с вариантами ответа. Но самое главное, что общий процент верных ответов для всех разделов равен 62,62%, что является достаточным показателем прохождения теста. Но разве такой процент является достаточным, чтобы мы могли доверить нейросетям нашу жизнь?

В этом исследовании, которое проходило на протяжении двух недель, мы предоставляем доказательства того, что ChatGPT способен выполнять несколько сложных задач, связанных с обработкой сложной медицинской и клинической информации. Чтобы оценить возможности ChatGPT в решении биомедицинских и клинических вопросов стандартизированной сложности, мы протестировали его эксплуатационные характеристики на экзамене по медицинскому лицензированию в Соединенных Штатах (USMLE).

Выводы

Выводы можно разделить на две основные темы:

Растущая точность ChatGPT, которая приближается к пороговому значению USMLE, или превышает его, может свидетельствовать о возможном будущем, где мы будем доверять наши жизни машинам, а потенциал искусственного интеллекта для генерации новых идей, которые могут помочь учащимся в условиях медицинского образования, становится все выше.

Однако сейчас еще слишком рано говорить о полной замене человека. Пока есть хоть один шанс того, что искусственный интеллект может ошибиться, люди не смогут доверять машинам без участия человека [10].

About the authors

Kirill S. Belov

Povolzhskiy State University of Telecommunications and Informatics

Author for correspondence.
Email: frozent.03@mail.ru

Student of the Computer Science and Computer Engineering Department

Russian Federation, Samara

Alexander S. Kharitonov

Povolzhskiy State University of Telecommunications and Informatics

Email: sasha2030203020302030@mail.ru

Student of the Computer Science and Computer Engineering Department

Russian Federation, Samara

Svetlana V. Chernova

Povolzhskiy State University of Telecommunications and Informatics

Email: chernova_s_v@bk.ru

Senior Lecturer of the Software Engineering Department

Russian Federation, Samara

References

Supplementary files