Eye line tracking evaluation system (Eye-tracking) for diagnosing the state of integrative brain functions

Cover Page


Cite item

Full Text

Abstract

BACKGROUND: Currently, against the background of an increase in the proportion of the population of the older age group in the world, the issue of early diagnosis of developing cognitive impairment in patients with various diseases of the nervous system, as well as the search for effective biomarkers that would indicate the beginning of their development, is becoming more and more urgent. Cognitive functions are the highest manifestation of complex integrative processes occurring in the central nervous system, one of the most important ways of information entry into which is the visual analyzer. In the process of assessing the surrounding space, the oculomotor system performs the most difficult work to synchronize the visual axes of the eyes to obtain the clearest possible image. The sequence and duration of fixations on the elements of the object are determined, among other things, by the thinking process, which determines the analysis and assimilation of the received information. It is the disturbances in the work of this system that can occur at the early stages of the development of cognitive dysfunctions, as a result of disintegration processes in the brain. Thus, disintegration markers may be important predictors of developing cognitive impairment in nervous system diseases.

AIM: of the work was to develop a method for assessing the state of the eye position system in patients with initial cognitive dysfunctions.

MATERIALS AND METHODS: In the process, we developed an experiment in the form of a sequence of visual stimuli with audio and text accompaniment, which were presented with a certain sequence and for a limited time, which was presented to the subjects as part of the solution of the cognitive task. Eye movements were recorded in real time using the Pupil Invisible ai-tracking system, which contains two integrated infrared cameras with a frequency of 200 Hz in its design. Based on the results of assessing the digital characteristics of the parameters of eye movements (the number of fixations, their duration and position on the coordinate axis), the so-called “heat maps” were generated and analyzed.

RESULTS: In order to be able to quantify the resulting heat maps, we have developed a methodology for quantifying the results obtained. The developed methods make it possible to start collecting data to identify typical oculomotor patterns in solving cognitive tasks, both in healthy people and in patients with mild cognitive impairment, for the subsequent application of the method in clinical practice.

Full Text

АКТУАЛЬНОСТЬ

В настоящее время все чаще звучат призывы к формированию здорового образа жизни, которые находят отклик среди молодежи. Однако не следует забывать о том, что одной из наиболее многочисленных групп населения являются люди пожилого и старческого возраста. Для них вопрос формирования условий, позволяющих продлить физическое и когнитивное здоровье, представляется не менее актуальным. С середины ХХ в. благодаря научным открытиям, достижениям медицины, а также успехам в социальной и экономической сферах большинства стран доля людей старше 65 лет неуклонно растет. Это сопровождается увеличением числа возрастзависимых заболеваний, включая в том числе и связанные с нейродегенеративными процессами, такие как болезнь Альцгеймера и другие формы деменции.

Процесс старения связан с повышенным риском развития нейродегенеративных заболеваний, так как чаще всего они сопровождаются развитием когнитивных нарушений. Особое внимание в настоящее время уделяется поиску предикторов и биомаркеров, которые бы свидетельствовали о начале их развития, поскольку предполагается, что раннее выявление признаков заболеваний позволит более эффективно проводить их профилактику и лечение. Таким образом, одними из главных задач здравоохранения становятся профилактика, ранняя диагностика и лечение возрастзависимых заболеваний. Важной целью в данном направлении является развитие концепции «здорового старения», которую Всемирная организация здравоохранения (BO3) определяет как процесс развития и поддержания функциональных возможностей, необходимых для активной и полноценной жизни в пожилом возрасте [1].

Согласно данным ВОЗ, в мире насчитывается около 50 млн человек, страдающих деменцией, большинство из которых — пациенты с болезнью Альцгеймера [2]. Развивающиеся нарушения когнитивных функций у этих пациентов существенно ухудшают качество их жизни и увеличивают расходы как родственников, так и государства на оказываемую таким людям помощь, медицинскую и социальную. Существующие методы диагностики, которые позволяют выявлять развитие данных состояний, не обладают необходимой чувствительностью на ранних стадиях развивающегося патологического процесса, а также требуют участия высококвалифицированных специалистов. Активно использующиеся методы нейровизуализации, такие как магнитно-резонансная и позитронно-эмиссионная томография и пр., не обладают в настоящий момент высокой чувствительностью на ранних стадиях, являются дорогостоящими и недоступными для массового применения. Из вышесказанного становится ясно, что заболевание чаще всего обнаруживается на стадии выраженных клинических проявлений родственниками пациента, то есть в тот момент, когда патологический процесс уже давно активно прогрессирует. Вследствие этого назначаемое лечение носит симптоматический характер и не позволяет воздействовать на ни одну из причин заболевания.

Таким образом, для обеспечения концепции здорового старения существует потребность в разработке таких методов исследования, которые позволяли бы диагностировать предикторы и биомаркеры на самых ранних стадиях заболеваний, приводящих к развитию когнитивных нарушений. В данном контексте мы предлагаем обратить внимание на исследование движений глаз и самой зрительной функции при выполнении когнитивных задач как потенциального биомаркера ранних когнитивных нарушений. Зрение — это основной источник получения информации об окружающем мире, на основании которого человек идентифицирует окружающее его пространство, осуществляет взаимодействие с ним и оценивает результаты этого взаимодействия. Во многом это обеспечивается зрительной системой, принимающей участие в сложных интегративных процессах сенсорно-биологической конвергенции в процессе гнозиса с участием сложно организованного вспомогательного аппарата органа зрения, осуществляющего настройку нашей оптической системы на объект нашего внимания в текущий момент. Глаза человека произвольно и непроизвольно фиксируют «узловые» элементы объектов, несущие в себе принципиальные сведения о них. Чем больше характеристик содержат в себе эти элементы, тем дольше на них задерживается взгляд. В соответствии с задачами, стоящими перед наблюдателем, соответственно изменяется и распределение между точками фиксации на объекте, поскольку различные области объекта содержат разную информацию о нем. Последовательность и продолжительность фиксаций на элементах объекта определяются процессом мышления, который определяет усвоение получаемых сведений. Через данные процессы происходит в том числе и реализация когнитивных функций, и это позволяет предполагать, что по мере их ухудшения вследствие развития различных по этиологии дезинтеграционных процессов будут нарушаться сложные механизмы обеспечения направления взгляда. Возможности оценки движений глаз привлекали внимание исследователей достаточно давно, и классиком в этой области является А.Л. Ярбус, чей труд «Роль движений глаз в процессе зрения» многократно переиздавался [3].

В настоящее время существуют различные методы измерения движения глаз, например такие, как электроокулография, нейрофизиологический и др. Наибольшую популярность приобретает оптический метод или видеоокулография. Принцип его работы заключается в комбинации использования пучков инфракрасного света, которые формируют корнеальное отражение, воспринимаемое оптическим сенсором, и видеокамеры, захватывающей изображение глаз. В результате полученные данные с помощью различных алгоритмов преобразуются в числовые значения, на основании которых уже и происходит оценка движений глаз.

Оптические методы широко используются для отслеживания взгляда и пользуются популярностью благодаря своей неинвазивности и доступности. Системы отслеживания глаз измеряют положение глазных яблок, их движения и размер зрачков для выявления зон, к которым человек проявляет особый интерес в определенное время, — так называемые точки фиксации. Это области, в которых взгляд пользователя перестает совершать активные движения, задерживаясь достаточно долго, чтобы он мог обработать полученную информацию. Движение глаз между точками фиксации называются саккадами, то есть скачками. И хотя во время этих скачков от одной точки фиксации к другой человек не воспринимает визуальную информацию, визуализация саккад показывает путь, который глаза проходят между фиксациями.

В настоящее время в физиологии зрения выделяют достаточно большое количество характеристик, которые могут быть инструментально измерены: саккады, моргание, вергенция, прослеживание, вестибулоокулярный рефлекс, оптокинетическая и зрачковые реакции [4]. Однако оценка большого количества динамически изменяющихся параметров требует сложных методов статистической обработки и затруднена в применении практической медициной. В имеющихся работах чаще всего оценивается ограниченное количество показателей, которые могут быть измерены количественно и опосредованно посредством визуализации так называемой тепловой карты.

С помощью ай-трекинга мы можем оценить эффективность работы мозга, которая находится в непосредственной связи с когнитивными функциями и реализует свою афферентную составляющую через зрительный анализатор. Он имеет в своем составе две сложные системы — магноцеллюлярную и парвоцеллюлярную, которые работают параллельно и позволяют обрабатывать различные аспекты визуальной информации, а также осуществлять рефлекторные (координатные) функции.

Принято считать, что вначале информация попадает в первичную зрительную (сенсорную) кору, а уже оттуда — в ассоциативные центры, которые отправляют стимулы, возбуждающие моторные и премоторные области коры, формирующие осознанное движение глаз. Зрительная система имеет множество двухсторонних связей с экстрапирамидной системой, особенно с базальными ганглиями. Если функционирование этих контуров не нарушено, то происходит стабильное функционирование синапсов на разных уровнях, тем самым обеспечивая баланс между возбуждающими и тормозящими стимулами. Однако при различных патологиях, приводящих к расстройству функционирования этих взаимосвязей, нарушается сглаженная настройка, которая влияет на функционирование головного мозга и сказывается на конечных результатах его деятельности, в том числе на зрительном восприятии и контроле глазодвигательной системы.

В основе нашей работы лежит предположение, что формирующиеся когнитивные нарушения у пациентов с различными заболеваниями центральной нервной системы найдут отражение в изменении характеристик движений глаз при выполнении когнитивных задач, связанных с визуальным восприятием информации.

Цель исследования — разработка методик оценки состояния системы положения глаз у пациентов с начальными когнитивными дисфункциями.

МАТЕРИАЛЫ И МЕТОДЫ

В процессе работы мы использовали аппарат eye-tracker — Pupil Invisible [5]. Данная система содержит в своей конструкции оправу с двумя интегрированными инфракрасными камерами, используемыми для отслеживания глаз с разрешением 192 × 192 пикселя и частотой 200 Гц, с помощью чего производится фиксация движений глаз в реальном времени. Обработка полученной информации реализуется с помощью программного обеспечения Pupil Capture. В результате мы получаем цифровые характеристики параметров движений глаз: количество фиксаций, их длительность и положение на координатной оси. На основании этих данных для визуализации полученных результатов в последующей обработке составляется так называемая тепловая карта, которая позволяет выделить основные зоны внимания (рис. 1).

 

Рис. 1. Тепловая карта изображения при выполнении пациентом когнитивной задачи

Fig. 1. Heat map of an image while a patient was performing a cognitive task

 

Одной из проблем на начальном этапе исследования явилось то, что в настоящее время отсутствуют программы, которые позволяют количественно оценить характеристики полученной тепловой карты. Для решения данной задачи нами была разработана методика объективизации полученных результатов тепловых карт на базе Python [6].

ДИЗАЙН ИССЛЕДОВАНИЯ

На начальном этапе работы нами было обследовано 18 условно здоровых лиц, из них 10 мужчин и 8 женщин. Средний возраст мужчин составлял 57 лет, женщин — 61 год. Перед началом исследования все пациенты проходили оценку когнитивных функций с помощью батареи тестов: MMSE (Mini-Mental State Examination), модифицированный вариант Mini-Cog и тест «Рисование часов» по стандартной методике [7]. Средние результаты для обеих групп получились следующие: MMSE — 28, модифицированный Mini-Cog — 9,5, тест «Рисование часов» — 8,6.

Специально для данного оборудования нами разработан эксперимент с использованием программы PsychoPy [8]. Данный инструмент позволил нам создать последовательность визуальных стимулов с ауди- и текстовым сопровождением, которые предъявлялись с определенной последовательностью и за ограниченное время.

Эксперимент состоял из двух частей, в каждой из которых предъявлялись одни и те же три изображения в качестве основных стимулов. Главное отличие между частями заключалось в задачах, которые ставились перед испытуемыми. В первой — стимулы предъявлялись в течение 10 с с целью внимательно их осмотреть и постараться запомнить все изображенные на них элементы. Во второй же части от участников требовалось как можно быстрее найти на предъявляемом изображении конкретный элемент, зафиксировать на нем взгляд и сообщить о выполненном действии врачу. Таким образом, мы смогли выявить паттерн движений глаз, которые смогли оценить при помощи ай-трекинга при выполнении когнитивной задачи.

РЕЗУЛЬТАТЫ И ОБСУЖДЕНИЕ

Основной проблемой для широкого применения ай-трекинга в клинической практике является сложность математической обработки получаемых результатов (в основном это координаты точки фиксации взгляда, количество и их длительность в ключевых зонах изображений). Для упрощения анализа получаемых данных нами был выбран метод качественной оценки анализа изображений с расчетом площади анализируемой части изображения по отношению к общей площади предъявляемого изображения при выполнении поставленной когнитивной задачи. С данной целью на изображение накладывается маска, которая делит его на 100 секторов, каждый со своими уникальными координатами. В последующем при анализе производится оценка плотности засветки каждого сектора, что позволяет оценить распределение внимания на отдельных частях изображения и также используется для вычисления площади «теплового пятна» (рис. 2).

 

Рис. 2. Обработанная тепловая карта для получения количественной оценки характеристик движения глаз

Fig. 2. Processed heat map to quantify eye movement characteristics

 

В результате обработки получаемых данных о движениях глаз получают данные, позволяющие оценить эффективность оценки обследуемым предъявляемого изображения в зависимости от предъявляемой ему когнитивной задачи на основании оценки «центра тяжести», «плотности» количества фиксаций и их продолжительности относительно площади предъявляемого изображения (таблица).

 

Таблица. Процент покрытия тепловой карты относительно площади сектора и всего изображения

Table. Percentage of coverage of the heat map relative to the area of the sector and the entire image

Номер сектора

Покрытие сектора, %

Процент от всей площади изображения, %

4,5

99,2

0,9

5,5

100

1

6,5

47

0,47

 

Разработанная методика позволяет выявлять паттерны движений глаз у обследуемых лиц в процессе выполнения ими когнитивных задач в целях дальнейшего поиска патологических изменений у пациентов с когнитивными нарушениями различной выраженности.

Так, в таблице представлен пример оценки тепловой карты: номер сектора, плотность его покрытия и плотность покрытия части сектора относительно всей площади изображения, что позволяет в процентном соотношении соотнести плотность и длительность фиксаций взгляда на отдельных частях изображения.

ЗАКЛЮЧЕНИЕ

Диагностика когнитивных нарушений в настоящее время представляет проблему для практической медицины, требующую разработки новых простых и доступных методов, одним из которых может быть метод оценки отслеживания линий взгляда (ай-трекинг).

В настоящее время широкому применению метода ай-трекинга в процессе исследования препятствуют сложности обработки получаемых данных, поскольку они представляют собой большой массив информации, требующий сложной математической обработки, отличающийся в зависимости от поставленных задач. В настоящий момент удобные инструменты разработаны в интересах маркетинга и не позволяют производить количественную оценку. Отсутствуют стандарты оценки выявляемых отклонений.

В рамках проводимой нами работы разработана перспективная методика оценки интегративных показателей когнитивных функций, которая может быть широко использована в клинической практике с целью выявления когнитивных нарушений на ранних дезинтегративных этапах развития заболеваний нервной системы, астенических состояний, переутомления у операторов различного профиля. На втором этапе работы нами планируется выявление характерных паттернов изменений движения глаз при выполнении когнитивных задач у здоровых лиц и у пациентов, имеющих легкие когнитивные нарушения вследствие различных заболеваний нервной системы.

ДОПОЛНИТЕЛЬНАЯ ИНФОРМАЦИЯ

Вклад авторов. Все авторы внесли существенный вклад в разработку концепции, проведение исследования и подготовку статьи, прочли и одобрили финальную версию перед публикацией. Личный вклад каждого автора: К.М. Наумов — концепция и дизайн исследования, разработка стимульного материала, обзор литературы, обработка материалов, написание и редактирование текста; И.Ю. Чаплиев — дизайн исследования, разработка стимульного материала, обзор литературы, сбор и обработка материалов, написание текста; И.В. Литвиненко — концепция и дизайн исследования, внесение окончательной правки; Н.В. Цыган — концепция и дизайн исследования, внесение окончательной правки; В.Ю. Лобзин — концепция и дизайн исследования, разработка стимульного материала, анализ полученных данных; П.П. Васильев — дизайн исследования, сбор и обработка материалов, анализ полученных данных; А.В. Рябцев — сбор и обработка материалов, хроматографическое исследование, анализ полученных данных, обзор литературы.

Источник финансирования. Поисково-аналитическая работа проведена на личные средства авторского коллектива.

Конфликт интересов. Авторы декларируют отсутствие явных и потенциальных конфликтов интересов, связанных с публикацией настоящей статьи.

Этическая экспертиза. Все исследования проведены соблюдением требований биомедициной этики (протокол № 292 одобрен решением Регионального этического комитета медико-биологических исследований при ВМедА им. С.М. Кирова от 25.06.2024 г.).

ADDITIONAL INFO

Authors’ contribution. All authors made a substantial contribution to the conception of the study, acquisition, analysis, interpretation of data for the work, drafting and revising the article, final approval of the version to be published and agree to be accountable for all aspects of the study. Personal contribution of each author: K.M. Naumov — concept and design of research, development of incentive material, literature review, processing of materials, writing and editing of text; I.Yu. Chapliev — design of research, development of incentive material, literature review, collection and processing of materials, writing of text; I.V. Litvinenko — concept and design of research, making final edits; N.V. Tsygan — concept and design of the study, making final edits; V.Yu. Lobzin — concept and design of the study, development of incentive material, analysis of the obtained data; P.P. Vasiliev — design of the study, collection and processing of materials, analysis of the obtained data; A.V. Ryabtsev — collection and processing of materials, chromatographic study, analysis the obtained data, a review of the literature.

Funding source. The study was not supported by any external sources of funding.

Competing interests. The authors declare that they have no competing interests.

Consent for publication. Written consent was obtained from the patients for publication of relevant medical information within the manuscript.

Ethical expertise. All studies were conducted in compliance with the requirements of biomedical ethics (Protocol N292 was approved by the decision of the Regional Ethical Committee for Medical and Biological Research at the S.M. Kirov Military Medical Academy dated 06/25/2024).

×

About the authors

Konstantin M. Naumov

Military Medical Academy

Author for correspondence.
Email: naumov_k@list.ru
ORCID iD: 0000-0001-7039-2423
SPIN-code: 3996-2007
Scopus Author ID: 8390739200
ResearcherId: I-8567-2016

MD, Cand. Sci. (Medicine), Associate Professor

Russian Federation, Saint Petersburg

Il’ya Yu. Chapliev

Military Medical Academy; Pavlov Institute of Physiology, Russian Academy of Sciences

Email: ilya.chapliev@mail.ru
ORCID iD: 0009-0003-2335-9825
SPIN-code: 9527-0719
Russian Federation, Saint Petersburg; Saint Petersburg

Igor V. Litvinenko

Military Medical Academy

Email: litvinenkoiv@rambler.ru
ORCID iD: 0000-0001-8988-3011
SPIN-code: 6112-2792
Scopus Author ID: 35734354000
ResearcherId: F-9120-2013

MD, Dr. Sci. (Medicine), Professor

Russian Federation, Saint Petersburg

Nikolay V. Tsygan

Military Medical Academy

Email: 77tn77@gmail.com
ORCID iD: 0000-0002-5881-2242
SPIN-code: 1006-2845
Scopus Author ID: 37066611200
ResearcherId: H-9132-2016

MD, Dr. Sci. (Medicine), Professor

Russian Federation, Saint Petersburg

Vladimir Yu. Lobzin

Military Medical Academy; Saint Petersburg State University

Email: vladimirlobzin@mail.ru
ORCID iD: 0000-0003-3109-8795
SPIN-code: 7779-3569
Scopus Author ID: 57203881632
ResearcherId: I-4819-2016

MD, Dr. Sci. (Medicine), Professor

Russian Federation, Saint Petersburg; Saint Petersburg

Aleksandr V. Ryabtsev

Military Medical Academy

Email: ryabtsev26@gmail.com
ORCID iD: 0000-0002-3832-2780
SPIN-code: 9915-4960
Scopus Author ID: 57202361039
ResearcherId: AAD-3948-2019

MD, Cand. Sci. (Medicine)

Russian Federation, Saint Petersburg

References

  1. World Health Organization [Internet]. Decade of Healthy Ageing: Plan of Action 2021–2030. Geneva: WHO. 2020. Available at: https://www.who.int/initiatives/decade-of-healthy-ageing
  2. World Health Organization. (2023). Dementia. Available at: https://www.who.int/news-room/fact-sheets/detail/dementia
  3. Yarbus AL. Eye movements and vision. Moscow: Nauka; 1965. 166 p. (In Russ.)
  4. Kryukov EV, Shamrey VK, eds. Military psychiatry in the XXI century: modern problems and development prospects. Saint Petersburg: SpetsLit; 2022. 367 p. (In Russ.)
  5. Tonsen M, Baumann CK, Dierkes K. A High-Level Description and Performance Evaluation of Pupil Invisible. ArXiv. 2020. doi: 10.48550/arXiv.2009.00508
  6. Van Rossum G, Drake FL. Python 3 Reference Manual. Scotts Valley, CA: CreateSpace, 2009.
  7. Litvinenko IV, Emelin AYu, Lobzin VYu, Kolmakova KA. Cognitive Function Assessment in Clinical Practice: Diagnostic Tests and Scales: A Study Guide. Saint Petersburg; 2021. 144 p. (In Russ.)
  8. Peirce JW, Gray JR, Simpson S, et al. PsychoPy2: Experiments in behavior made easy. Behavior Research Methods. 2019;51(1): 195–203. doi: 10.3758/13428-018-01193-y

Supplementary files

Supplementary Files
Action
1. JATS XML
2. Fig. 1. Heat map of an image while a patient was performing a cognitive task

Download (437KB)
3. Fig. 2. Processed heat map to quantify eye movement characteristics

Download (681KB)

Copyright (c) 2024 Eco-Vector

Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.

СМИ зарегистрировано Федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций (Роскомнадзор).
Регистрационный номер и дата принятия решения о регистрации СМИ: серия ПИ № ФС 77 - 77760 от 10.02.2020.