Hardware and Software Complex for Restoring Motor Functions Based on Virtual Reality and Brain-Computer Interface

Iuliia Y. Nekrasova; Некрасова Юлия Юрьевна; Viktoriya S. Vorontsova; Воронцова Виктория Сергеевна; Mikhail M. Kanarskii; Канарский Михаил Михайлович; Pranil M. Pradhan; Прадхан Пранил; Denis A. Shunenkov; Шуненков Денис Андреевич; Sergey S. Puzin; Пузин Сергей Сергеевич; Ivan V. Pasko; Пасько Иван Владимирович; Julia A. Podolskaya; Подольская Юлия Андреевна; Alina Y. Kriuchkova; Крючкова Алина Юрьевна

doi:10.36425/rehab65949

Hardware and Software Complex for Restoring Motor Functions Based on Virtual Reality and Brain-Computer Interface

Authors: Nekrasova I.Y.¹, Vorontsova V.S.¹, Kanarskii M.M.¹, Pradhan P.M.¹, Shunenkov D.A.¹, Puzin S.S.¹, Pasko I.V.¹, Podolskaya J.A.¹, Kriuchkova A.Y.¹
Affiliations:
1. Federal Scientific and Clinical Center of Intensive Care Medicine and Rehabilitology
Issue: Vol 3, No 2 (2021)
Pages: 231-242
Section: New methods and technologies, discussions
URL: https://journals.eco-vector.com/2658-6843/article/view/65949
DOI: https://doi.org/10.36425/rehab65949
ID: 65949

Cite item

Full Text

Abstract
Full Text
About the authors
References
Supplementary files
Statistics

Abstract

In this paper, we consider a hardware-software complex based on virtual reality and a non-invasive EEG neurocomputer interface, designed to restore motor functions of the limbs in patients with the consequences of severe acquired brain lesions through ideomotor training. The complex is a flexible system that allows to train any movements of both the upper and lower extremities in any virtual environment with varying degrees of immersiveness. The proposed method for assessing desynchronization of the sensorimotor rhythm during imagining movements and the developed algorithm for ideomotor training have been successfully tested on healthy volunteers.

Keywords

VR, virtual reality, neurocomputer interface, rehabilitation

Full Text

Список сокращений

АПК ДФ — аппаратно-программный комплекс для восстановления двигательных функций

КГР — кожно-гальваническая реакция

НКИ — нейрокомпьютерный интерфейс

СМР — сенсомоторный ритм

ЧСС — частота сердечных сокращений

ЭКГ — электрокардиография

ЭЭГ — электроэнцефалография

MEMS (microelectromechanical systems) — микроэлектромеханическая система

HMD (head-mounted display) — шлем виртуальной реальности

VR (virtual reality) — виртуальная реальность

Введение

Виртуальная реальность (virtual reality, VR) представляет собой созданную техническими средствами искусственную окружающую среду, воспринимаемую человеком через органы чувств (зрение, слух, обоняние, осязание) [1]. Таким образом, VR-технологиям, по определению, свойственна мультисенсорная стимуляция, способная, по данным отечественных и зарубежных исследований [2, 3], запускать процессы функциональной перестройки корковых связей головного мозга, известные как нейропластичность [4]. В целом все применяемые на сегодняшний день VR-технологии могут быть разделены на пассивные, когда мультисенсорная стимуляция осуществляется без интерактивного взаимодействия с виртуальной средой, и активные, когда пользователь манипулирует «аватаром» (образом своего тела) или конкретными объектами внутри сценария с использованием того или иного вида обратной связи.

О применении мультисенсорной тренировки в виртуальной среде для физической реабилитации известно с начала 1980-х гг. [5]. В настоящее время данная технология чаще всего используется в нейрореабилитации больных после тяжелых черепно-мозговых травм и инсультов [6–10]. Так, у пациентов, проходивших реабилитацию с использованием VR-тренажеров YouGrabber (YouRehab, Швейцария), результаты оказались лучше, чем в контрольной группе с традиционной терапией [11]. Сходные результаты отмечены и при использовании систем NeuroRehabLab (Португалия) [12] и Sixense (США) [13]. При этом в ряде работ [14–16] отмечается прогрессивное улучшение качества движений у больных при использовании VR c обратной связью. В этой связи следует отметить, что VR-система обладает практически безграничными возможностями добавления интерфейсов и модальностей. Так, многим исследователям удалось интегрировать виртуальную реальность с электрофизиологическими приборами для записи данных о кожно-гальванической реакции, частоте сердечных сокращений (ЧСС), электромиографии [17–19], электроэнцефалографии (ЭЭГ) [20, 21], функциональной магнитно-резонансной томографии [22], а также применить оборудование для отслеживания движения глаз [23], неинвазивной стимуляции мозга [24], инфракрасные термокамеры [25], стабилометрические платформы и др. [26].

Среди вышеперечисленных систем наиболее перспективными можно считать системы, совмещающие визуальную и тактильную обратную связь [27, 28]. Среди современных систем такого рода можно назвать разработки Самарского государственного университета ReviVR и ReviMotion [29], а также систему Attilan компании Моторика (Россия) [30]. Однако результаты применения таких систем в литературе описаны недостаточно полно. Литературный анализ показывает, что для больных с последствиями черепно-мозговых травм или острого нарушения мозгового кровообращения перспективным направлением является применение обратной связи по ЭЭГ, известной в большинстве литературных источников под названием нейрокомпьютерного интерфейса (НКИ). Как отмечается в ряде исследований, эффект от использования НКИ заключается не только в возможном ассистировании движению с помощью внешних устройств (экзоскелеты, робототехника), но и в способствовании восстановлению поврежденных функций за счет запускаемых механизмов пластичности головного мозга [31–33]. НКИ, основанные на воображении движения (от англ. motor imagery), позволяют значительно улучшить двигательные функции, что достаточно хорошо задокументировано у здоровых людей [34, 35] и в ряде случаев реабилитации постинсультных больных [36–39]. Можно отметить также применение VR-сценариев для лечения фобий или посттравматических стрессовых расстройств, моделирование экстремальных ситуаций в процессе когнитивно-поведенческой терапии и пр.

Среди положительных эффектов применения VR-технологий отмечаются в основном повышение мотивации пациента к более продолжительным тренировкам, снижение тревожности и неудовлетворенности лечением [40]. Со стороны исследователя основное преимущество заключается в том, что виртуальная реальность обеспечивает формирование практически любой среды, подходящей для данного конкретного пациента, с учетом его интересов, склонностей, стойких навыков. Данная среда может быть информационно избыточной, что позволяет повысить уровень стимуляции, т. е. интенсивность нагрузки при тренировке и терапии, а также сочетать с этим высокую степень контролируемости как самой среды, так и физиологических показателей и поведения пациента [41]. VR позволяет манипулировать средой, окружающей пользователя (включая виртуальные персонажи, объекты и окружение), а также аватаром участника тем способом, который невозможен в физической реальности, например изменять симметрию конечностей [42] или их внешний вид [25], цвет кожи [43, 44], форму тела [45] и точку зрения в пространстве, с которой участник смотрит на свой виртуальный образ [46, 47]. В целом можно сказать, что VR-технологии применяются достаточно успешно в комплексной реабилитации пациентов и на сегодняшний день признаны многообещающим методом, позволяющим повысить результативность реабилитационного процесса [48–51].

В настоящей работе рассматривается аппаратно-программный комплекс на основе VR и неинвазивного НКИ, предназначенный для восстановления двигательных функций конечностей у пациентов с последствиями приобретенных тяжелых поражений головного мозга (АПК ДФ). Предложен метод оценки отклика пациента на применение VR-технологий. Приведены результаты пилотного экспериментального исследования на здоровых добровольцах.

Система для реализации VR-терапии с применением нейрокомпьютерного интерфейса

I. Структурная схема

Структурная схема АПК ДФ конечностей на основе технологии виртуальной реальности и НКИ представлена на рис. 1.

Рис. 1. Структурная схема комплекса для восстановления моторных функций.

В состав системы для восстановления моторных функций пациентов входят следующие элементы.

Система виртуальной реальности HTC VIVE Pro Eye (параметры представлены в табл. 1).
Рабочая станция (технические характеристики представлены в табл. 2).
Датчики для измерения электрокардиографии (ЭКГ), ЭЭГ, кожно-гальванической реакции (КГР), актиграфии.

Таблица 1. Технические характеристики системы HTC VIVE Pro Eye

Разрешение	2880×1600
Разрешение дисплеев каждого глаза	1440×1600
Частота обновления дисплея, Гц	90
Микрофон	Встроенный
Встроенные датчики	Сенсор IPD для подстройки межзрачкового расстояния; гироскоп; датчик приближения; акселерометр
Интерфейсы	Bluetooth, DisplayPort 1.2, USB-C 3.0
Угол обзора, град.	110°
Совместимые контроллеры, шт.	Собственные контролеры; 2
Возможность подключения наушников	Встроенные наушники
Базовые станции, шт.	SteamVR 2.0; 2
Игровая зона, м×м	3×3

Таблица 2. Технические характеристики рабочей станции для VR

Комплектующая	Количество
Центральный процессор AMD Ryzen 7 3800Х (OEM)	1
Охладитель для CPU Arctic Freezer 34 eSports DUO	1
Материнская плата Gigabyte Gaming X (AM4, ATX)	1
Оперативная память G.Skill Aegis DDR4 3200 МГц	2×8 Гб
Видеокарта PowerColor Red Devil AMD Radeon RX 5700XT	1
Блок питания Cooler Master MVI Bronze 700 Вт	1
SSD накопитель Gigabyte Aorus NVme Gen4	1×1 Тб
Корпус AeroCool AirHawk Duo	1

Регистрация ЭЭГ осуществляется с помощью комплекса NeuroPlay-8Cap производства компании Neurobotics (Россия), представляющей собой 8-канальную нейрогарнитуру беспроводной регистрации ЭЭГ данных человека на сухих (безгелевых) активных электродах, что значительно ускоряет установку системы. Выбор гарнитуры объясняется наличием открытого потока сырых данных, который можно передавать в режиме онлайн через систему LabServerLayer непосредственно на персональный компьютер. Преимуществом гарнитуры является также наличие беспроводного модуля, позволяющего пациенту при необходимости свободно перемещаться в пределах игровой зоны системы виртуальной реальности. Основные характеристики нейрогарнитуры представлены в табл. 3.

Таблица 3. Технические характеристики нейрогарнитуры NeuroPlay-8Cap

Техническая характеристика	Значение
Схема отведения	Монополярная
Количество каналов	8: F3, F4, C3, C4, P3, P4, O1, O2 + GND и Rf
Передача данных	Bluetooth 4.0
Дальность передачи, м	До 15
Частота обмена данных, Гц	125
Амплитудно-частотная характеристика	От 0,5 до 50 Гц (-3дБ)
Входной диапазон, мВ	±300
Собственный шум, мкВ	3–4
Длительность работы в режиме ожидания, сут	100
Длительность работы в режиме съема данных, ч	24
Вес, г	120
Работа в операционной среде	Не ниже Windows 10

Снятие биопотенциалов ЭКГ осуществляется с помощью фронтенд-модуля (от англ. front-end) на основе микросхемы Ad8232 производства Analog Devices, Inc. (США). Модуль представляет собой низкопотребляющий односигнальный компонент аналоговой входной схемы монитора сердечного ритма, предназначенный для широкого диапазона изделий мониторинга здоровья (рис. 2, а).

Рис. 2. Схемотехнические решения измерительных датчиков: А — модуль AD8232; Б — датчик кожно-гальванической реакции.

Схемотехника датчика КГР представлена на рис. 2, б. Датчик комплектуется двумя электродами, снимающими с пальцев руки биопотенциалы КГР. В качестве актиграфа используется MEMS-датчик LIS331DLH (Швейцария), параметры которого сведены в табл. 4.

Таблица 4. Технические характеристики датчика LIS331DLH

Техническая характеристика	Значение
Интерфейс	I²C
Максимальная чувствительность, м/с²	9,8×10^-3
Диапазон измерений, g	±2/±4/±8
Потребляемый ток, мА	до 10
Размеры, мм	25,4×25,4×10,1
Напряжение питания, В	3,3–5

Программное обеспечение для обработки данных.

Для запуска контента и обработки полученных данных используется программное обеспечение (ПО), которое составляют как лицензионные программы производителя VR-очков, такие как GizmoVR, StreamVR, и Viveport, так и специально написанное ПО для обработки данных ЭЭГ, ЭКГ и сигналов с датчиков КГР, написанное на языке программирования Python. Игровое приложение для VR-системы разработано на платформе Unity с использованием языка программирования С#.

II. Нейрокомпьютерный интерфейс

НКИ, входящий в блок обработки сигнала (см. рис. 1), основан на использовании общего пространственного фильтра (common special pattern, CSP) совместно с нейронной сетью типа «многослойный персептрон» (multilayer perceptron, MLP). Точность классификации ответов на идеомоторную тренировку составляет 96%. Соответствующая программа реализована в ФНКЦ РР с использованием языка программирования Python и библиотек с открытым исходным кодом.

Процесс передачи сигналов от нейроинтерфейса к игровому приложению VR-системы осуществляется через COM-порт (communication port) рабочей станции. В зависимости от команды из COM-порта формируется переменная, которая задает вектор движения игрового персонажа.

III. Методика оценки отклика на идеомоторную тренировку у пациентов с приобретенным повреждением головного мозга

Перед началом работы с АПК ДФ критически важно адекватно оценить степень десинхронизации сенсомоторного ритма (СМР) пациента как отклик на идеомоторную тренировку. Пациенту ставится ряд задач по выполнению реальных и воображаемых движений, чередуемых с расслаблением в ответ на командные метки, предъявляемые с помощью HMD. В процессе выполнения команд производится запись ЭЭГ.

Оценка степени десинхронизации СМР включает в себя следующие шаги (рис. 3).

Рис. 3. Алгоритм расчета десинхронизации сенсомоторного ритма.

Предварительная цифровая обработка сигнала ЭЭГ включает в себя фильтрацию в диапазоне 1–40 Гц с применением фильтра с конечной импульсной характеристикой. Такие фильтры имеют линейную фазовую характеристику в полосе пропускания, что обеспечивает одинаковую групповую задержку на разных частотах. Кроме того, в рамках предварительной обработки применяются автоматические методы удаления артефактов записи, такие как метод независимых компонент, позволяющий трансформировать сигнал ЭЭГ в набор составляющих компонент от нейрональных и артефактных источников и анализировать эти компоненты независимо друг от друга.

Извлечение признаков осуществляется путем расчета спектральной плотности мощности сигнала. Данный переход осуществляется путем разложения сигнала на гармонические составляющие с помощью преобразования Фурье. Для сигнала x(n), представленного в виде последовательности отсчетов, взятых с частотой дискретизации F_s в моменты времени с номерами n = 0.1, ... , N – 1, дискретное преобразование Фурье определяется как

$F (k) = \sum_{n = 0}^{N - 1} x (n) e^{- \frac{2 π j}{N} k n}, k = 0.1,...,$ (1)

Здесь F(k) — комплексная амплитуда синусоидального сигнала с частотой k ∆f, где ∆f = F_s/N — шаг по частоте; x(n) — измеренные значения сигнала в моменты времени с номерами n = 0.1, ... , N – 1.

В качестве меры, характеризующей зависимость мощности сигнала от частоты, используется спектральная плотность мощности P(k), которая вычисляется согласно следующей формуле:

$P (k) = \frac{| F (k) |^{2}}{N^{2}}, k = 0.1,..., N - 1.$ (2)

Здесь коэффициент нормализации 1/N² выбран исходя из требования равенства суммарной спектральной плотности мощности среднеквадратичной амплитуде сигнала x(n):

$\sum_{n = 0}^{N - 1} P (k) = \frac{1}{N} \sum_{n = 0}^{N - 1} | x (n) |^{2}$ (3)

После вычисления спектральной плотности мощности для эпохи ЭЭГ в покое и для эпохи, соответствующей применению того или иного стимула, расчет степени десинхронизации производится по формуле:

D_i = (P_i – P_rlx) / P_rlx, (4)

где P_i — спектральная плотность мощности эпохи, соответствующей воображению движения, P_rlx — спектральная плотность мощности эпохи, соответствующей состоянию расслабленного бодрствования.

Степень десинхронизации D является важным параметром, позволяющим оценить реактивность СМР пациента при проведении мультисенсорной стимуляции. При отсутствии десинхронизации СМР в ответ на воображение движения (параметр D близок к нулю) тренировку с АПК ДФ проводить не следует, т. к. результативность тренировки будет значительно снижена.

IV. Алгоритм тренировки с применением аппаратно-программного комплекса для восстановления двигательных функций

Тренировка с использованием АПК ДФ проводится в рамках следующего протокола.

Обучение пациента.

В рамках данного пункта выполняется две записи ЭЭГ длительностью по 4 мин каждая. Выполнение задач первой сессии включает в себя (см. рис. 3):

a) расслабление (5 сек) при наличии серой метки в центре зрительного поля;
b) выполнение отрабатываемого движения руками, например сжатия пальцев рук (5 сек) при наличии оранжевой метки вверху экрана (рис. 4, а);
c) расслабление (5 сек) при наличии серой метки в центре зрительного поля;
d) выполнение движения ногами, например сжатие пальцев ног (5 сек) при наличии оранжевой метки внизу экрана (рис. 4, б).

Рис. 4. Метки команд для проведения первой сессии обучения.

Далее цикл задач повторяется на протяжении всего времени сессии.

Вторая сессия повторяет первую за исключением пунктов b и d, в которых вместо реальных движений пациент осуществляет воображаемые сжатия пальцев рук и ног соответственно.

В процессе обучения пациента производится запись ЭЭГ и расчет десинхронизации СМР согласно алгоритму, описанному в п. II. Обучение проводится один раз и при повторении последующих игровых сессий повторение п. I не требуется.

Выполнение игровой программы.

Игровое задание, предъявляемое пациенту посредством HMD с целью восстановления двигательных функций конечностей, состоит в проведении игрового персонажа (птицы) через кольца различного диаметра с присваиванием соответствующего количества очков (рис. 5).

Рис. 5. Скриншоты экрана игрового приложения.

Управление персонажем осуществляется посредством воображения движения пальцами рук (персонаж смещается вверх) и ног (персонаж смещается вниз). Игра завершается после успешного прохождения трассы, состоящей из 10 колец, или при столкновении с другими объектами (земля, деревья, скалы). В обоих случаях после завершения игры производится подсчет количества набранных очков.

Для оценки физиологической реакции на этапе выполнения игрового задания производится оценка ЧСС, КГР и уровня движения в паретичной и здоровой конечностях посредством актиграфии запястий или лодыжек пациента. Изменения ЧСС и КГР позволяют оценить степень вовлеченности пациента в игровой процесс, а также влияние игрового процесса на нервную систему пациента. По данным с датчика ЭКГ также возможна оценка активации вегетативной нервной системы путем расчета статистических параметров вариабельности сердечного ритма.

Оценка двигательной функции.

По завершении игровой программы (или серии игровых программ, в зависимости от интенсивности тренировки) проводится оценка уровня движения в конечностях посредством выполнения ряда повторений осваиваемого движения (в данном случае сжимания пальцев) под контролем актиграфии. Записи пациента сохраняются и сравниваются с предыдущими. Для оценки динамики сигналы обрабатываются с использованием алгоритмов цифровой обработки сигналов.

V. Участники исследования

В экспериментальном исследовании АПК ДФ приняли участие 11 здоровых добровольцев (4 женщины и 7 мужчин) в возрасте от 18 до 25 лет. Все испытуемые ранее не имели опыта работы с НКИ и виртуальной реальностью. Все испытуемые подписали информированное согласие на участие в эксперименте.

Из 11 испытуемых, принявших участие в эксперименте, были отобраны 9 человек, успешно овладевших методикой идеомоторной тренировки и имевших по результатам обучения наиболее высокую степень десинхронизации СМР (табл. 5), которые были разделены на три группы по степени десинхронизации СМР.

Таблица 5. Результаты экспериментальных исследований аппаратно-программного комплекса для восстановления двигательных функций

Испытуемый	Степень десинхронизации	Группа	Число пройденных колец	Число набранных баллов
№ 1	Средняя	2	7	28
№ 2	Низкая	3	2	3
№ 3	Крайне низкая	-	-	-
№ 4	Высокая	1	9	45
№ 5	Средняя	2	4	10
№ 6	Средняя	2	5	15
№ 7	Высокая	1	8	36
№ 8	Низкая	3	0	0
№ 9	Высокая	1	6	21
№ 10	Крайне низкая	-	-	-
№ 11	Низкая	3	3	6

На рис. 6 представлены результаты расчета десинхронизации СМР участников № 4 и № 10. Видно, что у участника № 4 наблюдается значительная десинхронизации СМР при воображении движения руками (оранжевая кривая) и ногами (синяя кривая) по отношению к СМР при расслабленном бодрствовании, в то время как у участника № 10 относительной разницы между тремя указанными состояниями выделить невозможно. Тренировка такого участника с применением идеомоторного НКИ и АПК ДФ в частности будет малоэффективной.

Рис. 6. Результаты расчета десинхронизации сенсомоторного ритма у участников № 4 (А) и № 10 (Б).

По результатам выполнения игрового задания участники группы 1 (высокая степень десинхронизации) набрали в среднем 34 балла из 55 возможных, участники группы 2 (средняя степень десинхронизации) — 17,6 баллов, участники группы 3 (низкая степень десинхронизации) — 3 балла. Таким образом, между рассчитанной степенью десинхронизации и количеством набранных очков в процессе выполнения игрового задания прослеживается прямая сильная корреляционная связь при р <0,05.

Оценка двигательных функций на группе здоровых добровольцев не проводилась.

Заключение

Целью настоящей работы являлось формирование структуры АПК ДФ, алгоритмов идеомоторной тренировки с их применением для восстановления утраченных функций конечностей и апробация на группе здоровых добровольцев. Проведенные испытания показали, что АПК ДФ представляет собой гибкую систему, позволяющую проводить тренировку любых движений как верхними, так и нижними конечностями в любой виртуальной среде с различной степенью иммерсивности, определяемой программным компонентом системы. Входящий в состав комплекса НКИ позволяет с точностью, достаточной для решения задач реабилитации, осуществлять обратную связь по ЭЭГ. Преимуществом комплекса также является возможность оценки прогресса пациента.

Разработанный алгоритм идеомоторной тренировки успешно прошел испытания на здоровых добровольцах. Следующим этапом является проведение масштабных исследований по применению АПК ДФ в рамках комплексной терапии у пациентов с тяжелыми повреждениями головного мозга и нарушениями сознания.

Дополнительная информация

Источник финансирования

Авторы заявляют об отсутствии внешнего финансирования при проведении исследования.

Funding source

This study was not supported by any external sources of funding.

Конфликт интересов

Авторы декларируют отсутствие явных и потенциальных конфликтов интересов, связанных с публикацией настоящей статьи.

Competing interests

The authors declare that they have no competing interests.

Вклад авторов

Все авторы подтверждают соответствие своего авторства международным критериям ICMJE (все авторы внесли существенный вклад в разработку концепции, подготовку статьи, прочли и одобрили финальную версию перед публикацией).

Author contribution

All authors made a substantial contribution to the conception of the work, acquisition, analysis, interpretation of data for the work, drafting and revising the work, final approval of the version to be published and agree to be accountable for all aspects of the work.