Hardware and Software Complex for Restoring Motor Functions Based on Virtual Reality and Brain-Computer Interface

Cover Page

Abstract

In this paper, we consider a hardware-software complex based on virtual reality and a non-invasive EEG neurocomputer interface, designed to restore motor functions of the limbs in patients with the consequences of severe acquired brain lesions through ideomotor training. The complex is a flexible system that allows to train any movements of both the upper and lower extremities in any virtual environment with varying degrees of immersiveness. The proposed method for assessing desynchronization of the sensorimotor rhythm during imagining movements and the developed algorithm for ideomotor training have been successfully tested on healthy volunteers.

Full Text

Список сокращений

АПК ДФ — аппаратно-программный комплекс для восстановления двигательных функций

КГР — кожно-гальваническая реакция

НКИ — нейрокомпьютерный интерфейс

СМР — сенсомоторный ритм

ЧСС — частота сердечных сокращений

ЭКГ — электрокардиография

ЭЭГ — электроэнцефалография

MEMS (microelectromechanical systems) — микроэлектромеханическая система

HMD (head-mounted display) — шлем виртуальной реальности

VR (virtual reality) — виртуальная реальность

Введение

Виртуальная реальность (virtual reality, VR) представляет собой созданную техническими средствами искусственную окружающую среду, воспринимаемую человеком через органы чувств (зрение, слух, обоняние, осязание) [1]. Таким образом, VR-технологиям, по определению, свойственна мультисенсорная стимуляция, способная, по данным отечественных и зарубежных исследований [2, 3], запускать процессы функциональной перестройки корковых связей головного мозга, известные как нейропластичность [4]. В целом все применяемые на сегодняшний день VR-технологии могут быть разделены на пассивные, когда мультисенсорная стимуляция осуществляется без интерактивного взаимодействия с виртуальной средой, и активные, когда пользователь манипулирует «аватаром» (образом своего тела) или конкретными объектами внутри сценария с использованием того или иного вида обратной связи.

О применении мультисенсорной тренировки в виртуальной среде для физической реабилитации известно с начала 1980-х гг. [5]. В настоящее время данная технология чаще всего используется в нейрореабилитации больных после тяжелых черепно-мозговых травм и инсультов [6–10]. Так, у пациентов, проходивших реабилитацию с использованием VR-тренажеров YouGrabber (YouRehab, Швейцария), результаты оказались лучше, чем в контрольной группе с традиционной терапией [11]. Сходные результаты отмечены и при использовании систем NeuroRehabLab (Португалия) [12] и Sixense (США) [13]. При этом в ряде работ [14–16] отмечается прогрессивное улучшение качества движений у больных при использовании VR c обратной связью. В этой связи следует отметить, что VR-система обладает практически безграничными возможностями добавления интерфейсов и модальностей. Так, многим исследователям удалось интегрировать виртуальную реальность с электрофизиологическими приборами для записи данных о кожно-гальванической реакции, частоте сердечных сокращений (ЧСС), электромиографии [17–19], электроэнцефалографии (ЭЭГ) [20, 21], функциональной магнитно-резонансной томографии [22], а также применить оборудование для отслеживания движения глаз [23], неинвазивной стимуляции мозга [24], инфракрасные термокамеры [25], стабилометрические платформы и др. [26].

Среди вышеперечисленных систем наиболее перспективными можно считать системы, совмещающие визуальную и тактильную обратную связь [27, 28]. Среди современных систем такого рода можно назвать разработки Самарского государственного университета ReviVR и ReviMotion [29], а также систему Attilan компании Моторика (Россия) [30]. Однако результаты применения таких систем в литературе описаны недостаточно полно. Литературный анализ показывает, что для больных с последствиями черепно-мозговых травм или острого нарушения мозгового кровообращения перспективным направлением является применение обратной связи по ЭЭГ, известной в большинстве литературных источников под названием нейрокомпьютерного интерфейса (НКИ). Как отмечается в ряде исследований, эффект от использования НКИ заключается не только в возможном ассистировании движению с помощью внешних устройств (экзоскелеты, робототехника), но и в способствовании восстановлению поврежденных функций за счет запускаемых механизмов пластичности головного мозга [31–33]. НКИ, основанные на воображении движения (от англ. motor imagery), позволяют значительно улучшить двигательные функции, что достаточно хорошо задокументировано у здоровых людей [34, 35] и в ряде случаев реабилитации постинсультных больных [36–39]. Можно отметить также применение VR-сценариев для лечения фобий или посттравматических стрессовых расстройств, моделирование экстремальных ситуаций в процессе когнитивно-поведенческой терапии и пр.

Среди положительных эффектов применения VR-технологий отмечаются в основном повышение мотивации пациента к более продолжительным тренировкам, снижение тревожности и неудовлетворенности лечением [40]. Со стороны исследователя основное преимущество заключается в том, что виртуальная реальность обеспечивает формирование практически любой среды, подходящей для данного конкретного пациента, с учетом его интересов, склонностей, стойких навыков. Данная среда может быть информационно избыточной, что позволяет повысить уровень стимуляции, т. е. интенсивность нагрузки при тренировке и терапии, а также сочетать с этим высокую степень контролируемости как самой среды, так и физиологических показателей и поведения пациента [41]. VR позволяет манипулировать средой, окружающей пользователя (включая виртуальные персонажи, объекты и окружение), а также аватаром участника тем способом, который невозможен в физической реальности, например изменять симметрию конечностей [42] или их внешний вид [25], цвет кожи [43, 44], форму тела [45] и точку зрения в пространстве, с которой участник смотрит на свой виртуальный образ [46, 47]. В целом можно сказать, что VR-технологии применяются достаточно успешно в комплексной реабилитации пациентов и на сегодняшний день признаны многообещающим методом, позволяющим повысить результативность реабилитационного процесса [48–51].

В настоящей работе рассматривается аппаратно-программный комплекс на основе VR и неинвазивного НКИ, предназначенный для восстановления двигательных функций конечностей у пациентов с последствиями приобретенных тяжелых поражений головного мозга (АПК ДФ). Предложен метод оценки отклика пациента на применение VR-технологий. Приведены результаты пилотного экспериментального исследования на здоровых добровольцах.

Система для реализации VR-терапии с применением нейрокомпьютерного интерфейса

I. Структурная схема

Структурная схема АПК ДФ конечностей на основе технологии виртуальной реальности и НКИ представлена на рис. 1.

 

Рис. 1. Структурная схема комплекса для восстановления моторных функций.

 

В состав системы для восстановления моторных функций пациентов входят следующие элементы.

  1. Система виртуальной реальности HTC VIVE Pro Eye (параметры представлены в табл. 1).
  2. Рабочая станция (технические характеристики представлены в табл. 2).
  3. Датчики для измерения электрокардиографии (ЭКГ), ЭЭГ, кожно-гальванической реакции (КГР), актиграфии.

 

Таблица 1. Технические характеристики системы HTC VIVE Pro Eye

Разрешение

2880×1600

Разрешение дисплеев каждого глаза

1440×1600

Частота обновления дисплея, Гц

90

Микрофон

Встроенный

Встроенные датчики

Сенсор IPD для подстройки межзрачкового расстояния; гироскоп; датчик приближения; акселерометр

Интерфейсы

Bluetooth, DisplayPort 1.2, USB-C 3.0

Угол обзора, град.

110°

Совместимые контроллеры, шт.

Собственные контролеры; 2

Возможность подключения наушников

Встроенные наушники

Базовые станции, шт.

SteamVR 2.0; 2

Игровая зона, м×м

3×3

 

Таблица 2. Технические характеристики рабочей станции для VR

Комплектующая

Количество

Центральный процессор AMD Ryzen 7 3800Х (OEM)

1

Охладитель для CPU Arctic Freezer 34 eSports DUO

1

Материнская плата Gigabyte Gaming X (AM4, ATX)

1

Оперативная память G.Skill Aegis DDR4 3200 МГц

2×8 Гб

Видеокарта PowerColor Red Devil AMD Radeon RX 5700XT

1

Блок питания Cooler Master MVI Bronze 700 Вт

1

SSD накопитель Gigabyte Aorus NVme Gen4

1×1 Тб

Корпус AeroCool AirHawk Duo

1

 

Регистрация ЭЭГ осуществляется с помощью комплекса NeuroPlay-8Cap производства компании Neurobotics (Россия), представляющей собой 8-канальную нейрогарнитуру беспроводной регистрации ЭЭГ данных человека на сухих (безгелевых) активных электродах, что значительно ускоряет установку системы. Выбор гарнитуры объясняется наличием открытого потока сырых данных, который можно передавать в режиме онлайн через систему LabServerLayer непосредственно на персональный компьютер. Преимуществом гарнитуры является также наличие беспроводного модуля, позволяющего пациенту при необходимости свободно перемещаться в пределах игровой зоны системы виртуальной реальности. Основные характеристики нейрогарнитуры представлены в табл. 3.

 

Таблица 3. Технические характеристики нейрогарнитуры NeuroPlay-8Cap

Техническая характеристика

Значение

Схема отведения

Монополярная

Количество каналов

8: F3, F4, C3, C4, P3, P4, O1, O2 + GND и Rf

Передача данных

Bluetooth 4.0

Дальность передачи, м

До 15

Частота обмена данных, Гц

125

Амплитудно-частотная характеристика

От 0,5 до 50 Гц (-3дБ)

Входной диапазон, мВ

±300

Собственный шум, мкВ

3–4

Длительность работы в режиме ожидания, сут

100

Длительность работы в режиме съема данных, ч

24

Вес, г

120

Работа в операционной среде

Не ниже Windows 10

 

Снятие биопотенциалов ЭКГ осуществляется с помощью фронтенд-модуля (от англ. front-end) на основе микросхемы Ad8232 производства Analog Devices, Inc. (США). Модуль представляет собой низкопотребляющий односигнальный компонент аналоговой входной схемы монитора сердечного ритма, предназначенный для широкого диапазона изделий мониторинга здоровья (рис. 2, а).

 

Рис. 2. Схемотехнические решения измерительных датчиков: А — модуль AD8232; Б — датчик кожно-гальванической реакции.

 

Схемотехника датчика КГР представлена на рис. 2, б. Датчик комплектуется двумя электродами, снимающими с пальцев руки биопотенциалы КГР. В качестве актиграфа используется MEMS-датчик LIS331DLH (Швейцария), параметры которого сведены в табл. 4.

 

Таблица 4. Технические характеристики датчика LIS331DLH

Техническая характеристика

Значение

Интерфейс

I2C

Максимальная чувствительность, м/с2

9,8×10-3

Диапазон измерений, g

±2/±4/±8

Потребляемый ток, мА

до 10

Размеры, мм

25,4×25,4×10,1

Напряжение питания, В

3,3–5

 

  1. Программное обеспечение для обработки данных.

Для запуска контента и обработки полученных данных используется программное обеспечение (ПО), которое составляют как лицензионные программы производителя VR-очков, такие как GizmoVR, StreamVR, и Viveport, так и специально написанное ПО для обработки данных ЭЭГ, ЭКГ и сигналов с датчиков КГР, написанное на языке программирования Python. Игровое приложение для VR-системы разработано на платформе Unity с использованием языка программирования С#.

II. Нейрокомпьютерный интерфейс

НКИ, входящий в блок обработки сигнала (см. рис. 1), основан на использовании общего пространственного фильтра (common special pattern, CSP) совместно с нейронной сетью типа «многослойный персептрон» (multilayer perceptron, MLP). Точность классификации ответов на идеомоторную тренировку составляет 96%. Соответствующая программа реализована в ФНКЦ РР с использованием языка программирования Python и библиотек с открытым исходным кодом.

Процесс передачи сигналов от нейроинтерфейса к игровому приложению VR-системы осуществляется через COM-порт (communication port) рабочей станции. В зависимости от команды из COM-порта формируется переменная, которая задает вектор движения игрового персонажа.

III. Методика оценки отклика на идеомоторную тренировку у пациентов с приобретенным повреждением головного мозга

Перед началом работы с АПК ДФ критически важно адекватно оценить степень десинхронизации сенсомоторного ритма (СМР) пациента как отклик на идеомоторную тренировку. Пациенту ставится ряд задач по выполнению реальных и воображаемых движений, чередуемых с расслаблением в ответ на командные метки, предъявляемые с помощью HMD. В процессе выполнения команд производится запись ЭЭГ.

Оценка степени десинхронизации СМР включает в себя следующие шаги (рис. 3).

 

Рис. 3. Алгоритм расчета десинхронизации сенсомоторного ритма.

 

Предварительная цифровая обработка сигнала ЭЭГ включает в себя фильтрацию в диапазоне 1–40 Гц с применением фильтра с конечной импульсной характеристикой. Такие фильтры имеют линейную фазовую характеристику в полосе пропускания, что обеспечивает одинаковую групповую задержку на разных частотах. Кроме того, в рамках предварительной обработки применяются автоматические методы удаления артефактов записи, такие как метод независимых компонент, позволяющий трансформировать сигнал ЭЭГ в набор составляющих компонент от нейрональных и артефактных источников и анализировать эти компоненты независимо друг от друга.

Извлечение признаков осуществляется путем расчета спектральной плотности мощности сигнала. Данный переход осуществляется путем разложения сигнала на гармонические составляющие с помощью преобразования Фурье. Для сигнала x(n), представленного в виде последовательности отсчетов, взятых с частотой дискретизации Fs в моменты времени с номерами n = 0.1, ... , N – 1, дискретное преобразование Фурье определяется как

 F(k)=n=0N1x(n)e2πjNkn,k=0.1,...,(1)

Здесь F(k) — комплексная амплитуда синусоидального сигнала с частотой kf, где ∆f = Fs /N — шаг по частоте; x(n) — измеренные значения сигнала в моменты времени с номерами n = 0.1, ... , N – 1.

В качестве меры, характеризующей зависимость мощности сигнала от частоты, используется спектральная плотность мощности P(k), которая вычисляется согласно следующей формуле:

 P(k)=|F(k)|2N2,k=0.1,...,N1.(2)

Здесь коэффициент нормализации 1/N2 выбран исходя из требования равенства суммарной спектральной плотности мощности среднеквадратичной амплитуде сигнала x(n):

n=0N1P(k)=1Nn=0N1|x(n)|2 (3)

После вычисления спектральной плотности мощности для эпохи ЭЭГ в покое и для эпохи, соответствующей применению того или иного стимула, расчет степени десинхронизации производится по формуле:

Di = (PiPrlx) / Prlx , (4)

где Pi — спектральная плотность мощности эпохи, соответствующей воображению движения, Prlx — спектральная плотность мощности эпохи, соответствующей состоянию расслабленного бодрствования.

Степень десинхронизации D является важным параметром, позволяющим оценить реактивность СМР пациента при проведении мультисенсорной стимуляции. При отсутствии десинхронизации СМР в ответ на воображение движения (параметр D близок к нулю) тренировку с АПК ДФ проводить не следует, т. к. результативность тренировки будет значительно снижена.

IV. Алгоритм тренировки с применением аппаратно-программного комплекса для восстановления двигательных функций

Тренировка с использованием АПК ДФ проводится в рамках следующего протокола.

  1. Обучение пациента.

В рамках данного пункта выполняется две записи ЭЭГ длительностью по 4 мин каждая. Выполнение задач первой сессии включает в себя (см. рис. 3):

  1. a) расслабление (5 сек) при наличии серой метки в центре зрительного поля;
  2. b) выполнение отрабатываемого движения руками, например сжатия пальцев рук (5 сек) при наличии оранжевой метки вверху экрана (рис. 4, а);
  3. c) расслабление (5 сек) при наличии серой метки в центре зрительного поля;
  4. d) выполнение движения ногами, например сжатие пальцев ног (5 сек) при наличии оранжевой метки внизу экрана (рис. 4, б).

 

Рис. 4. Метки команд для проведения первой сессии обучения.

 

Далее цикл задач повторяется на протяжении всего времени сессии.

Вторая сессия повторяет первую за исключением пунктов b и d, в которых вместо реальных движений пациент осуществляет воображаемые сжатия пальцев рук и ног соответственно.

В процессе обучения пациента производится запись ЭЭГ и расчет десинхронизации СМР согласно алгоритму, описанному в п. II. Обучение проводится один раз и при повторении последующих игровых сессий повторение п. I не требуется.

  1. Выполнение игровой программы.

Игровое задание, предъявляемое пациенту посредством HMD с целью восстановления двигательных функций конечностей, состоит в проведении игрового персонажа (птицы) через кольца различного диаметра с присваиванием соответствующего количества очков (рис. 5).

 

Рис. 5. Скриншоты экрана игрового приложения.

 

Управление персонажем осуществляется посредством воображения движения пальцами рук (персонаж смещается вверх) и ног (персонаж смещается вниз). Игра завершается после успешного прохождения трассы, состоящей из 10 колец, или при столкновении с другими объектами (земля, деревья, скалы). В обоих случаях после завершения игры производится подсчет количества набранных очков.

Для оценки физиологической реакции на этапе выполнения игрового задания производится оценка ЧСС, КГР и уровня движения в паретичной и здоровой конечностях посредством актиграфии запястий или лодыжек пациента. Изменения ЧСС и КГР позволяют оценить степень вовлеченности пациента в игровой процесс, а также влияние игрового процесса на нервную систему пациента. По данным с датчика ЭКГ также возможна оценка активации вегетативной нервной системы путем расчета статистических параметров вариабельности сердечного ритма.

  1. Оценка двигательной функции.

По завершении игровой программы (или серии игровых программ, в зависимости от интенсивности тренировки) проводится оценка уровня движения в конечностях посредством выполнения ряда повторений осваиваемого движения (в данном случае сжимания пальцев) под контролем актиграфии. Записи пациента сохраняются и сравниваются с предыдущими. Для оценки динамики сигналы обрабатываются с использованием алгоритмов цифровой обработки сигналов.

V. Участники исследования

В экспериментальном исследовании АПК ДФ приняли участие 11 здоровых добровольцев (4 женщины и 7 мужчин) в возрасте от 18 до 25 лет. Все испытуемые ранее не имели опыта работы с НКИ и виртуальной реальностью. Все испытуемые подписали информированное согласие на участие в эксперименте.

Из 11 испытуемых, принявших участие в эксперименте, были отобраны 9 человек, успешно овладевших методикой идеомоторной тренировки и имевших по результатам обучения наиболее высокую степень десинхронизации СМР (табл. 5), которые были разделены на три группы по степени десинхронизации СМР.

 

Таблица 5. Результаты экспериментальных исследований аппаратно-программного комплекса для восстановления двигательных функций

Испытуемый

Степень десинхронизации

Группа

Число пройденных колец

Число набранных баллов

№ 1

Средняя

2

7

28

№ 2

Низкая

3

2

3

№ 3

Крайне низкая

-

-

-

№ 4

Высокая

1

9

45

№ 5

Средняя

2

4

10

№ 6

Средняя

2

5

15

№ 7

Высокая

1

8

36

№ 8

Низкая

3

0

0

№ 9

Высокая

1

6

21

№ 10

Крайне низкая

-

-

-

№ 11

Низкая

3

3

6

 

На рис. 6 представлены результаты расчета десинхронизации СМР участников № 4 и № 10. Видно, что у участника № 4 наблюдается значительная десинхронизации СМР при воображении движения руками (оранжевая кривая) и ногами (синяя кривая) по отношению к СМР при расслабленном бодрствовании, в то время как у участника № 10 относительной разницы между тремя указанными состояниями выделить невозможно. Тренировка такого участника с применением идеомоторного НКИ и АПК ДФ в частности будет малоэффективной.

 

Рис. 6. Результаты расчета десинхронизации сенсомоторного ритма у участников № 4 (А) и № 10 (Б).

 

По результатам выполнения игрового задания участники группы 1 (высокая степень десинхронизации) набрали в среднем 34 балла из 55 возможных, участники группы 2 (средняя степень десинхронизации) — 17,6 баллов, участники группы 3 (низкая степень десинхронизации) — 3 балла. Таким образом, между рассчитанной степенью десинхронизации и количеством набранных очков в процессе выполнения игрового задания прослеживается прямая сильная корреляционная связь при р <0,05.

Оценка двигательных функций на группе здоровых добровольцев не проводилась.

Заключение

Целью настоящей работы являлось формирование структуры АПК ДФ, алгоритмов идеомоторной тренировки с их применением для восстановления утраченных функций конечностей и апробация на группе здоровых добровольцев. Проведенные испытания показали, что АПК ДФ представляет собой гибкую систему, позволяющую проводить тренировку любых движений как верхними, так и нижними конечностями в любой виртуальной среде с различной степенью иммерсивности, определяемой программным компонентом системы. Входящий в состав комплекса НКИ позволяет с точностью, достаточной для решения задач реабилитации, осуществлять обратную связь по ЭЭГ. Преимуществом комплекса также является возможность оценки прогресса пациента.

Разработанный алгоритм идеомоторной тренировки успешно прошел испытания на здоровых добровольцах. Следующим этапом является проведение масштабных исследований по применению АПК ДФ в рамках комплексной терапии у пациентов с тяжелыми повреждениями головного мозга и нарушениями сознания.

Дополнительная информация

Источник финансирования

Авторы заявляют об отсутствии внешнего финансирования при проведении исследования.

Funding source

This study was not supported by any external sources of funding.

Конфликт интересов

Авторы декларируют отсутствие явных и потенциальных конфликтов интересов, связанных с публикацией настоящей статьи.

Competing interests

The authors declare that they have no competing interests.

Вклад авторов

Все авторы подтверждают соответствие своего авторства международным критериям ICMJE (все авторы внесли существенный вклад в разработку концепции, подготовку статьи, прочли и одобрили финальную версию перед публикацией).

Author contribution

All authors made a substantial contribution to the conception of the work, acquisition, analysis, interpretation of data for the work, drafting and revising the work, final approval of the version to be published and agree to be accountable for all aspects of the work.

×

About the authors

Iuliia Y. Nekrasova

Federal Scientific and Clinical Center of Intensive Care Medicine and Rehabilitology

Author for correspondence.
Email: nekrasova84@yandex.ru
ORCID iD: 0000-0002-4435-8501
SPIN-code: 8947-4230

Cand. Sci. (Tech), research associate

Russian Federation, 777, Building 1, Lytkino, Moscow region, 141534

Viktoriya S. Vorontsova

Federal Scientific and Clinical Center of Intensive Care Medicine and Rehabilitology

Email: vvorontsova@fnkcrr.ru
ORCID iD: 0000-0002-1490-1331
SPIN-code: 3407-1625

junior research associate

Russian Federation, 777, Building 1, Lytkino, Moscow region, 141534

Mikhail M. Kanarskii

Federal Scientific and Clinical Center of Intensive Care Medicine and Rehabilitology

Email: kanarmm@yandex.ru
ORCID iD: 0000-0002-7635-1048
SPIN-code: 1776-1160

junior research associate

Russian Federation, 777, Building 1, Lytkino, Moscow region, 141534

Pranil M. Pradhan

Federal Scientific and Clinical Center of Intensive Care Medicine and Rehabilitology

Email: pranilpr@yandex.ru
ORCID iD: 0000-0002-3505-7504
SPIN-code: 8647-4329

junior research associate

Russian Federation, 777, Building 1, Lytkino, Moscow region, 141534

Denis A. Shunenkov

Federal Scientific and Clinical Center of Intensive Care Medicine and Rehabilitology

Email: dshunenkov@fnkcrr.ru
ORCID iD: 0000-0003-3902-0095
SPIN-code: 5192-9837

research associate

Russian Federation, 777, Building 1, Lytkino, Moscow region, 141534

Sergey S. Puzin

Federal Scientific and Clinical Center of Intensive Care Medicine and Rehabilitology

Email: pusinserg@mail.ru
ORCID iD: 0000-0002-9711-3532

graduate student

Russian Federation, 777, Building 1, Lytkino, Moscow region, 141534

Ivan V. Pasko

Federal Scientific and Clinical Center of Intensive Care Medicine and Rehabilitology

Email: ipasko@fnkcrr.ru
Russian Federation, 777, Building 1, Lytkino, Moscow region, 141534

Julia A. Podolskaya

Federal Scientific and Clinical Center of Intensive Care Medicine and Rehabilitology

Email: julia031181@yandex.ru
ORCID iD: 0000-0003-3158-8209

research associate

Russian Federation, 777, Building 1, Lytkino, Moscow region, 141534

Alina Y. Kriuchkova

Federal Scientific and Clinical Center of Intensive Care Medicine and Rehabilitology

Email: alinacriuchkova@yandex.ru

laboratory research assistant

Russian Federation, 777, Building 1, Lytkino, Moscow region, 141534

References

  1. Riener R, Harders M. Virtual reality in medicine. London: Springer; 2012.
  2. Попов А.П., Баев М.С., Сютина В.И. Применение мультисенсорной стимуляции для восстановления произвольной мышечной силы у больных с последствиями острого нарушения мозгового кровообращения в ранний восстановительный период // European research. 2017. № 7. С. 55–60. [Popov AР, Baev MS, Syutina VI. Application of multisensor stimulation for restoration of the artificial muscle power in patients with effects of acute disorder of cerebral circulation in the early reducing period. European research. 2017;(7):55–60. (In Russ).]
  3. Johansson BB. Multisensory stimulation in stroke rehabilitation. Front Hum Neurosci. 2012;6:60. doi: 10.3389/fnhum.2012.00060
  4. Цинзерлинг В.А., Сапаргалиева А.Д., Вайншенкер Ю.И., Медведев С.В. Проблемы нейропластичности и нейропротекции // Вестник СПбГУ. 2013. № 4. С. 3–13. [Tsinzerling VA, Sapargalieva AD, Vainshenker YI, Medvedev SV. Problems of neuroplasticity and neuroprotection. Bulletin of St. Petersburg State University. 2013;(4):3–13. (In Russ).]
  5. Carr JH, Shepherd RB. Motor relearning programme for stroke. Rockville: Aspen Publishers; 1983.
  6. Wüest S, van de Langenberg R, de Bruin ED. Design considerations for a theory-driven exergame-based rehabilitation program to improve walking of persons with stroke. Eur Rev Aging Phys Act. 2014;11(2):119–129. doi: 10.1007/s11556-013-0136-6
  7. Lledó LD, Díez JA, Bertomeu-Motos A, et al. A comparative analysis of 2D and 3D tasks for virtual reality therapies based on robotic-assisted neurorehabilitation for post-stroke patients. Front Aging Neurosci. 2016;8:205. doi: 10.3389/fnagi.2016.00205
  8. Schmid L, Glässel A, Schuster-Amft C. Therapists’ perspective on virtual reality training in patients after stroke: a qualitative study reporting focus group results from three hospitals. Stroke Res Treat. 2016;2016:6210508. doi: 10.1155/2016/6210508
  9. Saposnik G. Virtual reality in stroke rehabilitation. In: Ovbiagele B. (editor). Ischemic stroke therapeutics. Springer, Cham; 2016; p. 225–233. doi: 10.1007/978-3-319-17750-2_22
  10. Brunner I, Skouen JS, Hofstad H, et al. Virtual reality training for upper extremity in subacute stroke (VIRTUES). Neurology. 2017;89(24):2413–2421. doi: 10.1212/WNL.0000000000004744
  11. Stockley RC, O’Connor DA, Smith P, et al. A mixed methods small pilot study to describe the effects of upper limb training using a virtual reality gaming system in people with chronic stroke. Rehabil Res Pract. 2017;2017:9569178. doi: 10.1155/2017/9569178
  12. Faria AL, Andrade A, Soares L, Badia SB. Benefits of virtual reality based cognitive rehabilitation through simulated activities of daily living: a randomized controlled trial with stroke patients. J Neuroeng Rehabil. 2016;13(1):96–107. doi: 10.1186/s12984-016-0204-z
  13. Kiper P, Agostini M, Luque-Moreno C, et al. Reinforced feedback in virtual environment for rehabilitation of upper extremity dysfunction after stroke: preliminary data from a randomized controlled trial. Biomed Res Int. 2014;2014:752128. doi: 10.1155/2014/752128
  14. Grimm F, Naros G, Gharabaghi A. Closed-loop task difficulty adaptation during virtual reality reach-to-grasp training assisted with an exoskeleton for stroke. Front Neurosci. 2016;10:518. doi: 10.3389/fnins.2016.00518
  15. Lohse KR, Hilderman CG, Cheung KL, et al. Virtual reality therapy for adults poststroke: a systematic review and meta-analysis exploring virtual environments and commercial games in therapy. PLoS One. 2014;9(3):e93318. doi: 10.1371/journal.pone.0093318
  16. Thomson K, Pollock A, Bugge C, Brady M. Commercial gaming devices for stroke upper limb rehabilitation: a systematic review. Int J Stroke. 2014;9(4):479–488. doi: 10.1111/ijs.12263
  17. Tieri G, Tidoni E, Pavone EF, et al. Body visual discontinuity affects feeling of ownership and skin conductance responses. Sci Rep. 2015;5:17139. doi: 10.1038/srep17139
  18. Fusaro M, Tieri G, Aglioti SM. Seeing pain and pleasure on self and others: behavioral and psychophysiological reactivity in immersive virtual reality. J Neurophysiol. 2016;116(6):2656–2662. doi: 10.1152/jn.00489.2016
  19. Slater M, Perez-Marcos D, Ehrsson HH, et al. Towards a digital body: the virtual arm illusion. Front Hum Neurosci. 2008;2:6. doi: 10.3389/neuro.09.006.2008
  20. González-Franco M, Peck TC, Rodríguez-Fornells A, et al. A threat to a virtual hand elicits motor cortex activation. Exp Brain Res. 2014;232(3):875–887. doi: 10.1007/s00221-013-3800-1
  21. Pavone EF, Tieri G, Rizza G, et al. Embodying others in immersive virtual reality: electro-cortical signatures of monitoring the errors in the actions of an avatar seen from a first-person perspective. J Neurosci. 2016;36(2):268–279. doi: 10.1523/JNEUROSCI.0494-15.2016
  22. Baumgartner T. Feeling present in arousing virtual reality worlds: prefrontal brain regions differentially orchestrate presence experience in adults and children. Front Hum Neurosci. 2008;2:1–12. doi: 10.3389/neuro.09.008.2008
  23. Lutz OH, Burmeister C, Ferreira L, et al. Application of headmounted devices with eye-tracking in virtual reality therapy. Curr Dir Biomed Eng. 2017;3(1):53–56. doi: 10.1515/cdbme-2017-0012
  24. Subramanian S, Prasanna S. Virtual reality and non-invasive brain stimulation in stroke: how effective is their combination for upper limb motor improvement? Int Conf Virtual Rehabil. 2017. doi: 10.1109/ICVR.2017.8007539
  25. Tieri G, Gioia A, Scandola M, et al. Visual appearance of a virtual upper limb modulates the temperature of the real hand: a thermal imaging study in Immersive Virtual Reality. Eur J Neurosci. 2017;45(9):1141–1151. doi: 10.1111/ejn.13545
  26. Slobounov SM, Ray W, Johnson B, et al. Modulation of cortical activity in 2D versus 3D virtual reality environments: an EEG study. Int J Psychophysiol. 2015;95(3):254–260. doi: 10.1016/j.ijpsycho.2014.11.003
  27. Yin C, Hsueh YH, Yeh CY, et al. A virtual reality-cycling training system for lower limb balance improvement. Biomed Res Int. 2016;2016:9276508. doi: 10.1155/2016/9276508
  28. Flowers A, Herve JY. BioPresence: a virtual reality biofeedback system. 2018.
  29. Revi. Мультисенсорный тренажер пассивной реабилитации [Интернет]. [Revi. Multisensory simulator of passive rehabilitation [Internet]. (In Russ).] Режим доступа: https://revi.life/revivr/. Дата обращения: 15.03.2021.
  30. Motorica.org. Виртуальная реабилитация в Attilan [Интернет]. [Motorica.org. Virtual rehabilitation in Attilan [Internet]. (In Russ).] Режим доступа: https://motorica.org/virtualnaya-reabilitaciya-v-attilan. Дата обращения: 15.03.2021.
  31. Дудоров Е.А., Богданов А.А., Пермяков А.Ф. Роботизированные комплексы интеллектуального ассистирования специального и медицинского назначения // Наука и инновации в медицине. 2016. Т. 1, № 3. [Dudorov EA, Bogdanov AA, Permyakov AF. Robotized complexes of intellectual assistance for special and medical purposes. Science and innovation in medicine. 2016;1(3). (In Russ).] doi: 10.35693/2500-1388-2016-0-3-83-88
  32. Carmena, JM, Lebedev MA, Crist RE, et al. Learning to control a brain-machine interface for reaching and grasping by primates. PLoS Biol. 2003;1(2):E42. doi: 10.1371/journal.pbio.0000042
  33. Кондур А.А., Котов С.В., Турбина Л.Г., и др. Клиническая эффективность применения высокотехнологичного комплекса интерфейса «мозг, компьютер и экзоскелет кисти» в восстановлении двигательной функции руки после инсульта на основе результатов мультицентрового плацебоконтролируемого клинического исследования // XI Международный конгресс «Нейрореабилитация-2019», Москва, 14–15 марта. Москва, 2019. [Kondur AA, Kotov SV, Turbina LG, et al. Clinical effectiveness of the application of the high-tech complex of the interface «brain, computer and hand exoskeleton» in restoring the motor function of the hand after a stroke based on the results of a multicenter placebo-controlled clinical trial. XI International Congress «Neurorehabilitation-2019», Moscow, March 14–15. Moscow; 2019. (In Russ).]
  34. Pascual-Leone A, Amedi A, Fregni F, Merabet LB. The plastic human brain cortex. Annu Rev Neurosci. 2005;28: 377–401. doi: 10.1146/annurev.neuro.27.070203.144216
  35. Nyberg L, Eriksson J, Larsson A, Marklund P. Learning by doing versus learning by thinking: an MRI study of motor and mental training. Neuropsychologia. 2006;44(5): 711–717. doi: 10.1016/j.neuropsychologia.2005.08.006
  36. Фролов А.А., Бирюкова Е.В., Бобров П.Д., и др. Эффективность комплексной нейрореабилитации пациентов с постинсультным парезом руки с применением нейроинтерфейса «мозг + компьютер + экзоскелет» // Альманах клинической медицины. 2016. Т. 44, № 3. С. 280–286. [Frolov AA, Biryukova EV, Bobrov PD, et al. Efficiency of complex neurorehabilitation of patients with post-stroke paresis of the hand using the «brain + computer interface + exoskeleton». Almanac of Clinical Medicine. 2016;44(3):280–286. (In Russ).] doi: 10.18786/2072-0505-2016-44-3-280-286
  37. Daly JJ, Huggins JE. Brain-computer interface: current and emerging rehabilitation applications. Arch Phys Med Rehabil. 2015;96(3 Suppl):S1–S7. doi: 10.1016/j.apmr.2015.01.007
  38. Bensmaia, SJ, Miller LE. Restoring sensorimotor function through intracortical interfaces: progress and looming challenges. Nat Rev Neurosci. 2014.15(5):313–325. doi: 10.1038/nrn3724
  39. Бирюкова Е.В., Бушкова Ю.В. Объективная оценка состояния двигательной функции до и после реабилитации по технологии ИМК + экзоскелет: биомеханический анализ тестов шкалы Fugl-Meyer // XI Международный конгресс «Нейрореабилитация-2019», Москва, 14–15 марта. Москва, 2019. [Biryukova EV, Bushkova YuV. Objective assessment of the state of motor function before and after rehabilitation using the BCI + exoskeleton technology: biomechanical analysis of Fugl-Meyer scale tests. XI International Congress «Neurorehabilitation-2019», Moscow, March 14–15. Moscow; 2019. (In Russ).]
  40. Rooij M, Lobel A, Owen H, et al. DEEP: a biofeedback virtual reality game for children atrisk for anxiety. In: Proceedings of the 2016 CHI conference extended abstracts on human factors in computing systems — CHI EA’16. ACM Press; 2016. P. 1989–1997. doi: 10.1145/2851581.2892452
  41. Bohil CJ, Alicea B, Biocca FA. Virtual reality in neuroscience research and therapy. Nat Rev Neurosci Nature Publishing Group. 2011;12(12):752–762. doi: 10.1038/nrn3122
  42. Kilteni K, Normand JM, Sanchez-Vives MV, et al. Extending body space in immersive virtual reality: a very long arm illusion. PLoS One. 2012;7(7):e40867. doi: 10.1371/journal.pone.0040867
  43. Peck TC, Seinfeld S, Aglioti SM, et al. Putting yourself in the skin of a black avatar reduces implicit racial bias. Conscious Cogn. 2013;22(3):779–787. doi: 10.1016/j.concog.2013.04.016
  44. Martini M, Perez-Marcos D, Sanchez-Vives MV. What color is my arm? Changes in skin color of an embodied virtual arm modulates pain threshold. Front Hum Neurosci. 2013;7:438. doi: 10.3389/fnhum.2013.00438 eCollection 2013
  45. Normand JM, Giannopoulos E, Spanlang B, et al. Multisensory stimulation can induce an illusion of larger belly size in immersive virtual reality. PLoS One. 2011;6(1):e16128. doi: 10.1371/journal.pone.0016128
  46. Slater M, Spanlang B, Sanchez-Vives MV, et al. First person experience of body transfer in virtual reality. PLoS One. 2010;5(5):e10564. doi: 10.1371/journal.pone.0010564
  47. Maselli A, Slater M. Sliding perspectives: dissociating ownership from self-location during full body illusions in virtual reality. Front Hum Neurosci. 2014;8:1–19. doi: 10.3389/fnhum.2014.00693
  48. Morone G, Paolucci S, Mattia D, et al. The 3Ts of the new millennium neurorehabilitation gym: therapy, technology, translationality. Expert Rev Med Devices. 2016;13(9): 785–787. doi: 10.1080/17434440.2016.1218275
  49. Perez-Marcos D, Solazzi M, Steptoe W, et al. A fully immersive setup for remote interaction and neurorehabilitation based on virtual body ownership. Front Neurol. 2012;3:110. doi: 10.3389/fneur.2012.00110. eCollection 2012
  50. Rizzo AS. Is clinical virtual reality ready for primetime? Neuropsychology, in press 5. Bohil CJ, Alicea B, Biocca FA. Virtual reality in neuroscience research and therapy. Nat Rev Neurosci. 2011;12(12):752–762. doi: 10.1038/nrn3122
  51. Tarr MJ, Warren WH. Virtual reality in behavioral neuroscience and beyond. Nat Neurosci. 2002;5 Suppl:1089–1092. doi: 10.1038/nn948

Supplementary files

Supplementary Files
Action
1. Fig. 1. Block diagram of the complex for the restoration of motor functions.

Download (1MB)
2. Fig. 2. Circuitry solutions of measuring sensors: A - AD8232 module; B - sensor of galvanic skin response.

Download (672KB)
3. Fig. 3. Algorithm for calculating desynchronization of sensorimotor rhythm.

Download (447KB)
4. Fig. 4. Command labels for the first training session.

Download (746KB)
5. Fig. 5. Screenshots of the game application screen.

Download (830KB)
6. Fig. 6. The results of calculating desynchronization of the sensorimotor rhythm in participants No. 4 (A) and No. 10 (B).

Download (771KB)

Statistics

Views

Abstract: 145

PDF (Russian): 47

Dimensions

Article Metrics

Metrics Loading ...

PlumX


Copyright (c) 2021 Nekrasova I.Y., Vorontsova V.S., Kanarskii M.M., Pradhan P.M., Shunenkov D.A., Puzin S.S., Pasko I.V., Podolskaya J.A., Kriuchkova A.Y.

Creative Commons License
This work is licensed under a Creative Commons Attribution 4.0 International License.

This website uses cookies

You consent to our cookies if you continue to use our website.

About Cookies