Sensory SystemsSensory SystemsСенсорные системы0235-00923034-5936The Russian Academy of Sciences67579110.31857/S0235009224010058ЗРИТЕЛЬНАЯ СИСТЕМАResearch ArticleIndividual and typological features of motor memory in problems of control of ergacy systems in the absence of visual feedbackСенсорные особенности операторов в задачах управления эргатическими системами при отсутствии зрительной обратной связиTurovskyYa. A.ТуровскийЯ. А.
Russian Federation
yaroslav_turovsk@mail.ruAlekseevV. Y.АлексеевВ. Ю.
Russian Federation
yaroslav_turovsk@mail.ruTokarevR. A.ТокаревР. А.
Russian Federation
yaroslav_turovsk@mail.ruV. A. Trapeznikov Institute of Control Sciences of Russian Academy of SciencesИнститут проблем управления им. В. А. Трапезникова Российской академии наукVoronezh State UniversityВоронежский государственный университет21052024381667828022025Copyright ©; 2024, Russian Academy of SciencesCopyright ©; 2024, Российская академия наук2024Russian Academy of SciencesРоссийская академия наукhttps://journals.eco-vector.com/0235-0092/article/view/675791

The purpose of the study was to determine the impact of the presence of visual feedback on the quality of user experience with a number of human-computer interfaces, as well as the process of mastering the interfaces. As a result of the work, the features of the generation of control commands by operators of ergatic systems using an oculographic interface, interfaces for controlling hand movements and head movements were assessed. In the absence of visual feedback, users relied on motor memory formed during the learning process, and in the case of head control, on data from the vestibular analyzer.

The presence of visual feedback was found to be important for accurate command generation in all cases. However, when controlling the head and eyes, the presence of visual feedback led to a greater deviation from the ideal trajectory and an increase in the distance that the cursor traveled before reaching the goal. Localization of the target position did not have a significant effect on the performance of the operator interface, regardless of the presence of visual feedback.

Analysis of typical reactions in all experiments made it possible to identify three types of control, differing for eye and head movements, but not for hand movements in the ergatic system mode. Types 1 and 2 exhibited more errors compared to type 3, and the number of errors varied between them, especially for hand control.

The results obtained can be used in the development of promising interfaces for ergatic systems, including the determination of the necessary visual feedback components for this class of technical devices.

Целью исследования было выяснить влияние зрительной обратной связи на качество работы пользователей с рядом интерфейсов “человек–компьютер”, а также на освоение интерфейсов. В результате работы были оценены особенности генерации управляющих команд операторами эргатических систем с использованием окулографического интерфейса, интерфейсов управления движениями руки и головы. Наличие зрительной обратной связи оказалось важным для точной генерации команд во всех случаях. Однако при управлении головой и глазами наличие зрительной обратной связи приводило у необученных пользователей к большему отклонению от идеальной траектории и увеличению дистанции, которую проходил курсор до достижения цели. Анализ типичных реакций во всех экспериментах позволил выделить три типа управления, отличающихся для движения глаз и головы, но не для движения рук в режиме эргатической системы. Первый и второй типы проявляли большее количество ошибок при наличии обратной связи по сравнению с третьим типом. Полученные результаты могут быть использованы при разработке перспективных интерфейсов для эргатических систем, включая определение необходимых компонентов зрительной обратной связи для данного класса технических устройств.

sensory featureoperatorcontrolergatic systemvisual feedbackhuman–computer interfaceinfrared oculographic interfaceсенсорная особенностьоператоруправлениеэргатическая системазрительная обратная связьинтерфейс “человек–компьютер”инфракрасный окулографический интерфейсThe study was supported by the Russian Science Foundation grant No. 23–19–00664, https://rscf.ru/project/23–19–00664/.Исследование выполнено при поддержке гранта Российского научного фонда № 23–19–00664, https://rscf.ru/project/23–19–00664/.Korneev A. A., Kurganskii A. V. Vnutrennyaya reprezentatsiya serii dvizhenii pri vosproizvedenii staticheskogo risunka i traektorii dvizhushchegosya ob”ekta [Internal representation of a series of movements in the reproduction of a static pattern and the trajectory of a moving object]. Zurnal Vucshey Nervnoi Deytelynosti I. P. Pavlova [I. P. Pavlov Journal of Higher Nervous Activity]. 2013. V. 63(4). P. 437–450 (in Russian). https://doi.org/10.7868/S0044467713040060Корнеев А. А., Курганский А. В. Внутренняя репрезентация серии движений при воспроизведении статического рисунка и траектории движущегося объекта. Журнал высшей нервной деятельности им. И. П. Павлова. 2013. Т. 63. № 4. С. 437–450. https://doi.org/10.7868/S0044467713040060Mel’k A. Yu. Obzor interfeisa mozg–komp’yuter [Brain computer interface overview]. Nauchnyi aspekt. 2020. V. 5(3). P. 704–707 (in Russian).Мельк А. Ю. Обзор интерфейса мозг — компьютер. Научный аспект. 2020. Т. 5. № 3. С. 704–707.Orlov I. V., Stolbkov Yu.K., Gerasimenko Yu. P. Upravlenie ustroistvami dlya dvigatel’noi reabilitatsii cheloveka [Managing Devices for Human Movement Rehabilitation]. Fiziologiy cheloveka [Fiziologiya cheloveka]. 2018. V. 44(6). P. 93–103 (in Russian). https://doi.org/10.1134/S0131164618050120Орлов И. В., Столбков Ю. К., Герасименко Ю. П. Управление устройствами для двигательной реабилитации человека. Физиология человека. 2018. Т. 44. № 6. С. 93–103. https://doi.org/10.1134/S0131164618050120Polubarov A. A., Kashin D. A., Abdrakhmanov D. F. Primenenie algoritmov mashinnogo obucheniya v interfeise mozg–komp’yuter na volne p300 [Application of machine learning algorithms in the brain-computer interface on the p300 wave]. Voprosy ustoichivogo razvitiya obshchestva. 2022. (8). P. 929–941 (in Russian).Полубаров А. А., Кашин Д. А., Абдрахманов Д. Ф. Применение алгоритмов машинного обучения в интерфейсе мозг — компьютер на волне p300. Вопросы устойчивого развития общества. 2022. № 8. С. 929–941. https://doi.org/10.34755/IROK.2022.26.86.021https://doi.org/10.34755/IROK.2022.26.86.021Солодов А. В. Эмоции в процессах памяти, когнитивных процессах и образовании. European Research: сборник статей XVI Международной научно-практической конференции. В 2 ч. Под ред. Г. Ю. Гуляева. Пенза: Наука и просвещение, 2018. Ч. I. С. 190–194.Solodov A. V. Emotsii v protsessakh pamyati, kognitivnykh protsessakh i obrazovanii [Emotions in memory processes, cognitive processes and education]. European Research: sbornik statei XVI Mezhdunarodnoi nauchno-prakticheskoi konferentsii [European Research: collection of articles of the XVI International Scientific and Practical Conference]. Penza. Mezhdunaronyi tsentr nauchnogo sotrudnichestva «Nauka i Prosveshchenie». 2018. P. 190–194 (in Russian).Турицын М. И., Анохин А. Н., Воловод Д. А., Герасимчук И. С., Машковцева Р. И. Исследование характеристик и возможностей применения бюджетного айтрекера в эргономических задачах. Человеческий фактор в сложных технических системах и средах. Под ред. А. Н. Анохина, П. И. Падерно, С. Ф. Сергеева. СПб: Северная звезда, 2016. С. 107–113.Turitsyn M. I., Anokhin A. N., Volovod D. A., Gerasimchuk I. S., Mashkovtseva R. I. Issledovanie kharakteristik i vozmozhnostei primeneniya byudzhetnogo aitrekera v ergonomicheskikh zadachakh [Study of the characteristics and possibilities of using a budget eye-tracker in ergonomic tasks]. Chelovecheskii faktor v slozhnykh tekhnicheskikh sistemakh i sredakh [Human factor in complex technical systems and environments]. Saint Petersburg. 2016. P. 107–113 (in Russian).Туровский Я. А., Алексеев В. Ю. Сравнение подходов к отслеживанию распределения внимания операторов с использованием окулографических интрефейсов. Программная инженерия. 2023. Т. 14. № 3. С. 137–145. https://doi.org/10.17587/prin.14.137–145Turovskii Ya.A., Alekseev V. Yu. Sravnenie podkhodov k otslezhivaniyu raspredeleniya vnimaniya operatorov s ispol’zovaniem okulograficheskikh intrefeisov [Comparison of approaches to tracking the distribution of attention of operators using oculographic interfaces]. Software Engineering. 2023. V. 14(3). P. 137–145 (in Russian). https://doi.org/10.17587/prin.14.137–145Туровский Я. А., Алексеев А. В., Ипполитов Ю. А. Информационная система дополнительного канала обратной связи для видеоокулографических интерфейсов “человек–компьютер”. Вестник новых медицинских технологий. 2017. Т. 24. № 2. C. 152–157. https://doi.org/10.12737/article_5947d43a55d805.86585568Turovskiy Ya.A., Alekseev A. V., Ippolitov Yu. A. Informatsionnaya sistema dopolnitelnogo kanala obratnoy svyazi dlya videookulograficheskikh interfeysov chelovek-kompyuter [Information system of additional channel of feedback for video-oculographic interfaces human-computer.]. Journal of new medical technologies. 2017. V. 24 (2). P. 152–157 (in Russian). https://doi.org/10.12737/article_5947d43a55d805.86585568Туровский Я. А., Алексеев В. Ю., Мурадова Л. Г., Миронкин А. П. Особенности генерации команд для окулографических интерфейсов в условиях вестибулярных воздействий. Сенсорные системы. 2023. Т. 37. № 1. С. 49–59. https://doi.org/10.31857/S0235009223010080Turovskii Ya.A., Alekseev V. Yu., Muradova L. G., Mironkin A. P. Osobennosti generatsii komand dlya okulograficheskikh interfeisov v usloviyakh vestibulyarnykh vozdeistvii [Features of command generation for oculographic interfaces under conditions of vestibular influences]. Sensornye Sistemy [Sensory Systems]. 2023. V. 37(1). P. 49–59 (in Russian). https://doi.org/10.31857/S0235009223010080Туровский Я. А., Боронников А. И. Влияние обратной связи на характеристики освоения команд, генерируемых в задачах миографических интерфейсов. Технологии живых систем. 2020. Т. 17. № 2. С. 39–45. https://doi.org/10.18127/j20700997-202002-04Turovskii Yа.A., Boronnikov A. I. Vliyanie obratnoi svyazi na kharakteristiki osvoeniya komand, generiruemykh v zadachakh miograficheskikh interfeisov [Influence of feedback on the characteristics of mastering commands generated in tasks of myographic interfaces]. Technologies of Living Systems. 2020. V. 17(2). P. 39–45 (in Russian). https://doi.org/10.18127/j20700997-202002-04Туровский Я. А., Борзунов С. В., Вахтин А. А. Алгоритм оценки результатов статистического анализа данных биомедицинской природы в условиях эффекта множественных сравнений. Программная инженерия. 2021. Т. 1. № 9. С. 470–474. https://doi.org/10.17587/prin.12.470-474Turovskii Yа.A., Borzunov S. V., Vakhtin A. A. Algoritm otsenki rezul’tatov statisticheskogo analiza dannykh biomeditsinskoi prirody v usloviyakh ehffekta mnozhestvennykh sravnenii [Algorithm for evaluating the results of statistical analysis of biomedical data under the conditions of the result of multiple comparisons]. Software Engineering. 2021. V. 1(9). P. 470–474 (in Russian). https://doi.org/10.17587/prin.12.470–474Туровский Я. А., Борзунов С. В., Данилова А. В., Глаголева Е. П. Динамика непроизвольного формирования корреляционных паттернов ЭЭГ по механизму биологической обратной связи. Ульяновский медико-биологический журнал. 2020. № 2. С. 90–99. https://doi.org/10.34014/2227-1848-2020-2-90-99Turovskii Ya.A., Borzunov S. V., Danilova A. V., Glagoleva E. P. Dinamika neproizvol’nogo formirovaniya korrelyatsionnykh patternov EEG po mekhanizmu biologicheskoi obratnoi svyazi [Dynamics of involuntary formation of EEG correlation patterns by the biofeedback mechanism]. Ulyanovsk Medico-biological Journal. 2020. V. 2. P. 90–99 (in Russian). https://doi.org/10.34014/2227-1848-2020-2-90-99Alonso R., Causse M., Vachon F., Parise R., Dehais F., Terrier P. Evaluation of head-free eye tracking as an input device for air traffic control. Ergonomics. 2013. V. 56(2). P. 246–255. https://doi.org/10.1080/00140139.2012.744473Alonso R., Causse M., Vachon F., Parise R., Dehais F., Terrier P. Evaluation of head-free eye tracking as an input device for air traffic control. Ergonomics. 2013. V. 56(2). P. 246–255. https://doi.org/10.1080/00140139.2012.744473Benjamini Y., Hochberg Y. Controlling the false discovery rate: a practical and powerful approach to multiple testing. Journal of the Royal Statistical Society, Series B. 1995. V. 57(1). P. 289–300. https://doi.org/10.2307/2346101Benjamini Y., Hochberg Y. Controlling the false discovery rate: a practical and powerful approach to multiple testing. Journal of the Royal Statistical Society, Series B. 1995. V. 57(1). P. 289–300. https://doi.org/10.2307/2346101Cohen M. H., Giangola J. P., Balogh J. Voice User Interface Design. Addison Wesley Publisher. 2004. 368 p.Cohen M. H., Giangola J. P., Balogh J. Voice User Interface Design. Addison Wesley Publisher. 2004. 368 p.Eisma Y., Borst C., Paassen R., Winter J. Augmented Visual Feedback: Cure or Distraction? Human Factors. 2021. V. 63(7). P. 1156–1168. https://doi.org/10.1177/0018720820924602Eisma Y., Borst C., Paassen R., Winter J. Augmented Visual Feedback: Cure or Distraction? Human Factors. 2021. V. 63(7). P. 1156–1168. https://doi.org/10.1177/0018720820924602Hampton L. Refrexes. https://www.physio-pedia.com/ReflexesHampton L. Refrexes. https://www.physio-pedia.com/ReflexesKim B., Kim M., Jo S. Quadcopter flight control using a low-cost hybrid interface with EEG-based classification and eye tracking. Computers in Biology and Medicine. 2014. V. 51. P. 82–92. https://doi.org/10.1016/j.compbiomed.2014.04.020Kim B., Kim M., Jo S. Quadcopter flight control using a low-cost hybrid interface with EEG-based classification and eye tracking. Computers in Biology and Medicine. 2014. V. 51. P. 82–92. https://doi.org/10.1016/j.compbiomed.2014.04.020Toreini P., Langner M., Maedche A. Using Eye-Tracking for Visual Attention Feedback. Information Systems and Neuroscience. Lecture Notes in Information Systems and Organisation. Cham. Springer, 2020. V. 32. https://doi.org/10.1007/978-3-030-28144-1_29Toreini P., Langner M., Maedche A. Using Eye-Tracking for Visual Attention Feedback. Information Systems and Neuroscience. Lecture Notes in Information Systems and Organisation. Cham. Springer, 2020. V. 32. https://doi.org/10.1007/978-3-030-28144-1_29Wolpaw J., Wolpaw E. W. Brain-computer interfaces: principles and practice. Oxford University Press, 2012. P. 424.Wolpaw J., Wolpaw E. W. Brain-computer interfaces: principles and practice. Oxford University Press, 2012. P. 424.Yeo I. K., Johnson R. A. A new family of power transformations to improve normality or symmetry. Biometrika. 2000. V. 87(4). P. 954–959. https://doi.org/10.1093/biomet/87.4.954Yeo I. K., Johnson R. A. A new family of power transformations to improve normality or symmetry. Biometrika. 2000. V. 87(4). P. 954–959. https://doi.org/10.1093/biomet/87.4.954