Human PhysiologyHuman PhysiologyФизиология человека0131-16463034-6150The Russian Academy of Sciences68989710.31857/S0131164625040053SQDZDNArticlesСтатьиResearch ArticleAcoustic and semantic auditory processing of continuous speech: a time response function analysis for MEG dataАкустическая и семантическая слуховая обработка потоковой речи: исследование при помощи функции временного отклика для МЭГ-данныхOvakimianA. S.ОвакимянА. С.
Russian Federation
alena@ovakimian.ruSoghoyanG. A.СогоянГ. А.
Russian Federation
alena@ovakimian.ruMartynovaO. V.МартыноваО. В.
Russian Federation
alena@ovakimian.ruSysoevaO. V.СысоеваО. В.
Russian Federation
alena@ovakimian.ruInstitute of Higher Nervous Activity and Neurophysiology of the RASФГБУН Институт высшей нервной деятельности и нейрофизиологии РАНSkolkovo Institute of Science and TechnologyСколковский институт науки и технологийSirius University of Science and TechnologyНаучно-технологический университет «Сириус»0409202551469802608202526082025Copyright ©; 2025, Russian Academy of SciencesCopyright ©; 2025, Российская академия наук2025Russian Academy of SciencesРоссийская академия наукhttps://journals.eco-vector.com/0131-1646/article/view/689897

Speech perception is a complex process involving multilevel neurophysiological processing of various speech components. In the presented work, we used temporal response function (TRF), a novel method of processing the magnetoencephalogram (MEG) recorded while listening to continuous speech to analyse the neural response to auditory and semantic components of speech during its perception in vivo. The temporal response to dynamic changes in the sound envelope demonstrated an early neurophysiological response: from 20 ms with an amplitude peak at 100 ms, and the response to the perception of word onset had a peak latency at 120 ms. The semantic component of speech showed a later temporal response: from 200 ms with a peak latency of 300 ms bilaterally in temporal magnetometers. Thus, TRF showed a later response to semantic changes in speech than to changes in acoustic features in the MEG study.

Восприятие речи – комплексный процесс, включающий многоуровневую нейрофизиологическую обработку различных речевых компонентов. В данной работе использовали новый метод обработки зарегистрированного во время прослушивания потоковой речи сигнала магнитоэнцефалограммы (МЭГ) – функцию временного отклика (ФВО) для анализа нейронального ответа на аудиальные и семантические компоненты речи при ее восприятии в естественных условиях. Временной отклик на динамические изменения звуковой огибающей продемонстрировал ранний нейрофизиологический ответ: от 20 мс с пиком амплитуды на 100 мс, а ответ на восприятие начала слова имеет пиковую латентность на 120 мс. Семантическая компонента речи показала более поздний временной отклик: от 200 мс с пиковой латентностью 300 мс билатерально в височных отведениях. Таким образом, ФВО показала более поздний ответ на семантические изменения речи, чем на изменения акустических признаков в МЭГ-исследовании.

speech perceptionMEGtemporal response functionвосприятие речиМЭГфункция временного откликаРоссийский научный фондRussian Science Foundation23-78-00011Forseth K.J., Hickok G., Rollo P.S., Tandon N. Language prediction mechanisms in human auditory cortex // Nat. Commun. 2020. V. 11. № 1. P. 5240.Foti D., Roberts F. The neural dynamics of speech perception: Dissociable networks for processing linguistic content and monitoring speaker turn-taking // Brain Lang. 2016. V. 157. P. 63.Evans S., Davis M.H. Hierarchical organization of auditory and motor representations in speech perception: Evidence from searchlight similarity analysis // Cereb. Cortex. 2015. V. 25. № 12. P. 4772.Okada K., Rong F., Venezia J. et al. Hierarchical organization of human auditory cortex: Evidence from acoustic invariance in the response to intelligible speech // Cereb. Cortex. 2010. V. 20. № 10. P. 2486.Petrushevskiy A.G., Mayorova L.A. Speech and Non-Speech Sound Categorization in Auditory Cortex: fMRI Correlates // Human Physiology. 2019. V. 45. № 6. P. 5.Петрушевский А. Г., Майорова Л. А. фМРТ-корреляты категоризации звуков речевой и неречевой природы в слуховой коре // Физиология человека. 2019. Т. 45. № 6. С. 5.Henry M.J., Obleser J. Frequency modulation entrains slow neural oscillations and optimizes human listening behavior // Proc. Natl. Acad. Sci. 2012. V. 109. № 49. P. 20095.Kleeva D.F., Rebreikina A.B., Soghoyan G.A. et al. Generalization of sustained neurophysiological effects of short‐term auditory 13‐Hz stimulation to neighbouring frequency representation in humans // Eur. J. Neurosci. 2022. V. 55. № 1. P. 175.Tomé D., Barbosa F., Nowak K., Marques-Teixeira J. The development of the N1 and N2 components in auditory oddball paradigms: A systematic review with narrative analysis and suggested normative values // J. Neural Transm. 2015. V. 122. № 3. P. 375.Voola M., Nguyen A.T., Marinovic W. et al. Oddeven oddball task: Evaluating event-related potentials during word discrimination compared to speech-token and tone discrimination // Front. Neurosci. 2022. V. 16. P. 983498.Larionova E.V., Martynova O.V. Frequency effects on spelling error recognition: An ERP study // Front. Psychol. 2022. V. 13. P. 834852.Liaukovich K., Ukraintseva Y., Martynova O. Implicit auditory perception of local and global irregularities in passive listening condition // Neuropsychologia. 2022. V. 165. P. 108129.Rebreikina A.B., Larionova E.V., Martynova O.V. Event-related potentials during literacy acquisition // J. Mod. Foreign Psychol. 2020. V. 9. № 2. P. 21.Ребрейкина А.Б., Ларионова Е.В., Мартынова О.В. Динамика вызванных потенциалов в процессе становления грамотности // Современная зарубежная психология. 2020. Т. 9. № 2. С. 21.Rebreikina A.B., Kleeva D.F., Soghoyan G.A., Sysoeva O.V. [Effect of auditory ltp-like stimulation on the processing of sounds] // Sensornye Sistemy [Sensory Systems]. 2021. V. 35. № 2. P. 144.Ребрейкина А.Б., Клеева Д.Ф., Согоян Г.А., Сысоева О.В. Влияние слуховой LTP-подобной стимуляции на обработку звуковых стимулов // Сенсорные Системы. 2021. Т. 35. № 2. С. 144.Kraus N., McGee T., Carrell T.D., Sharma A. Neurophysiologic bases of speech discrimination // Ear Hear. 1995. V. 16. № 1. P. 19.Sysoeva O.V., Molholm S., Djukic A. et al. Atypical processing of tones and phonemes in Rett Syndrome as biomarkers of disease progression // Transl. Psychiatry. 2020. V. 10. № 1. P. 188.Näätänen R. The perception of speech sounds by the human brain as reflected by the mismatch negativity (MMN) and its magnetic equivalent (MMNm) // Psychophysiology. 2001. V. 38. № 1. P. 1.Chen T.C., Hsieh M.H., Lin Y.T. et al. Mismatch negativity to different deviant changes in autism spectrum disorders: A meta-analysis // Clin. Neurophysiol. 2020. V. 131. № 3. P. 766.Rogachev A.O, Sysoeva O.V. The Temporal Response Function — a New Method for Investigating Neurophysiological Mechanisms of Speech Perception under Ecologically Valid Conditions // J. Mod. Foreign Psychol. 2024. V. 13. № 1. P. 92.Рогачев А.О., Сысоева О.В. Функция временного отклика — новый метод исследования нейрофизиологических механизмов восприятия речи в экологически валидных условиях // Современная зарубежная психология. 2024. Т. 13. № 1. С. 92.Lalor E.C., Pearlmutter B.A., Reilly R.B. et al. The VESPA: A method for the rapid estimation of a visual evoked potential // Neuroimage. 2006. V. 32. № 4. P. 1549.Lalor E.C., Power A.J., Reilly R.B., Foxe J.J. Resolving precise temporal processing properties of the auditory system using continuous stimuli // J. Neurophysiol. 2009. V. 102. № 1. P. 349.Brodbeck C., Simon J. Z. Continuous speech processing // Curr. Opin. Physiol. 2020. V. 18. P. 25.Brodbeck C., Simon J. Z. Continuous speech proces-sing // Curr. Opin. Physiol. 2020. V. 18. P. 25.Brodbeck C., Das P., Gillis M. et al. Eelbrain, a Python toolkit for time-continuous analysis with temporal response functions // Elife. 2023. V. 12. P. e85012.Brodbeck C., Hong L.E., Simon J.Z. Rapid trans-formation from auditory to linguistic representations of continuous speech // Curr. Biol. 2018. V. 28. № 24. P. 3976.Brodbeck C., Hong L.E., Simon J.Z. Rapid transformation from auditory to linguistic representations of continuous speech // Curr. Biol. 2018. V. 28. № 24. P. 3976.Donhauser P.W., Baillet S. Two distinct neural timescales for predictive speech processing // Neuron. 2020. V. 105. № 2. P. 385.Mayorova L.A., Martynova O.V., Balaban P.M. et al. [Mismatch Negativity and its Hemodynamic Equivalent (Based on fMRI in Research of Speech Perception in Healthy and in Speech Disorders] // Usp. Fiz. Nauk. 2014. V. 45. № 1. P. 27.Майорова Л.А., Мартынова О.В., Балабан П.М. и др. Негативность рассогласования и ее гемодинамический эквивалент (по данным фМРТ) в исследованиях восприятия речи в норме и при речевых расстройствах // Усп. физ. наук. 2014. Т. 45. № 1. С. 27.Butorina A.V. Shestakova A.N., Nikolaeva A.Y. et al. Magneto encephalography (MEG): Perspectives of speech areas functional mapping in human subjects // J. Mod. Foreign Psychol. 2012. V. 1. № 1. P. 103.Буторина А. В., Шестакова А.Н., Николаева А.Ю. и др. Функциональное картирование речевых зон мозга человека: перспективы использования метода магнитоэнцефалографии (МЭГ) // Современная зарубежная психология. 2012. Т. 1. № 1. С. 103.Khalighinejad B., da Silva G.C., Mesgarani N. Dynamic encoding of acoustic features in neural responses to continuous speech // J. Neurosci. 2017. V. 37. № 8. P. 2176.MacGregor L.J., Pulvermüller F., van Casteren M., Shtyrov Y. Ultra-rapid access to words in the brain // Nat. Commun. 2012. V. 3. № 1. P. 711.Lowe M.X., Mohsenzadeh Y., Lahner B. et al. Cochlea to categories: The spatiotemporal dynamics of semantic auditory representations // Cogn. Neuropsychol. 2021. V. 38. № 7–8. P. 468.Lowe M.X., Mohsenzadeh Y., Lahner B. et al. Cochlea to categories: The spatiotemporal dynamics of semantic auditory representations // Cogn. Neuropsychol. 2021. V. 38. № 7-8. P. 468.Verkhlyutov V.M., Burlakov. E.O., Gurtovoy K.G., Vvedensky V.L. [Recognition of oral speech according to MEG data by covariance filters] // Zh. Vyssh. Nerv. Deyat. Im. I.P. Pavlova. 2023. V. 73. № 6. P. 800.Верхлютов В.М., Бурлаков Е.О., Гуртовой К.Г., Введенский В.Л. Распознавание устной речи по данным МЭГ с использованием ковариационных фильтров // Журн. высш. нерв. деят. им. И.П. Павлова. 2023. Т. 73. № 6. C. 800.Van Petten C., Coulson S., Rubin S. et al. Time course of word identification and semantic integration in spoken language // J. Exp. Psychol. Learn. Mem. Cogn. 1999. V. 25. № 2. P. 394.Orepic P., Truccolo W., Halgren E. et al. Neural manifolds carry reactivation of phonetic representations during semantic processing // bioRxiv. [Electronic resourse]. 2024. doi: 10.1101/2023.10.30.564638Orepic P., Truccolo W., Halgren E. et al. Neural mani-folds carry reactivation of phonetic representations during semantic processing // bioRxiv. [Electronic resourse]. 2024. doi: 10.1101/2023.10.30.564638Broderick M.P., Anderson A.J., Lalor E C. Semantic context enhances the early auditory encoding of natural speech // J. Neurosci. 2019. V. 39. № 38. P. 7564.Getz L.M., Toscano J.C. Electrophysiological evidence for top-down lexical influences on early speech perception // Psychol. Sci. 2019. V. 30. № 6. P. 830.Vaitulevich S.F., Petropavlovskaya E.A., Shestopalova L.B., Nikitin N.I. Functional hemispheric asymmetry of the human brain in audition // Human Physiology. 2019. V. 45. № 2. P. 103.Вайтулевич С.Ф., Петропавловская Е.А., Шестопалова Л.Б., Никитин Н.И. Функциональная межполушарная асимметрия мозга человека и слуховая функция // Физиология человека. 2019. Т. 45. № 2. С. 103.Dmitrieva E.S., Gelman V.Y., Zayceva K.A., Orlov A.M. [Measuring the Association Between Emotional Prosody Perception and Emotional Intelligence Components] // Psychol. J. High. Sch. Econ. 2012. V. 9. № 1. P. 126.Дмитриева Е.С., Гельман В.Я., Зайцева К.А., Орлов А.М. Оценка связи восприятия эмоциональной интонации речи с компонентами эмоционального интеллекта // Психология. Журнал ВШЭ. 2012. T. 9. № 1. C. 126.Lebedeva N.N., Karimova E.D., Kazimitova E.A. [Speech signal analysis in human functional status studies] // Biomed. Radioelectron. 2015. № 2. P. 3.Лебедева Н.Н., Каримова Е.Д., Казимирова Е.А. Анализ речевого сигнала в исследованиях функционального состояния человека // Биомедицинская радиоэлектроника. 2015. № 2. С. 3.Verwoert M., Amigó-Vega J., Gao Y. et al. Whole-brain dynamics of articulatory, acoustic and semantic speech representations // bioRxiv. [Electronic resourse]. 2024. Doi: 10.1101/2024.08.15.608082Menenti L., Petersson K.M., Hagoort P. From reference to sense: how the brain encodes meaning for speaking // Front. Psychol. 2012. V. 2. P. 384.Menenti L., Petersson K.M., Hagoort P. From reference to sense: How the brain encodes meaning for speaking // Front. Psychol. 2012. V. 2. P. 384.Luthra S. The role of the right hemisphere in processing phonetic variability between talkers // Neurobiol. Lang. 2021. V. 2. № 1. P. 138.