ANALYSIS OF THE STATE OF AIRCRAFT CREW MEMBER BY THE SPEECH USING GAUSSIAN MODELS OF MIXTURES

Full Text

ВВЕДЕНИЕ Обеспечение безопасности полетов является главным приоритетом современной гражданской авиации. Сложно переоценить роль этой задачи в условиях, когда на борту самолета находится множество людей. Однако по статистике [1] около 80% авиакатастроф в Российской Федерации происходят по причине человеческого фактора, и лишь 20% случаев приходится на отказы авиационной техники. Понятно, что помимо глобальных факторов, связанных с неправильным поведением экипажа в критических ситуациях, нехваткой летной практики, важную роль играет и психологический фактор. В каком состоянии пилот начинает рейс? Потенциально выявление и предупреждение некоторых отклонений в состоянии пилота в ходе предполетной проверки может дополнительно снизить риски. В мире существуют специальные подходы и организации, способствующие реализации системы мониторинга состояния экипажа [2-4]. Однако в настоящее время не существует достаточно эффективной системы выявления усталости или состояний психологического отклонения у членов экипажа. Подобные системы, например, реализуются при мониторинге состояния водителя с помощью искусственного интеллекта и задач компьютерного зрения [5-7]. В частности, решаются задачи распознавания закрытых глаз, сигнализирующих об усталости водителя. Интеллектуальный анализ данных также может быть успешно применен и для распознавания отклонений в голосе членов экипажа воздушного судна (ВС). Попытка имитации диалогов пилота в различных условиях рассмотрена в работе [8]. Однако авторами рассматривается лишь моделирование ограниченного числа фраз сообщений фразеологического радиообмена. При этом имитируется голос уже непосредственно с борта ВС. Более того, получение достаточной обучающей выборки в данной ситуации довольно критично, поскольку нужно записывать голос пилота и отдавать на анализ экспертам. Адекватная оценка классификации, проведенной экспертами, будет возможна лишь спустя время после выполнения полета. При этом будет требоваться достаточно сложный дополнительный анализ. Заметим, что одним из вариантов быстрой кластеризации данных является применение моделей гауссовых смесей [9-10]. При этом не требуется предварительно знать, к какому классу относится то или иное сообщение. Понятно, что такая система будет уступать хорошо обученным под выявление важных параметров отклонения психологического состояния, но может значительно сократить время реализации в условиях подготовки достаточной обучающей выборки. Целью данной работы является исследование применения гауссовых моделей смесей для выявления стандартных и аномальных сообщений одного и того же диктора по спектральному представлению данного сигнала. Таким образом, важно, что при подходе анализа спектральных характеристик речевые сообщения при кластеризации без учителя относятся к одному и тому же диктору. Действительно, спектр сообщений, произнесенных различными дикторами, особенно разного пола, будет сильно отличаться, и при автоматическом выборе параметров для классификации наиболее вероятным будет разделение именно по голосу. МЕТОДЫ ИССЛЕДОВАНИЙ Задача исследования заключалась в оценке состояния человека по голосу. Для этого необходимо было подготовить исходную базу данных для анализа. Одним и тем же диктором произносились, как фразы по установленной форме радиообмена, так и свободные вольные фразы. Дополнительный шум искусственно при записи не добавлялся. Дополнительной предобработки с записями по эквалайзингу и фильтрации также не выполнялось. Для удобства оценки в отсутствии экспертов в области психологии все выражения записывались трижды в различных состояниях. При этом предпринималась попытка повторения одной и той же фразы в стандартном режиме, в заторможенном режиме с паузами (имитация усталости), в обрывистом, неспокойном режиме (имитация психологического отклонения). Таким образом, было создано 3 класса сообщений: стандарт, усталость, нервозность. Использовалась стандартная бесплатная программа для работы с аудио сигналами «AudaCity». Данное программное обеспечение позволяет формировать спектр сигнала в диапазоне от 86 Гц до 22 кГц. Однако данный подход обеспечивает 255 составляющих частотного спектра, что достаточно много для модели гауссовых смесей. Простым усреднением было выполнено схлопывание спектра до 10 компонент. При этом частота выбиралась в середине участка, а значение на заданной частоте получалось по выражению (1) , (1) где - число компонент для усреднения (25 для первых 9 новых компонент, 30 для последней новой компоненты), - номер частотной компоненты, с которой начинается усреднение, - уровень сигнала на -й частотной составляющей. Таким образом, после усреднения получается 10 компонент. Значения данных компонент и будут являться параметрами модели (в 10 измерениях). На основе 10-мерной плотности распределения вероятностей будут формироваться определенные классы. При этом будем считать, что заранее известно точное число классов, а именно 3. Рассмотрим на примере одномерного случая модель гауссовых смесей более подробно. Поскольку случайные значения сигналов на частотных составляющих наиболее точно могут быть описаны с помощью нормального распределения, применение такой модели целесообразно для решения поставленной задачи. Пусть классифицируемый объект описывается одним параметром , например, уровнем сигнала на частоте . При аппроксимации случайной величины с помощью гауссова распределения можно перейти к выражению плотности распределения вероятностей (ПРВ) , (2) где - математическое ожидание или среднее значение случайной величины , а - среднеквадратичное отклонение случайной величины . Теперь допустим, что, кроме значения сигнала на частотной составляющей , добавляются еще значения сигнала на частотных составляющих , и эти значения описываются случайными величинами . Тогда размерность ПРВ увеличивается до . Однако основным преимуществом нормального распределения (2) является удобство его представления в многомерной форме (3) ,(3) где , , , - матрица, обратная к . Поскольку все параметры учитываются лишь в степени экспоненты, то выражение (3) может быть заменено произведением выражений для одномерных ПРВ (2) в том случае, если между случайными величинами отсутствует корреляция. Следует отметить, что для рассматриваемой задачи такое упрощение недопустимо, поскольку существует связь между составляющими частотного спектра, близко расположенными к друг другу. На рис. 1 представлен пример плотности распределения вероятностей для нормального распределения при нулевом математическом ожидании и единичной дисперсии. Как видно из рис. 1, величине соответствует наиболее вероятное значение, равное 0. Поскольку представлен одномерный вариант, то описывается лишь точка на оси oX. При добавлении второго параметра каждый объект будет уже описываться точкой на плоскости, а ПРВ будет представляться в трехмерном пространстве. Таким образом, можно использовать сечения для анализа 10 параметров одного и того же объекта (фразы). Модель гауссовых смесей применяется для кластеризации, когда разным значениям случайной величины соответствуют разные классы объектов. На рис. 2 показана плотность распределения такой модели, содержащей 3 типа объектов. Пунктиром показаны отдельные распределения для таких объектов, характеризующихся одним параметром. При этом суммарная фигура строится таким образом, чтобы ее площадь, как и для отдельных ПРВ компонент, была равна 1. Наличие нескольких пиков на графике ПРВ позволяет выполнять автоматическую кластеризацию путем простого расчета расстояния точки от каждого пика и выборе минимального расстояния для определения класса, т.е., к какому пику ближе значение параметра неизвестного объекта, к тому классу его и будет относить модель смесей. РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЙ И ИХ ОБСУЖДЕНИЕ Для получения анализируемых данных использовалась стандартное звукозаписывающее устройство типа «TASCAM время DR-40». Фразы произносились одним и тем же диктором в обычном режиме, а также в режиме стрессового состояния (после комплекса упражнений) и в режиме усталости (перед сном в конце дня). Полученные в ходе экспериментов записи были проанализированы в «AudaCity» для спектрального представления, затем спектр был разделен на 10 участков, для которых происходило усреднение. Фразы использовались для перспективного выявления усталости у экипажа. И стандартные записи могут быть использованы как эталоны при дальнейшем анализе на борту, выявляющем расхождения от эталонов. Выбранные для эксперимента речевые сообщения представляют как стандартные фразы радиообмена, так и фразы более свободной формы. Далее приведены 8 фраз, используемые при анализе. 1) MAY DAY, MAY DAY, MAY DAY (Фраза №1); 2) Внимание экипаж, сдвиг ветра, уходим на второй круг (Фраза №2); 3) Внимание экипаж, карта аварийных проверок, пожар правого двигателя (Фраза №3); 4) 1013 ГПа установлено, набираю эшелон 80 (Фраза №4); 5) Здравствуйте, как дела? (Фраза №5); 6) Добрый день, температура в пункте прибытия плюс двадцать (Фраза №6); 7) Я командир воздушного судна Diamond 40NG (Фраза №7); 8) Предполетная проверка связи. Раз, два, три. (Фраза №8). Каждая фраза была записана по 2 раза в каждом состоянии. Это позволило получить выборку из 48 звуковых сообщений. Соответственно в исходной выборке было по 16 сообщений каждого класса. На рис. 3 представлены примеры спектров, полученных при произнесении Фразы №1 в различных режимах. Из рис. 3 видно, что различные условия произнесения фраз приводят к появлению различных спектров. Это и было использовано при применении гауссовых моделей смесей. В табл. 1 показаны результаты распознавания для всех 3-х классов. Анализ полученных результатов показывает, что применение гауссовых моделей смесей для данных фраз обеспечило долю правильных распознаваний среди 3 классов порядка 65%. ЗАКЛЮЧЕНИЕ Таким образом, в работе исследованы алгоритмы автоматической кластеризации состояния диктора по произнесенному сообщению на базе моделей гауссовых смесей. Для тестовой выборки был получен средний результат 65%. Добиться повышения качества можно, дополнительно используя корреляционный анализ для предварительного определения того, какая фраза произнесена. А затем из отсортированных фраз уже производить более глубокую кластеризацию. Это и составляет планы будущих исследований.

About the authors

N. A Andriyanov

Financial University under the Government of the Russian Federation

Email: nikita-and-nov@mail.ru
Moscow, Russia

V. E Dementiev

Ulyanovsk State Technical University

Email: dve@ulntc.ru
Ulyanovsk, Russia

References

Supplementary files