Overview of approaches to driver fatigue recognition and existing technical solutions

Full Text

Введение Вождение в состоянии сонливости или усталости является одной из основных причин дорожно-транспортных происшествий. По данным ГИБДД процент ДТП, связанных с засыпанием водителя за рулем, в 2018 году составляет порядка 20% [1]. В США засыпание водителя за рулем вызывает не менее 100 000 аварий в год; 40 000 приводят к несмертельным травмам, и более 1500 приводят к смертельному исходу [2]. Согласно опросу, проведенному в России в 2017 году компанией Ford, 32% из опрошенных водителей признались, что хоть раз засыпали или клевали носом за рулем [3]. Национальная администрация безопасности дорожного движения США считает вождение в состоянии усталости актуальной проблемой в области безопасности дорожного движения [4], а комитет безопасности транспортных средств Euro NCAP согласно программе развития до 2020 года нацелен на поощрение производителей, предлагающих решения в области систем отслеживания состояния водителя [5]. В свете представленных статистических данных, меры по предотвращению засыпания во время вождения получили повышенное внимание в течение последних нескольких десятилетий. Чтобы обезопасить участников дорожного движения от водителей, находящихся в состоянии сонливости, автопроизводители разрабатывают технологии мониторинга автомобильных показателей эффективности вождения и предупреждения водителя о наступающей усталости. Работы по выявлению показателей усталости начали активно вестись с 1990-х годов и ведутся по сей день. Целью данной работы является проведение сравнительного анализа основных подходов к распознаванию усталости водителя. 1. Обзор способов распознавания усталости Для того чтобы провести процедуру оценки усталости водителя, в первую очередь необходимо выбрать один или несколько параметров, по которым она будет определяться. Существует несколько подходов с различными оцениваемыми параметрами. Подходы можно разделить на четыре группы: методы, основанные на непосредственной оценке физиологического состояния водителя и его биометрических характеристик; методы, основанные на поведении водителя; методы, основанные на анализе характерных особенностей движения автомобиля и воздействиях водителя на органы управления; методы, основанные на субъективной оценке. 1.1 Подходы, основанные на физиологическом состоянии водителя Согласно исследованиям [6-9], физиологические сигналы дают точное представление об усталости водителя. Одним из наиболее точных параметров, по которому отслеживается усталость, является электроэнцефалограмма (ЭЭГ). По мере возрастания сонливости водителя увеличивается мощность электромагнитного излучения мозга человека в альфа-диапазоне частот (от 8 до 13 Гц) [10]. Высокая точность использования данного параметра для оценки усталости водителя является преимуществом этого метода. Недостаток заключается в том, что данная система неудобна в использовании из-за необходимости крепления датчиков на тело человека (см. рис. 1). Рис. 1. Сбор данных ЭЭГ у водителя на симуляторе вождения Другим параметром, по которому можно отслеживать усталость водителя, является электрокардиограмма (ЭКГ) и частота сердцебиения [10, 11]. Распознавание усталости с использованием данного метода является также очень точным. В исследовании [12] было показано, что частота сердцебиения у уставших и сонливых водителей ниже, чем у бодрствующих. К преимуществам такого метода можно отнести высокую надежность при том, что число датчиков, необходимое для крепления к телу меньше, чем при использовании ЭЭГ. Однако привязанность водителя к датчикам все еще присутствует и является недостатком этого подхода. Опыт последних лет показывает, что такие подходы не нашли широкого применения на рынке автомобильной промышленности. 1.2. Подходы, основанные на поведении водителя 1.2.1. Определение усталости по голосу и речи Следующим подходом является определение усталости по голосу и речи [13]. Согласно исследованию [14], речевые данные следуют той же тенденции, что и данные субъективных показателей бдительности, то есть голосовые характеристики напрямую связаны с производительностью говорящего. При распознавании усталости по речи оцениваются такие параметры, как интенсивность голоса, ритм речи, характер пауз, интонация, скорость речи, качество речи [15]. К преимуществам данного метода можно отнести отсутствие раздражающих водителя элементов системы, а также устойчивость таких систем распознавания к факторам окружающей среды (таким как изменяющееся освещение, погодные условия и другим) [15]. Явный недостаток такого метода заключается в том, что водитель не всегда говорит, из-за чего система не всегда может своевременно распознать усталость. 1.2.2. Определение усталости по визуальным признакам водителя К одним из самых перспективных и распространённых методов этой группы можно отнести оценку усталости водителя по частоте закрытия глаз, а также по подвижности зрачков. Самым распространенным критерием, связанным с глазами водителя, является параметр PERCLOS (Percentage of Eye Closure) [16]. Этот параметр показывает процент времени, во время которого глаза водителя закрыты на 80-100% по отношению к определенному промежутку времени [17]. Управление безопасности дорожного движения США предложило метод, основанный на параметре PERCLOS в качестве основного для измерения усталости водителя [18]. Водитель, у которого значение PERCLOS составляет больше 80% за минуту, признается уставшим [18]. В исследованиях [19, 20, 21] было рассмотрено большое количество параметров, связанных с глазами, в результате чего PERCLOS был признан наиболее эффективным в распознавании усталости водителя из всех. Согласно [22], PERCLOS является единственным параметром, связанным с глазами водителя, который был официально верифицирован управлением безопасности дорожного движения США, что говорит о признанности этого параметра. Также для распознавания усталости помимо параметра PERCLOS существуют такие признаки, связанные с глазами, как частота моргания, скорость моргания, направление взгляда, движения зрачков. На рис. 2 показаны геометрические характеристики глаза, с помощью которых измеряются необходимые для оценки усталости водителя критерии. Рис. 2. Геометрические характеристики глаза Среди прочих визуальных признаков усталости, выражающихся в виде внешних признаков водителя, можно выделить зевание, кивки головой, характерные для утомленного водителя движения головы [23]. Преимуществом всех вышеперечисленных методов является отсутствие внешнего воздействия на водителя со стороны системы, так как распознавание глаз и лица происходит на основе изображений, получаемых с видеокамер. Общий вид алгоритма определения усталости на основе изображений показан на рис. 3. Наиболее популярными методами распознавания изображений являются анализ главных компонент, фильтры Габора, нейронные сети и частотно пространственные методы. Нейронные сети используются для идентификации и классификации данных и широко применяются в системах распознавания лиц и образов. Фильтры Габора - один из наиболее часто используемых методов представления черт лица с использованием сложных функций. Частотно-пространственные методы основаны на частотном анализе изображения в сочетании с методами, основанными на геометрической модели. Частотно-пространственные методы позволяют обеспечить надлежащее выделение характерных черт лица и минимизацию влияния условий освещенности [24]. Рис. 3. Общий вид алгоритма определения усталости на основе изображений В то же время необходимость применения систем распознавания изображений влечет за собой такие недостатки, как сложности, связанные с поворотом головы, изменяющейся внешностью (макияж, борода, очки и т.д.), эмоциями, искажающими черты лица [23]. Также на эффективность систем распознавания по видеоизображению негативно влияют условия освещенности, значительно изменяющиеся в дорожных условиях [25]. Более того, методы, основанные на визуальных признаках, проигрывают в точности методам, основанным на ЭКГ и ЭЭГ [26]. Подходы, основанные на определении усталости по визуальным признакам, являются перспективными, но до сих пор не являются широко распространенными из-за сложности реализации достаточно надежной системы. В то же время эти подходы могут найти применение не только в области автомобилестроения, но и в других сферах, требующих мониторинга состояния человека-оператора. 1.3. Определение усталости по характеру движения автомобиля и воздействиям водителя на органы управления 1.3.1. Подходы, использующие оценку характера движения автомобиля Исследования показали, что усталость водителя можно определить по характеру изменения положения автомобиля в полосе. Это можно сделать по оценке успешности удерживания автомобиля водителем в полосе, по частоте нарушения прямолинейности траектории движения автомобиля, по пересечению разметки, времени перестроения между полосами. На рис. 4 проиллюстрирован процесс сравнения траектории движения автомобиля с кривизной дороги. Преимуществом данных методов является отсутствие причинения дискомфорта водителю. Однако такие методы используют видеокамеры для распознавания полосы, что делает систему не очень надежной, так как на распознавание могут влиять плохие погодные условия (дождь, снег, туман и т.д.), плохое качество дорожной разметки и т.д. [17] В исследовании [27] было показано, что наибольшей корреляции с усталостью водителя достигла оценка по изменчивости траектории движения. Рис. 4. Сравнение траектории движения автомобиля с кривизной дороги 1.3.2. Подходы, использующие оценку характера воздействия водителя на органы управления автомобилем Наиболее распространенным органом управления автомобилем, с помощью которого оценивается усталость водителя, является рулевое колесо. В результате исследований было выявлено, что воздействия на руль можно разделить на два типа (см. рис. 5): 1) микрокоррекции - это воздействия, представляющие собой колебания угла поворота рулевого колеса с малой амплитудой, с помощью которых водитель удерживает автомобиль в полосе; 2) макрокоррекции - это воздействия, характеризующиеся большим углом поворота колеса, с помощью которых водитель ведет автомобиль вдоль кривизны дороги или совершает перестроение [17]. Рис. 5. Вид микрокоррекций и макрокоррекций на руле С рулевым колесом связывают такие характеристики, как частота смены направления поворота рулевого колеса, характер корректировок при рулении, скорость поворота руля [17]. Сменой направления поворота руля считается прохождение его через положение, соответствующее прямолинейному движению. Согласно исследованиям [28, 29] у сонных водителей уменьшена частота смены направления поворота руля. Характер воздействий на рулевое колесо принимает вид более частых корректировок в состоянии бодрости по отношению к частоте в состоянии усталости и их отсутствие некоторое время, сопровождаемое прерывистыми воздействиями в таком состоянии [30]. Согласно исследованию [31], характер руления, состоящий из отсутствия подруливаний или очень медленных подруливаний и последующих резких корректировок руля, коррелирует с усталостью водителя. Скорость поворота руля имеет тенденцию снижаться при усталости, в то время как среднеквадратическое отклонение скорости поворота руля увеличивается [32, 33]. В исследовании [34] было обнаружено, что превышение скорости поворота рулевого колеса порогового значения в 150 говорит об усталости водителя. В исследовании [27] была оценена связь изменчивости угла поворота рулевого колеса автомобиля с изменчивостью траектории движения автомобиля, и было доказано, что уровень корреляции между этими параметрами достаточно высок, что косвенно подтверждает эффективность оценки усталости водителя по скорости поворота рулевого колеса. На рисунке 6 показаны результаты определения связи между углом поворота рулевого колеса и положением автомобиля в полосе, полученные в исследовании. Сплошная линия отображает фактическое положение автомобиля в полосе, штриховая линия показывает угол поворота рулевого колеса, а линия из точек - положение автомобиля в полосе, полученное вычислением из угла поворота рулевого колеса с помощью передаточной функции. Рис. 6. Измеренное положение автомобиля на полосе, угол поворота рулевого колеса и вычисленное положение автомобиля на полосе Помимо рулевого колеса, водитель также оказывает воздействия на педали тормоза/газа. В работах по определению усталости водителя по таким воздействиям были получены противоречивые результаты. Так, несмотря на то, что в исследовании [35] было обнаружено, что на основе данных эксперимента, проходившего 24 часа, можно говорить о корреляции между воздействиями на педаль газа и временем поездки, в исследовании [36] не было обнаружено взаимосвязи между этими параметрами. Подходы, использующие оценку характера воздействия водителя на органы управления автомобилем, на сегодняшний день наиболее популярны среди автопроизводителей, так как в таких системах легко собирать данные, необходимые для оценки усталости, с помощью датчиков, которые уже установлены на большинстве автомобилей. Для обработки данных угла поворота используются различные методы: нахождение математического ожидания угла поворота рулевого колеса, дисперсии [37], определение приблизительной энтропии [38]. Также применяется анализ сигналов с датчиков в частотной области и системы на основе искусственных нейронных сетей [39]. 1.4. Подходы, основанные на субъективной оценке усталости В данном подходе субъективная оценка усталости производится самим водителем, для чего используется специальная шкала сонливости. Наиболее распространенной шкалой является Каролинская шкала сонливости (см. таблицу 1) [10]. Доказано, что Каролинская шкала сонливости сильно коррелирует с качеством управления автомобиля, которое тесно связано с данными электроэнцефалограммы [40]. Субъективность этого метода и является его преимуществом, так как водитель лучше всего может оценить свое же состояние. Недостаток методов, основанных на опросах, заключается в невозможности их реализации в реальном времени [26]. Субъективная оценка часто используется как основа для реализации других методов распознавания усталости, то есть на основе данных, полученных в результате опросов, классифицируется состояние водителя в определенный момент времени. Его состояние в этот момент времени затем ставится в соответствие имеющимся данным с датчиков, будь то записанные углы поворота руля, сохраненные изображения водителя и т.д. Таблица 1 Каролинская шкала усталости Рейтинг Описание состояния 1 Чрезвычайно бодр 2 Очень бодр 3 Бодр 4 Достаточно бодр 5 Ни бодр, ни сонлив 6 Проявляются некоторые признаки сонливости 7 Сонлив, но не требуются усилия для поддержания бодрствования 8 Сонлив, требуются некоторые усилия для поддержания бодрствования 9 Очень сонлив, требуются большие усилия для поддержания бодрствования 2 Обзор существующих решений 2.1.Driver assistant от компании Ford Система состоит из камеры, направленной на дорогу, и датчика угла поворота рулевого колеса. Система распознает наезды на разметку на дорожной поверхности с помощью фронтальных камер, а также замечает наличие внезапных и резких корректировок рулевым колесом, что характеризует состояние усталости водителя. После факта обнаружения усталости на основе приведенных выше признаков система выдает водителю предупреждение о необходимости отдыха [41]. Таким образом данная система комбинирует в себе подходы, использующие оценку характера движения автомобиля и характера воздействия водителя на органы управления. 2.2. Driver alert control от компании Volvo Камера считывает разметку дорожной полосы и сравнивает кривизну дороги с поворотами рулевого колеса. Водителю подается сигнал тревоги, если автомобиль не следует плавно за изгибами дороги. Данная система предназначена для обнаружения ухудшения качества управления автомобилем водителя и в первую очередь пригодна для использования на крупных магистралях. Функция не предназначена для езды по городу, что является одним из недостатков данной системы [42]. Решение компании Volvo относится к подходам, использующим оценку характера движения автомобиля. 2.3. Attention assist от компании Mercedes-Benz Система Attention assist на скорости от 80 до 180 км/ч постоянно анализирует поведение водителя и движения рулевого колеса [43]. Она анализирует характер руления водителя, а также может выявлять типичные признаки усталости в его поведении [44]. Система запоминает характер управления водителя и постоянно сравнивает его с показаниями датчиков. Исследования, проведенные в Mercedes показали, что уставшие водители совершают незначительные ошибки при рулении, которые затем немедленно и резко корректируют [37]. Если система обнаруживает такое поведение, то она обращается к данным о других параметрах для того, чтобы подтвердить факт усталости водителя. К таким данным относится информация о том, как долго водитель находится за рулем, насколько активно пользуется приборами автомобиля, таким образом проявляя активность, а также информация о таких внешних факторах как качество дорожного покрытия и боковой ветер. Система Attention assist основана на подходе, использующем оценку воздействия водителя на органы управления. 2.4. Driver drowsiness detection от компании Bosch Обнаружение сонливости водителя основано на алгоритме, который начинает записывать движения рулевого колеса в момент начала поездки. Затем он распознает изменения в ходе длительных поездок, а следовательно, и уровень усталости водителя. Типичными признаками ослабления концентрации являются фазы, в течение которых водитель редко воздействует на руль, в сочетании с незначительными, но быстрыми и резкими движениями рулевого колеса, чтобы держать автомобиль на дороге. Исходя из частоты этих движений и других параметров, среди которых частота изменения направления взгляда, длительность поездки, использование поворотников и время суток, функция рассчитывает уровень усталости водителя. Если этот уровень превышает определенное значение, то система уведомляет водителя о необходимости взять перерыв в вождении [45]. Данная система совмещает подходы, основанные на оценке усталости по визуальным признакам водителя и характера воздействия водителя на органы управления. 2.5.Driver Monitor System от компании Seeing Machines В рамках выставки электроники Consumer Electronics Show в 2015 году в Лас Вегасе компания Seeing Machines совместно с компанией Jaguar Land Rover продемонстрировала систему мониторинга состояния водителя Driver Monitor System (DMS). В основе работы системы DMS лежат специальные датчики, смонтированные на передней панели автомобиля, которые отслеживают взгляд и мимику водителя и, таким образом, способны распознать момент потери водителем внимания по причине усталости или других отвлекающих факторов. Данная система способна оценивать состояние водителя в любых условиях, в том числе при ярком солнечном свете или в тех случаях, когда водитель управляет автомобилем в солнцезащитных очках или очках для коррекции зрения [46]. DMS распознает усталость водителя на основе визуальных признаков. 2.6. Dunomobil insomnia от российской компании Dunomobil Данная система распознавания работает на основе показаний с камеры, установленной на лобовом стекле и направленной на водителя. Прибор постоянно анализирует состояние водителя и отслеживает частоту моргания глаз, отведения глаз в сторону и наклон головы [47]. Как и система Seeing machines, описанная выше, российская разработка основана на подходе, в котором оцениваются визуальные признаки усталости водителя. Заключение На сегодняшний день существует несколько подходов к распознаванию усталости водителя. В силу специфики области автомобилестроения и эксплуатации транспортных средств на дорогах общего пользования некоторые из подходов оказались неконкурентоспособны, несмотря на возможность достижения высокой точности срабатывания, в то время как другие получили наибольше распространение. К последним относятся методы, основывающиеся на распознавании усталости по характеру воздействий водителя на рулевое колесо и по глазам водителя. Повышения недостающей, по сравнению с другими методами, надежности таких систем распознавания усталости можно достичь за счет комбинирования этих методов, что и является тенденцией в современных системах.

About the authors

Ya. D Saprykin

Bauman Moscow State Technical University

Email: yds@live.ru
Moscow, Russia

V. I Ryazantsev

Bauman Moscow State Technical University

DSc in Engineering Moscow, Russia

A. A Smirnov

Bauman Moscow State Technical University

PhD in Engineering Moscow, Russia

References

Supplementary files