Automated traffic control system based on recognition of the road scene and its objects

Full Text

Введение В течение многих лет для повышения безопасности дорожного движения проводятся исследования, связанные с разработкой систем помощи водителю. Данные системы идентифицируются мировым инженерным сообществом термином ADAS (Advanced Driver Assistance Systems). Основной алгоритм работы ADAS-систем во время движения заключается в сборе данных от сенсоров вокруг АТС, дальнейшего анализа информации, обнаружения критической ситуации на дороге и проведения мероприятий по их избеганию или смягчению последствий. В настоящее время получили большое распространение ADAS такие, как ассистент удержания в полосе движения, обнаружения препятствий на полосе следования, определение дорожных знаков, ассистент помощи при парковке, система определения пешеходов, система ночного видения, адаптивный круиз-контроль, система контроля слепых зон и т.д. В 2014 г. в США был утвержден первый национальный стандарт в сфере автономных АТС - SAE J3016 «Системы автоматизированного управления движением АТС. Классификация, термины и определения» [1]. Стандарт разрабатывался вновь созданным комитетом «On-Road Automated Vehicle Standards Committee» и содержит определения, терминологию и классификацию уровней автоматизации дорожных автотранспортных средств (АТС). Рассматриваемый документ является основой для последующей разработки стандартов и определяет будущий язык общения сообщества, занимающегося вопросами автоматизированных и автономных АТС. Цель исследования В настоящее время разработанные системы помощи водителю широко используются автопроизводителями. Согласно статистике компании Bosch [2] наиболее распространенными системами помощи водителю является система удержания в полосе движения и система автоматического аварийного торможения. Причем, непреднамеренный выезд из занимаемой полосы движения вызывает около 30% всех аварий на дороге. В основном это обуславливается отвлечением или усталостью водителя. Разработкой ADAS занимаются многие крупные зарубежные автопроизводители. Однако на рынке Российской Федерации практически отсутствуют собственные разработки и решения, которые возможно серийно устанавливать на автомобили. Для реализации функций ADAS на коммерческом транспорте, адаптированных под условия эксплуатации в России, коллективом НГТУ им. Р.Е. Алексеева совместно с Группой ГАЗ проводятся работы над концептом системы помощи водителю с возможностью корректировки движения автомобиля путем интеграции в систему рулевого управления. Материалы и методы исследования На первом этапе разработки был проведен анализ информационных источников, затрагивающих вопрос разработки систем помощи водителю. В статье [3] на основе проведенного анализа был предложен метод обнаружения дорожных полос, который различает пунктирные и сплошные линии дороги. На основе экспериментальных результатов с открытой базой данных Caltech данный метод показал превосходство над традиционными методами определения дорожных полос. Работа [4] направлена на разработку алгоритма для системы предупреждения о выезде из занимаемой полосы. Систему можно с успехом использовать для снижения количества дорожно-транспортных происшествий, которые произошли из-за сонливости или неопытности водителя. В статье проведено исследование и сравнение имеющихся алгоритмов. Авторами был разработан алгоритм обработки изображений, в котором используется одна камера, установленная на борту автомобиля. Устойчивость алгоритма была проверена в различных условиях, таких как молния, тени от прилегающих строений, транспортных средств и т.д. Алгоритм реализован в два этапа. На первом этапе алгоритм находит точку схода на дороге, а затем тщательно отбирает сегменты. Линии проезжей части были сделаны с использованием информации о точке границы дороги. Для проверки и обнаружения полос использовался heuristic фильтр. Фильтр Калмана используется для отслеживания полосы и обработки критических участков, где алгоритм обнаружения не работает. В статье [5] представлен надежный подход в режиме реального времени для определения границ дорог путем слияния радара и видео с камеры. Дорожная граница определяется как переход от асфальтового покрытия к внедорожному. Показывается интеграция многополосной системы распознавания, что делает этот подход независимым от числа полос и видимости меток полосы. Производительность системы оценивается с помощью справочных данных. Информация о дорожной геометрии, кривизне и относительном положении транспортного средства, имеет решающее значение для систем помощи водителю (ADAS). Обнаружение дорожной границы выступает в качестве основного компонента для отложенных функций, таких как предотвращение выезда на обочину, которое удерживает транспортное средство на управляемой территории. Эта работа является частью европейского проекта interactiveIVe, в котором рассматриваются новые технологии и подходы к повышению безопасности транспортных средств с помощью интегрированной платформы. В статье [6] представлена реализация метода распознавания дорожного знака, основанного на работе [7]. Эта реализация может быть расширена до целевого обнаружения в реальном времени. В статье представлены исследуемые дорожные знаки и их характеристики. Во-первых, цветное изображение сегментировано на основе метода порогового значения. Затем обнаруживаются угловые функции с использованием сверточных нейросетей. Геометрические ограничения используются для распознавания формы по методам проверки для каждого знака. Статья [8] описывает применение метода IPM (Inverse Perspective Mapping). Система получает видео картинку по средствам камеры, установленной на автомобиле, а затем применяет несколько процессов для обнаружения объектов и дорожной разметки. Для определения полос движения и объектов используется универсальная методология. Был разработан простой Heuristic метод, который является более надежным при обнаружении и отслеживании объектов и полос движения на видео потоке. Heuristic дает эффективные результаты при обнаружении и отслеживании нескольких транспортных средств, независимо от расстояния. В статье [9] разработан метод обнаружения препятствий, основанный на перемещающихся камерах. Этот метод применяются для обнаружения препятствий, чтобы идентифицировать различные препятствия (животные, дорожные знаки, препятствия, неровности проезжей части), учитывая размеры дорог. Была предложена новая методика обнаружения препятствий по движущимся камерам, которая преодолевает несколько ограничений по сравнению со стационарными камерами. В документе анализируются последние тенденции исследований. Были разобраны основные моменты и ограничения данного подхода. По результатам были сделаны выводы, о том, что предлагаемый метод является более надежным, чем предыдущие работы, основанные на стационарных камерах. В статье [10] представлена система, которая обнаруживает дорожные знаки с входного видеопотока и распознает их с использованием базы знаний. Обнаружение выполняется в цветовом пространстве Hue, Saturation, Brightness (HSB) с использованием сегментирования нечеткого цвета. Впоследствии обнаруженные сегменты анализируются системой с нечетким правилом, которая проверяет, представляет ли пара сегментов один и тот же знак. Обнаруженные объекты проверяются на основе базы знаний. В статье [11] объясняются различные методы обнаружения и распознавания дорожных знаков. Для обнаружения дорожных знаков и распознавания текста в них применяться соответствующие методы для получения желаемой точности. Проведено сравнительное исследование методов и объясняется их эффективность. Также авторы статьи предлагают разделить проблему обнаружения дорожных знаков на два этапа; первым этапом - обнаружение области, в которую попадают искомые дорожные знаки, а во втором - распознавание символов. Система [12] основана на двухступенчатой схеме обнаружения дорожных знаков. Ввод - это изображение, которое в основном содержит информацию, которую мы хотим извлечь. Блок под названием «Генерация гипотез» (HG) генерирует многообещающие гипотезы в форме Region of Interest (ROI). После этого блок под названием Hypothesis Verification (HV) проверяет или отклоняет ранее высказанную гипотезу. На выходе имеем изображение с ROI, которые распознаются или определяются при последующей обработке. Эту систему можно разделить на две подсистемы. Одна подсистема «быстрая», состоящая из блока CSR и блока классификации классов, а вторая - «медленная», состоящая из блоков сегментации изображений, инвариантной функции выделения, функциональной памяти, модификации функций и блоков классификации типов. Были проведены эксперименты данной системы. Среднюю скорость распознавания системы 86% при цветовом пространстве Hue, Saturation, Value (HSV) и 89% в цветовом пространстве red, green, blue (RGB). Все достигнутые результаты составляли 3-4 секунды на изображение. Был проведен бенчмаркинг существующих решений в области систем помощи водителю и возможностьи движения в режиме автопилот. В качестве сравнительных критериев был определен ряд функций: 1) средство получения информации; 2) распознавание разметки; 3) распознавание частично стертой разметки; 4) распознавание проезжей части без разметки; 5) следование за впередиидущим автомобилем; 6) распознавание автомобиля, движущегося навстречу (в том числе на дороге без разметки); 7) ассистент движения по полосе; 8) движение в ночное время; 9) движение в плохих дорожных условиях (дождь, снег); 10) алгоритм и метод функционирования. Объектами бенчмаркинга являлись разработки мировых лидеров как в области ADAS систем, так и беспилотных транспортных средств. Это General Motors, Google, nVidia, Tesla, Volkswagen, Mercedes Benz, Baidu и др. Касательно первого пункта бенчмаркинга практически у всех производителей используются камеры, также возможно применение лидаров и радаров. Распознавание дорожной разметки способны выполнять автомобили всех компаний, кроме Stanly. С распознаванием частично стертой разметки справляются только General motors, Tesla и Volkswagen. Определять проезжую часть, не имеющую разметку, в состоянии производители General Motors, Google, Nvidia, Baidu. Пятому пункту бенчмаркинга отвечают автомобили компаний Google, Nvidia, Tesla, Volkswagen и Baidu. Также данные автомобили способны распознавать автомобиль, движущийся на встречу, в том числе на дороге без разметки. Ассистент движения в полосе реализован практически у всех компаний, большое развитие данной системы реализовано у крупных автомобильных производителей, таких как Volkswagen, Tesla и Mercedes Benz. Системы помощи водителю во всех автомобилях, представленных в бенчмаркинге, функционируют в ночное время, однако в таких плохих дорожных условиях, как снег, дождь, туман, работоспособность подтверждают только Google, Nvidia, Tesla и Volkswagen. Рассмотрев информационные источники и проведя бенчмаркинг существующих решений в области разработок систем помощи водителю, было выявлено: · в настоящее время интерес к разработке или усовершенствованию подходов к определению препятствий, дорожной разметки и знаков растет. О чем свидетельствует большое количество различных статей в зарубежных источниках; · использование камер как средства решения поставленных задач является актуальным наряду с ростом соответствующих технологий; · применение камер является наиболее дешевым методом решения задачи обнаружения объектов, дорожной разметки и знаков; · на основе проведенного бенчмаркинга можно сделать вывод о росте интеграции систем помощи водителю в автомобили крупнейших автопроизводителей и проведении масштабных исследований в этой области лидирующих фирм (Google, Nvidia, Tesla, Volkswagen, Mercedes Benz и др.). Результаты исследования и их обсуждение На основе проведенного обзора современной литературы и бенчаркинга систем помощи водителю был определен функциональный и компонентный состав концепта разрабатываемой системы помощи водителю. Функционал данного концепта системы на данном этапе состоит из: · подсистемы предупреждения о непреднамеренном сходе с полосы, определенной по существующей дорожной разметке; · подсистемы предупреждения водителя о возможности столкновения с препятствием в полосе движения; · подсистемы обнаружения дорожных знаков. Для обработки концепт системы должен получать поток данных с фронтальных камер оптического и/или инфракрасного диапазона. Концепт системы получает визуальную информацию о дорожной сцене и принимает решение о необходимости корректировки курса и скоростных параметров движения. В качестве оптико-электронных датчиков используются камеры Basler ace acA1300-200uc. Установка осуществляется на боковых стойках ветрового стекла, а также в районе зеркала заднего вида. Видеопоток данных с камер обрабатывается с помощью платформы nVidia Jetson TX2, которая при значительных вычислительных возможностях имеет небольшие габариты, что существенно влияет на компактность всей системы. Исходя из анализа систем помощи водителю одних видеокамер недостаточно для надежной и эффективной работы всей системы распознавания. Исходя из таких условий эксплуатации коммерческого транспорта на территории Российской Федерации, как движение по загородным трассам, где отсутствует разметка, слабая освещенность дорог, наличие на проезжей части лесных животных и т.д., возникает необходимость дублирования системы распознавания дорожной сцены сенсорами, способными функционировать в сложных условиях эксплуатации. Для решения вышеуказанных проблем предлагается применение в разрабатываемой системе тепловизионных сенсоров. Широкий диапазон температурной эксплуатации, возможность функционирования в снег, дождь, туман позволяют распознавать не только динамичные объекты дорожной сцены (автомобили, пешеходы, животные), а также определять границы проезжей части и дорожную разметку. Структурная схема взаимодействия концепта системы помощи водителю представлена на рис. 1. Рис. 1. Структурная схема взаимодействия системы помощи водителю Анализ алгоритмов обнаружения препятствий Существует множество различных подходов и методов по распознаванию дорожной разметки и знаков: B-spline model [13-16]; Hyperbola-pair lane model [17]; Lane geometrical model [18]; Vehicle directional control model (DIRCON) [19]; Quadratic function model [20, 21]; IPM model [22-26]; Linear or parabolic model [27] и т.д. По результатам проведенного анализа возможных методов распознавания, а также с учетом эффективности работы и потребности вычислительных мощностей были выбраны два метода распознавания дорожной разметки и знаков, это каскад Хаара и преобразование Хафа [28]. Проведено сравнение использования данных методов для решения поставленной задачи. Выделим ряд критериев и сравним предложенные методы. Основа метода. 1. Каскад Хаара. Метод Виолы-Джонса, вейвлеты, примитивы Хаара. 2. Преобразование Хафа. В простейшем случае преобразование Хафа является линейным преобразованием для обнаружения прямых линий или границ. Обучение. 1. Каскад Хаара. Необходима база изображений искомого объекта в реальных условиях использования и база изображений без искомого объекта. Каскад обучается на примерах, создавая набор правил по поиску этого объекта в xml-формате. 2. Преобразование Хафа. Обучение не требуется. Способ идентификации. 1. Каскад Хаара. Во всей матрице кадра идет поиск области, подходящей под определенное xml-правило. 2. Преобразование Хафа. Алгоритм преобразования Хафа использует массив, называемый аккумулятором, для определения присутствия прямой (частный случай) y = mx + b. Размерность аккумулятора равна количеству неизвестных параметров пространства Хафа. Поиск ведется при помощи математических преобразований. Ограничения. 1. Каскад Хаара. Необходим сбор «сырых» данных непосредственно в целевом месте использования детектора. Любое изменение входящих данных (изменение освещенности, погодных условий, цветовых характеристик, угла камеры) пагубно влияет на результат детектирования. Алгоритм чувствителен к углу поворота искомого объекта. 2. Преобразование Хафа. Эффективность алгоритма в большой степени обусловлена качеством входных данных: границы фигур на этапе предобработки изображения должны быть четко определены. Использование преобразования Хафа на зашумленных изображениях затруднено. Для зашумленных изображений необходим этап предобработки с целью подавления шума. Преимущества. 1. Каскад Хаара. Высокая скорость работы, возможность детектирования сложных объектов. 2. Преобразование Хафа. Высокая скорость работы, однозначное определение простых геометрических фигур. На основе проведенного анализа было выбрано преобразование Хафа, как основной алгоритм обнаружения дорожных знаков и разметки. Система распознавания объектов дорожной сцены Для определения объектов на пути следования используется программно-аппаратный комплекс TenforFlow Object Detection API, который позволяет создавать и обучать модели обнаружения объектов, на основе нейронных сетей. TenforFlow Object Detection API - это платформа с открытым исходным кодом, созданная на основе библиотеки TensorFlow, что позволяет создавать и обучать модели обнаружения объектов. Модель представляет собой набор файлов, которые содержат информацию, необходимую для распознавания тех или иных объектов. Готовая модель - результат обучения нейронной сети. Перед обучением создается файл описания объектов распознавания, также каждому объекту необходимо предоставить набор данных, по которому нейронная сеть и будет проводить обучение. Стоит отметить, что для проведения работ по обучению и отладке нейронных сетей требуются большие вычислительные мощности. На первом этапе система обнаружения препятствий тестировалась на видеопотоке с автомобильного регистратора с минимальным количеством препятствий (автомобилей). По завершению первого этапа система была модернизирована и испытана в реальных дорожных условиях. На рис. 2 представлен кадр испытаний системы. Рис. 2. Пример испытаний системы на дорогах города Нижнего Новгорода По завершения тестирования системы был сделан вывод о работоспособности данного метода. Система распознавания дорожных знаков Система автоматического распознавания дорожных знаков является важной частью ADAS. Данная система призвана уведомлять водителя о наличии знаков на дороге. Система может помочь водителю придерживаться установленного на участке дороги скоростного ограничения, соблюдать ограничения на проезд, возможность обгона и т.д. С использованием сверточных нейронных сетей была разработана модель распознавания дорожных знаков на проезжей части. Разработка модели осуществлялась в библиотеке алгоритмов компьютерного зрения, обработки изображений и численных алгоритмов общего назначения с открытым кодом OpenCV [29]. Для отработки алгоритма был использован ряд дорожных знаков согласно ГОСТ Р 52290-2004 [30]. Перечень дорожных знаков представлен на рис. 3. Данный алгоритм позволяет обнаружить необходимый знак, только при наличии его в базе данных. а) б) в) г) д) е) Рис. 3. Перечень используемых знаков: а - дижение без остановки запрещено; б - главная дорога; в - обгон запрещен; г - ограничение скорости; д - пешеходный переход; е - уступите дорогу Рис. 4. Схема преобразования изображения Для работы данного алгоритма была составлена схема преобразования изображения (рис. 4). На основе данной схемы преобразования изображений был проведен ряд испытаний разрабатываемой системы. Экранные снимки работы системы представлены на рис. 5. Рис. 5. Экранные снимки работы системы определения дорожных знаков В части распознавания дорожных знаков система показала эффективность, удовлетворяющую требованиям, которая составляет 96%, однако необходимо расширение перечня распознаваемых дорожных знаков для наиболее полного анализа дорожной сцены. Обнаружение дорожной разметки Программное обеспечение системы обнаружения дорожной разметки основывается на алгоритме bird's eye view. Использование данного алгоритма применительно к решению текущей задачи позволяет распознавать линию дорожной разметки по видеопотоку. Подробное описание работы алгоритма представлен в работе [31]. После проведения виртуальных испытаний и оптимизации системы обнаружения дорожной разметки был разработан алгоритм оповещения о сходе с полосы движения и проведены тесты в реальных дорожных условиях. Алгоритм работы системы оповещения о сходе с полосы движения состоит в следующем. Существует 3 зоны предупреждений: зеленая - автомобиль находится по центру полосы движения; желтая - отклонение от центра полосы в пределах от 0,2 до 0,3 м; красная - отклонение от центра полосы более, чем на 0,3 метра (рис. 6-8). Во время тестов автомобиль двигался с заданной скоростью как по прямолинейным участкам, так и по криволинейным с радиусом кривизны не менее 100 м. Во время движения автомобиль выполнял поочередное плавное сближение с дорожной разметкой со скоростью 0,3 м/с. Было выполнено порядка 100 тестов. Рис. 6. Пример работы алгоритма предупреждения. Зеленая зона Критерием корректного срабатывания системы являлась своевременная подача сигнала предупреждения водителя. При этом учитываются только сближения, в ходе которых внешние края колес передней оси сближались с линиями разметки менее, чем на 30 сантиметров. Считалось, что произошло ложное срабатывание, если сигнал предупреждения водителя был подан при расстоянии до линий разметки меньше указанного. Считалось, что срабатывание не произошло, если в процессе выполнения сближения транспортного средства менее чем 30 см с линией разметки не был подан сигнал оповещения. Рис. 7. Пример работы алгоритма предупреждения. Желтая зона Рис. 8. Пример работы алгоритма предупреждения. Красная зона По результатам проведенных тестов оценивались следующие данные: количество правильных срабатываний при сближении с линиями разметки, количество ложных срабатываний при сближении, количество несрабатывании при сближении. Рассчитанная точность определения линий разметки составила 0,76. Полнота, показывающая количество верных срабатываний от общего числа реальных пересечений линии дорожной разметки, составила 0,92. Показатель качества работы системы составил 84%. Интеграция системы помощи водителю и рулевого управления автомобиля Разработанный концепт системы планируется к установке на легкие коммерческие автомобили Группы ГАЗ [32]. Автомобили ГАЗель NEXT укомплектованы рулевым механизмом реечного типа с гидроусилителем рулевого колеса. Применение данного гидроусилителя руля для интеграции систем помощи водителю вызывает ряд сложностей из-за громоздкости системы и сложной методики управления насосом гидросистемы. Для решения данной проблемы было предложено использовать рулевой механизм с электромеханическим усилителем и возможностью контроля управления. Данный рулевой механизм показывает аналогичные показатели силы на рулевом колесе, что позволяет использовать ее для управления коммерческим транспортом Группы ГАЗ. На основе полученных и обработанных данных от системы распознавания дорожной разметки платформа nVidia Jetson TX2 подает сигнал в контроллер рулевого механизма с электроусилителем рулевого колеса через CAN шину автомобиля. Контроллер осуществляет управление электромотором рулевой рейки автомобиля, посылая необходимые сигналы через шину обмена данными. Данный способ является наиболее безопасным и позволяет минимизировать возможности потери управления рулевым механизмом. Схема работы системы представлена на рис. 9. Зная необходимое расстояние до боковой полосы движения, ширину полосы и ширину автомобиля, система имеет возможность корректировать движение ТС, тем самым удерживая его в полосе движения и предотвращая непреднамеренный выезд из занимаемой полосы. Рис. 9. Схема работы системы рулевого управления Выводы 1. Проведен обзор информационных источников и бенчмаркинг существующих решений в области систем помощи водителю, включая технологии автопилота. На основе проведенного анализа был предложен компонентный состав концепта системы и схема взаимодействия. 2. Предложены методы решения поставленной задачи. Работоспособность предлагаемых методов была подтверждена рядом испытаний. 3. Объединение систем обнаружения дорожной разметки, знаков и препятствий на пути следования обеспечивает возможность получать необходимую информацию о дорожной сцене, чтобы осуществлять корректные управляющие воздействия на рулевой механизм. 4. Разработана схема управления курсовой ориентацией посредством электромеханической системы. Своевременное воздействие электродвигателя через сервопривод на рулевую рейку позволяет сохранять автомобиль в полосе движения, тем самым увеличивая безопасность и снижая вероятность непреднамеренного пересечения полосы движения. Таким образом, на данном этапе проекта разработана структура системы уровня 3 автоматизации движения [1]. Преодолены барьеры в области технической реализации активной системы рулевого управления для легких коммерческих автомобилей Группы ГАЗ. Следующим этапом развития проекта является разработка конструкторской документации на различные системы ТС, программного обеспечения и сети передачи данных, объединяющих все подсистемы в единую сеть на бортовом компьютере. 5. Опытный образец концепта системы будет установлен на автомобиль ГАЗель Next и протестирован на полигоне Группы ГАЗ для проверки и отладки всех компонентов.

About the authors

D. M Porubov

R.E. Alekseev Nizhny Novgorod State Technical University

Email: dmitry.porubov@nntu.ru

P. O Beresnev

R.E. Alekseev Nizhny Novgorod State Technical University

D. Yu Tyugin

R.E. Alekseev Nizhny Novgorod State Technical University

Ph.D.

A. V Tumasov

R.E. Alekseev Nizhny Novgorod State Technical University

Ph.D.

V. V Belyakov

R.E. Alekseev Nizhny Novgorod State Technical University

Dr.Eng.

D. V Zezyulin

R.E. Alekseev Nizhny Novgorod State Technical University

Ph.D.

References

Supplementary files