Optimization of automotive millimeter-wave radar data processing using a modified MFNN neural network

Full Text

Обоснование

В настоящее время радары миллиметрового диапазона достаточно широко применяются в качестве компонента в системах обеспечения активной безопасности автомобильного транспорта, таких как система предупреждение о возможном лобовом столкновении (англ. Forward Collision Warning, FCW) и система автоматического экстренного торможения для предотвращения столкновений (англ. Advanced Emergency Braking System, AEBS). Работа радаров не зависит от условий освещения и слабо зависит от погодных условий, чем выгодно отличаются от других активных компонентов систем безопасности: видеокамер и лидаров. Однако, в связи с ограничениями в размерах антенных системы радаров, применяемых на транспорте, ширина формируемого луча оказывается существенно больше, а разрешающая способность по направлению существенно ниже, чем, например, у систем на основе лидаров.

Теоретически достижимая угловая разрешающая способность радара с размером антенной системы по горизонтали L = 15λ, где λ – длинна волны, для двух равных по мощности некогерентных источников определяется выражением [1]:

,

и, для рабочей частоты 24 ГГц, составляет в азимутальной плоскости 6.8° или 1,2 м на расстоянии 10 м. Это значение более чем на порядок хуже, чем обеспечивает лидар. При различии в мощности или наличии когерентности разрешающая способность значительно падает, а при соотношении мощностей R < 0,7 обеспечить разделение источников становится невозможным.

Это затрудняет решение таких задач, как раздельное обнаружение близко расположенных объектов, детектирование объектов по профилю отраженного сигнала, обеспечение точного объезда препятствий или парковки в условиях ограниченного пространства, а также приводит к сужению области использования радаров в системах обеспечения безопасности движения транспортных средств.

Для решения вышеуказанной проблемы используется ряд методов оценки направления прибытия (Direction of Arrival, DOA), когда принятый сигнал подвергается пространственному преобразованию Фурье [2–5], используется ряд методов, предназначенных для повышения точности определения направления и мощности принимаемых (отраженных от объектов) сигналов.  Примерами таких методов являются алгоритмы множественной классификации сигналов (MUSIC) [6], оценки параметров сигнала с помощью методов ротационной инвариантности (ESPRIT). Однако, названные методы не подходят для случаев сильно коррелированных сигналов, которыми являются сигналы радара, отраженные от объектов.

Наиболее подходящими в данном случае являются методы избыточного базиса, основанные на теории разряженного представления (англ. Sparse Representation, SR), заключающиеся в использовании базиса с существенно большим числом компонент в сравнении с числом компонент в анализируемых данных сигнала.  В отличие от классических методов элементами базиса могут быть не обязательно ортогональные между собой функции, а методы представления сигналов, основываются на их разложении на ряд оптимальных базовых компонентов, которые находятся из избыточного базисного словаря с помощью таких алгоритмов разреженной аппроксимации, как, алгоритм наилучшего соответствия (англ. Matching Pursuit, MP), метод фреймов (англ. Method of Frame, MOF) и алгоритм поиска базиса (англ. Basis Pursuit, BP) с использованием различных норм l0/l1. При этом, избыточный базис (базисные компоненты) задаются априори или находятся при помощи вышеназванных алгоритмов в зависимости от текущих характеристик принимаемых данных. Теоретические исследования методов

Теоретические исследования методов оценки направления прибытия достаточно широко представлена  во многих, в том числе вышеперечисленных, статьях [7-20].

 

Цель

Целью настоящей работы является экспериментальное исследование реальной реализуемости и эффективности работы одного из вариантов метода определения компонентов данных применительно к задаче DOI: модифицированной нейронной сети MFNN, для при обнаружении пешеходов и автомобилей, являющихся элементами дорожной сцены, с использованием автомобильного радара миллиметрового диапазона, а также провести сравнительный анализ с известными алгоритмами и данными, полученными с других типов сенсоров, в частности, с лидаров.

Методы

Рассматриваемый метод построен на основе нейронной сети MFNN [21], реализующей представление сигналов, принимающих комплексные значения в виде коэффициентов избыточного базиса, минимизирующего коэффициенты по норме l1.

Распространяя результаты [13], на комплексную плоскость ℂ, получим:

условии ,

(1)

где  – входные данные,

 – базисные компоненты,

 – матрица избыточного словаря.

 – сформированный словарь, где  означает компоненту базиса с индексом

Входные данные S можно представить в виде:

,

(2)

где – остаточный вектор, или вектор ошибок – результат аппроксимации данных b базисными функциями   из словаря D, - i-ый весовой коэффициент,

Решение оптимизационной задачи может быть получено путем минимизации нормы функции потерь:

,

(3)

где  – p-норма, в общем виде, p = 2 (норма l2) или p = 1 (норма l1).

Вариант реализации нейронной сети MFNN, которая описывается системой дифференциальных уравнений

	(4)
,  z ∊

где  – функция активации (5):

 

и

(5)

 

где   и

 приведен на рис. 1.

 

Рис. 1. Архитектура нейронной сети MFNN.

Fig. 1. MFNN Neural Network Architecture.

 

Приведено сравнение с результатами использования классического алгоритма DOA, построенного на базе быстрого преобразования Фурье (БПФ).

Для исследований использовался стенд на базе экспериментального образца радара, обладающего следующими характеристиками (таблица 1):

 

Таблица. Характеристики экспериментального образца радара.

Table. Characteristics of the experimental radar sample.

Наименование	Значение
Рабочая частота	24 ГГц
Количество антенных каналов	8
Вид модуляции сигнала	ЛЧМ
Разрешение по азимуту	13.0°
Разрешение по дальности	0.15 м
Максимальная дальность	67 м
Рабочая частота	24 ГГц
Количество антенных каналов	8

 

 

Сигналы, принятые антенными элементами радара после усиления, предварительной фильтрации и преобразования в цифровой вид, полученные цифровые данные через встроенный интерфейс Ethernet со скоростью 1 Гб/сек передавались для дальнейшей обработки внешним вычислительным устройством на базе процессора Intel i7-5960X, 3ГГц (рис. 2).

 

 

Рис. 2. Функциональная схема стенда.

Fig. 2. Functional diagram of the stand.

 

Предварительное преобразование во внешнем вычислительном устройстве заключалось в фильтрации полученных данных по дальности с использованием корреляционной обработки или БПФ размерности L=512. Обрабатываемые реальные данные содержали кроме отраженных сигналов, шумы приемных трактов, искажения и амплитудно-фазовые разбросы каналов, ошибки, связанные с конечной разрядностью АЦП (16 разрядов).  Полученная в результате матрица комплексных значений размером 8х512 затем передавалась на обработку одним из методов DOA для каждой дальности. Такая реализация стенда позволила оперативно корректировать программы обработки данных радара в процессе проведения исследований. Экспериментально исследовались характеристики обнаружения и определения положения пешеходов и автомобилей в сравнении со стандартным алгоритмом DOA, основанным на БПФ.

Результаты

Проведены эксперименты для дорожной сцены, в которой присутствуют два пешехода на одинаковой дальности – 9 м и уголковый отражатель на дальности – 15 м. На рисунке представлены результаты, где сверху расположен соответствующий кадр видеоизображения дорожной сцены (рис. 3, а), снизу слева изображен результат работы алгоритма на базе БПФ (рис. 3, б), а снизу справа – результат работы рассматриваемого метода при использовании избыточного базиса (рис. 3, в), в том числе увеличенный фрагмент радиолокационного изображения. По оси X отложено горизонтальное смещение, а по оси Y дальность в метрах.

 

Рис. 3. Экспериментальная дорожная сцена с двумя близко расположенными пешеходами на одной дальности и удаленным уголковым отражателем: а – кадр видеоизображения; б – результат алгоритма БПФ; в – результат работы алгоритма ИБ.

Fig. 3. An experimental road scene with two closely spaced pedestrians at the same range and a remote corner reflector: а – frame of the video image; б – the result of the FFT algorithm; в – the result of the excess basis algorithm.

 

Видно, что отраженные сигналы от двух пешеходов при использовании стандартного метода на базе БПФ не разделяются и представлены как общий отклик 1 в пределах зоны по горизонтали 5 м на дальности 9 м (рис. 3, б). На дальности 15 м одиночный уголковый отражатель представлен как отклик 2 в пределах зоны по горизонтали 8 м, что не позволяет его идентифицировать как точечное препятствие.

Результаты обработки данных, имеющих комплексные значения, нейронной сетью   MFNN (рис. 3, в), показывают раздельное отображение отраженных сигналов от двух пешеходов, что позволило определить их, как два независимых объекта 1 на одной дальности при расстоянии между ними по горизонтали 1,0 м, что соответствует угловому расстоянию между ними в азимутальной плоскости 6°. Одиночный уголковый отражатель представлен точечным откликом 2 на дальности 15.

Далее проведены эксперименты для дорожной сцены, в которой присутствует группа из двух пешеходов, идущих параллельно на дальностях 18 м и 19 м с небольшим смешением 0,5 м по горизонтали и уголковый отражатель на дальности 22м. Результаты приведены ниже (рис. 4).

 

Рис. 4. Экспериментальная дорожная сцена с двумя идущими рядом пешеходами на близких дальностях и удаленным уголковым отражателем: а – кадр видеоизображения; б – результат алгоритма БПФ; в – результат работы алгоритма ИБ.

Fig. 4. An experimental road scene with two pedestrians walking side by side at close ranges and a remote corner reflector: а – frame of the video image; б – the result of the FFT algorithm; в – the result of the excess basis algorithm.

 

При использовании стандартного метода на базе БПФ отклики от пешеходов не разделяются ни по дальности, ни по горизонтальному смещению и представлены как общий отклик 1 в пределах зоны по горизонтали 8 м на дальности 19 м (рис. 4, б). На дальности 22 м одиночный уголковый отражатель представлен как отклик 2 в пределах зоны по горизонтали 11 м, что не позволяет его идентифицировать как точечное препятствие.

Результаты обработки данных, нейронной сетью MFNN (рис. 4, в), показывают раздельное отображение отраженных сигналов от двух пешеходов, что позволило определить их, как два независимых объекта 1 на дальностях 18 м и 19 м при смещении между ними по горизонтали 1 м, что соответствует угловому расстоянию между ними в азимутальной плоскости 3°. Одиночный уголковый отражатель представлен точечным откликом 2 на дальности 22 м.

Таким образом, полученное экспериментально значение углового разрешения в азимутальной плоскости при использовании нейронной сети MFNN, оказалось в 4 раза выше, чем при использовании стандартного метода БПФ.

Дополнительные эксперименты для трехмерной дорожной сцены, в которой присутствует автомобиль RAV4, расположенный на расстоянии 9 м представлены ниже (рис.5).

 

Рис. 5. Экспериментальная дорожная сцена с автомобилем RAV4: а – кадр видеоизображения; б – результат алгоритма БПФ; в – результат работы алгоритма ИБ.

Fig. 5. An experimental road scene with a RAV4 car: а – frame of the video image; б – the result of the FFT algorithm; в – the result of the excess basis algorithm

 

Контур автомобиля размером 1,8м х 4,4м показан зеленым цветом. По откликам, полученным от автомобиля для алгоритма на основе БПФ положение его габариты составляют 4м х 6м. Результаты обработки данных, нейронной сетью MFNN (рис. 5, в), дают габариты 2м х 5м, что намного ближе к истинным габаритам и положение, практически совпадающее с контуром автомобиля.

Результаты сравнительного эксперимента по представлению контура автомобиля облаком точек, формируемых лидаром и радаром с постобработкой сигналов нейронной сетью, в случае одной и той же дорожной сцены показал следующие результаты (рис. 6).

Для сравнения использовались данные, полученные с помощью лидара марки Velodyne VLP-16, имеющего следующие значимые для эксперимента характеристики: точность определения дальности: ±3 см; разрешение по азимуту: 0.4 град.

На рис. 6 представлены визуализация данных автомобиля RAV4, полученных с помощью лидара (рис. 6, а) и данные, полученные путем обработки радиолокационного сигнала нейронной сетью MFNN с экспериментального радара (рис. 6, б).

 

Рис. 6 - Визуализация облака точек, сформированных для экспериментальной дорожной сцены с автомобилем RAV4: а – результаты, полученные с лидара; б – результат обработки данных радара.

Fig. 6. Visualization of a cloud of points formed for an experimental road scene with a RAV4 car: а – the results obtained from lidar; б – the result of processing radar data.

 

Получены следующие результаты вычисления параметра «Разрешение по азимуту»:

- в базовом варианте: 13.0°;

- в варианте с применением MFNN: 3°.

Результаты эксперимента показывают, что метод формирования радиолокационного изображения на базе нейронной сети MFNN, модифицированной для использования комплексных данных при применении 8-канального радара дает возможность восстанавливать контуры объектов, с детализацией близкой к получаемой с помощью лидара и существенно лучшей по сравнению со стандартной обработкой на базе БПФ. Видно, что большое количество откликов сосредоточенно на переднем левом углу автомобиля и на левом боковом зеркале, присутствуют отклики от крыши и задних стоек крыши автомобиля. На радиолокационном изображении получено меньше откликов от объекта по сравнению с лидарным облаком точек, однако видны отклики от задней кромки автомобиля, которая для лидара скрыта и затеняется передней кромкой.

Заключение

Приведенные экспериментальные данные, позволяют сделать вывод о том, что рассмотренный метод реализованный на основе нейронной сети MFNN, осуществляющей представление сигналов принимающих комплексные значения в виде коэффициентов избыточного базиса, минимизирующего указанные коэффициенты по норме  l1 возможно использовать в системах формирования дорожной сцены на основе технологии миллиметровой радиолокации. Анализ полученных результатов подтверждает практическую реализуемость и эффективность функционирования рассматриваемой модификаций метода MFNN, показывает возможность существенного улучшения характеристик разрешения нескольких близкорасположенных объектов, а также возможность определения формы объекта с использованием радара с небольшим числом каналов. Результаты проведенного численного моделирования демонстрируют эффективность предложенного метода для случая разреженного представления комплексных данных и могут быть использованы при определении DOA не только для радаров миллиметрового диапазона, нашедших широкое применение в системах помощи водителя и предотвращения столкновений, но и для систем управления движением автономного транспорта, предъявляющим более высокие требования по точности определения положения окружающих объектов и детализации дорожной сцены.

About the authors

Nikolay V. Panokin

Moscow Polytechnic University

Email: pan.itl.np@gmail.com
ORCID iD: 0000-0003-0380-3733
SPIN-code: 1055-5884

Cand. sci. (Eng.) Direktorat Head of science

Russian Federation, 38 Bolshaya Semenovskaya street, 107023, Moscow, Russian Federation

Ivan A. Kostin

Московский политехнический университет

Email: kostin.ivan.a@gmail.com
ORCID iD: 0000-0002-9069-9198
SPIN-code: 6948-1058

инженер-исследователь центра перспективных разработок автономных систем

Alexander V. Karlovskiy

Moscow Polytechnic University

Author for correspondence.
Email: a.karlovskiy@yandex.ru
ORCID iD: 0000-0001-7660-3375

Научный сотрудник центра перспективных разработок автономных систем

Russian Federation

References

Supplementary files