Analysis of object detection problems in autonomous driving systems based on radar dat

Full Text

Введение

Корректные детекция и классификация объектов в окружающем пространстве являются важной задачей для систем автономного вождения [2, 6, 7, 8, 9, 10, 3, 15]. Достаточно достоверное восприятие дорожной обстановки различными сенсорами позволяет беспилотному транспортному средству принимать своевременные решения, необходимые для обеспечения автономного и безопасного движения для пассажиров беспилотного автомобиля, а также других участников дорожного движения [7]. Среди различных типов сенсоров, используемых в автономных транспортных средствах, радары занимают особое место благодаря измерению скорости, большой дальности обнаружения и устойчивости к различным погодным условиям [1].

Современные автомобильные радарные системы способны обрабатывать отражённые сигналы и представлять их в виде кластеров и объектов. Кластеры представляют собой отражённые радиолокационные сигналы, содержащие информацию о положении, скорости и уровне сигнала. В отличие от кластеров объекты имеют размерность и классификацию, образуясь из совокупности отслеживаемых кластеров. Работа в объектовом режиме часто является наиболее предпочтительной, поскольку позволяет не только обнаруживать объекты, но и классифицировать их, например, различать автомобили, мотоциклы, автобусы, пешеходов и другие объекты.

В представленной работе решаются задачи по анализу ключевых проблем, возникающих при использовании объектовых режимов радарных систем для детекции и классификации объектов в условиях городского движения. Целевой задачей анализа проблем детекции является проведение эксперимента с использованием автомобиля, оснащённого высокочувствительным радаром. Автомобиль должен по заданному маршруту определённой протяжённости непрерывно собирать данные о местоположении, скорости и направлении движения окружающих объектов, а также о их радиолокационных характеристиках.

Актуализация проблемы корректной детекции объектов на основе радарных данных заключается в необходимости повышения безопасности и эффективности систем автономного вождения [7]. Несмотря на преимущества радаров, их работа в реальных дорожных условиях может сопровождаться различными техническими сложностями, оказывающими негативное влияние на качество восприятия окружающей среды автомобилем. Эти проблемы могут приводить к нестабильности детекции и классификации объектов, искажению их размеров, а также ошибкам в определении дистанции и скорости движения.

Целью данного исследования является выявление и анализ ключевых проблем, возникающих при использовании объектовых режимов радарных систем для детекции и классификации объектов в условиях городского движения.

Анализ проблем детекции объектов

Эксперимент по исследованию проблем детекции объектов проводился на автомобиле, оснащённом радаром ARS 408 производства компании Continental Engineering Services. Данный радар обладает большим углом обзора и высокой чувствительностью, работая на частоте 77 ГГц. Автомобиль двигался по заданному городскому маршруту протяжённостью около 15 км в районе средней интенсивности движения. Погодные условия во время эксперимента были ясными и без осадков, с температурой около 25 ℃. Дорога была сухой и чистой. Радар непрерывно собирал данные о среде вокруг автомобиля. Данные включали в себя информацию о положении окружающих объектов, их скорости и размерах. Для каждого объекта также фиксировались параметры его радиолокационной сигнатуры (RCS). Данные были разделены временными интервалами (примерно шагом 70–80 мс) [3]. Записанные данные представлены в табл. 1.

 

Таблица 1. Выходные обработанные данные с радара

Table 1. Output of processed data from the radar

Продольное расстояние до объекта	Поперечное расстояние до объекта	Относительная продольная скорость	Относительная поперечная скорость	Ширина объекта	Длина объекта	Ориентация объекта	Класс объекта	Эффективная площадь рассеяния	Временная метка данных
Object DistLong	Object DistLat	Object VrelLong	Object VrelLat	Object Width	Object Length	Object Orientation	Object Class	Object RCS	Time series
56,59	50,19	-15,05	0	1,84	6,99	20	1	9,57	1
11,56	23,88	-35,04	0	8,91	8,82	114	1	11,61	1
21,09	21,01	101,57	0	2,57	9,55	43	1	12,41	1
79,34	2,22	-122,47	0	5,8	4,31	-118	6	12,12	1
15,96	58,58	-69,61	0	5,42	7,81	149	2	17,97	1
96,0	29,6	-49,62	0	6,24	1,27	143	1	10,18	1
98,73	97,92	-97,14	0	5,88	4,68	-18	2	28,13	1
42,42	82,75	-109,03	0	9,15	4,28	-30	2	26,19	2
49,25	50,5	68,08	0	5,65	6,5	17	1	10,41	2
90,83	74,39	13,35	0	6,95	9,87	-120	0	35,61	2
50,78	0,51	96,36	0	1,87	5,47	-142	0	39,98	2

 

Данные были воспроизведены и обработаны в среде Robot Operating System (ROS). На рис. 1 представлена карта автономного вождения, на которой отображены различные элементы дорожного движения, включая объекты, обработанные данными с радара.

 

Рис. 1. Пример карты автономного движения: 1 — данные с лидара; 2 — данные с радара в виде объектов.

Fig 1. Example of an autonomous motion map: 1 — Lidar data; 2 — Radar data in the form of objects.

 

В ходе анализа полученных данных были выявлены серьёзные проблемы с детекцией объектов, которые могут оказать значительное влияние на безопасность и эффективность автономного движения. В связи с этим были рассмотрены основные проблемы, представленные ниже.

Проблема шумов

Одним из ключевых вызовов при разработке систем обнаружения объектов для автономных транспортных средств является проблема ложной детекции и нестабильной идентификации обнаруженных объектов. Данная проблема обусловлена влиянием различных шумовых факторов, которые могут искажать получаемые сенсорами данные [1, 14].

Основными источниками шумов, затрудняющих детекцию объектов, являются:

1. Электромагнитные помехи. Сигналы от других радиоизлучающих устройств в окружающей среде могут создавать интерференцию и искажать данные, получаемые радарами транспортного средства.
2. Многолучевое отражение. Отражение радиосигналов от различных объектов, таких как здания, другие транспортные средства и дорожная инфраструктура, может приводить к появлению множественных сигналов, затрудняющих точное определение местоположения целей.
3. Атмосферные условия. Несмотря на то, что радары, установленные за пластиковым бампером и защищённые от загрязнения, являются менее восприимчивыми к сбоям в работе по сравнению с другими сенсорами, даже незначительные изменения в атмосферных условиях могут оказывать влияние на их работу. Радары очень чувствительны и могут детектировать мелкие объекты, такие как капли дождя.

В результате воздействия этих шумовых факторов системы обнаружения объектов могут демонстрировать нестабильное поведение, характеризующееся внезапным исчезновением и появлением объектов, резкими изменениями их характеристик, а также нестабильностью уровня сигналов. Несмотря на тщательную настройку параметров радаров и проведение многочисленных испытаний, полностью исключить ложную детекцию объектов зачастую не представляется возможным.

На рис. 2 и 3 представлены примеры корректной и некорректной детекции. На рис. 2 представлен график стабильно движущегося объекта, который имеет устойчивую скорость и классификацию на различных участках пути. При анализе поведения объекта было обнаружено, что его радиолокационное сечение и детекция на каждом временном шаге обнаружения оставались стабильными, что является признаком корректной работы системы.

 

Рис. 2. Пример временного ряда объекта со стабильной детекцией объекта.

Fig. 2. Example of time series of an object with stable object detection.

 

Рис. 3. Пример временного ряда объекта с нестабильной детекцией объекта.

Fig. 3. Example of time series of an object with unstable object detection.

 

Однако на рис. 3 представлен пример плохой детекции, где объект резко изменяет свои координаты, скорость и классификацию. Кроме того, радар регистрирует низкие значение RCS. Данные признаки могут являться примером шумов, когда система не может корректно определить истинное положение и характеристики объекта из-за воздействия внешних помех или нестабильности сигнала. Данные сигналы могут быть следствием переотражения сигналов от поверхности объектов.

Неверная детекция размеров и классификация объектов

Согласно документации на радарный сенсор ARS 408, производимый компанией Continental, данный радар обладает возможностью классификации обнаруженных объектов по различным категориям [3]. Радар способен распознавать автомобили, мотоциклы, грузовые транспортные средства, пешеходов и велосипедистов. Однако, несмотря на наличие таких возможностей, проблема некорректной классификации объектов остаётся актуальной для систем восприятия окружающей среды в беспилотных транспортных средствах. Данная проблема заключается в том, что радарные сенсоры могут ошибочно классифицировать неподвижные объекты инфраструктуры (заборы, светофоры, дорожные знаки и прочие металлические конструкции) как динамические (автомобили, автобусы, грузовики и т.п.) [11].

Иллюстрацией данной проблемы может служить рис. 4, на котором бордюры и дорожный знак были неверно идентифицированы системой как транспортные средства.

 

Рис. 4. Примеры некорректной классификации и неверного определения размеров объектов: a — пример обнаружения объектов в RViz ROS2; b — иллюстративный пример неверной детекции; 1 — ошибочная классификация бордюра в качестве автомобиля; 2 — ошибочная классификация бордюра в качестве мотоцикла; 3 — ошибочная классификация дорожного знака в качестве автомобиля; 4 — зона сканирования радара.

Fig. 4. Examples of incorrect classification and inaccurate object size estimation: a — example of object detection in RViz ROS2; b — illustrative example of incorrect detection; 1 — misclassification of a curb as a vehicle; 2 — misclassification of a curb as a motorcycle; 3 — misclassification of a traffic sign as a vehicle; 4 — radar scanning area.

 

Подобные ошибки классификации приводят к тому, что алгоритм обработки данных с сенсоров выделяет избыточно большую область вокруг объекта. Это, в свою очередь, влечёт за собой неправильное определение размеров и границ этого объекта. В результате беспилотное транспортное средство может ошибочно воспринять такой объект как препятствие и применить экстренные меры по предотвращению столкновения. Ошибка восприятия дорожной обстановки может стать причиной дорожно-транспортного происшествия, создающего угрозу безопасности как пассажиров беспилотника, так и других участников движения [9].

На примере рис. 5 показано поведение автомобиля в случае неверной детекции (в данном случае — со знаком).

 

Рис. 5. Пример поведения беспилотной транспортной системы при некорректном обнаружении объектов радаром: 1 — ложный манёвр объезда препятствия автономного транспорта; 2 — размер объекта по размеченным данным; 3 — размер объекта по радарным данным.

Fig. 5. Example of the behavior of an unmanned transport system in case of incorrect detection of objects by a radar: 1 — incorrect obstacle avoidance maneuver of autonomous vehicle; 2 — object size according to the marked data; 3 — object size according to the radar data.

 

Проблемы, связанные с неправильным определением размеров обнаруживаемых объектов, обусловлены особенностями функционирования радарной системы и принципами её пространственного сканирования.

Принцип работы такой радарной системы заключается в последовательном сканировании окружающего пространства по секторам. Антенна системы направленно излучает радиосигналы в каждый сектор и регистрирует отражённые от объектов сигналы (рис. 6).

 

Рис. 6. Пример пространственного сканирования в объектовом режиме: a — система координат, в которых сканирует радар; b — волновой график силы сигнала RCS; 1, 2 и 3 — сигналы сканирования с первого, второго и третьего временных шагов; c — пример формирования объекта в объектовом режиме радара.

Fig. 6. Example of spatial scanning in the object mode: a — coordinate system in which the radar is scanning; b — waveform of the RCS signal strength; 1, 2 and 3 — scan signals from the first-, second- and third-time steps; c — example of object formation in the radar’s object mode.

 

В объектовом режиме радар объединяет данные, полученные в результате последовательного сканирования нескольких секторов, для формирования целостного представления объекта. Чем больше времени затрачивается на сканирование объекта, тем более точные данные о его размерах могут быть получены.

Время детекции

На основе описанной ранее проблемы некорректной классификации объектов возникает вопрос времени срабатывания системы обнаружения [8]. Увеличение времени сканирования одного объекта приводит к снижению общей скорости обзора пространства.

Как показывают технические характеристики радара ARS 408, для обеспечения достоверного определения размеров объекта требуется около 1 секунды сканирования [3]. Столь длительный интервал может отрицательно сказаться на своевременности реакции системы управления беспилотного транспортного средства на динамические изменения дорожной обстановки [6]. Задержка в 1 секунду может оказаться критичной и привести к аварийной ситуации. В то же время такой большой интервал сканирования почти решает ранее описываемую проблему шумов. Таким образом, перед пользователями радара стоит задача нахождения оптимального баланса между скоростью обзора и достоверностью определения размеров объектов для обеспечения безопасного функционирования беспилотных транспортных средств.

Результаты детекции объектов

Проведённый анализ показал, что проблемы, связанные с достоверностью и своевременностью детекции объектов, имеют существенное влияние на эффективность и безопасность автономного движения беспилотных транспортных средств. Оценка текущих ошибок детекции является важной частью аналитической работы.

Для оценки достоверности детекции объектов был проведён сравнительный анализ данных, полученных системой обнаружения, и эталонных размеченных данных. В качестве метрик использовались мера перекрытия IoU, а также показатели precision, recall и F1-score [8].

Методы и метрики оценки

Исходные данные для анализа представляли собой временные ряды последовательных измерений, полученных от радарной системы. Для каждого временного ряда были доступны две версии данных: эталонная размеченная информация, соответствующая идеальному результату обнаружения объектов, и фактические данные, полученные в результате работы радара.

Цель проводимого анализа заключалась в оценке того, насколько эффективно радар детектирует объекты.

Расчёт метрик и методология

Для оценки сходимости и полноты выявления объектов на радарных данных были использованы метрики Precision, Recall и F1-score (рис. 7). Для их вычисления необходимо определить верно положительные (TP), ложно положительные (FP) и ложноотрицательные (FN) результаты. Для этого применяется мера перекрытия (IoU — Intersection over Union), которая вычисляется как отношение площади пересечения двух объектов к общей площади их объединения [12].

 

Рис. 7. Пример расчёта меры перекрытия: a — пример обнаружения автомобиля на радарных данных; 1 — положение объекта по данным с радара; 2 — положение объект на размеченных данных; b — вычисление пересечения над объединением (Intersection over Union) между ограничивающими рамками.

Fig. 7. Example of calculating the overlap degree: a — example of vehicle detection in the radar data; 1 — object’s position based on the radar data; 2 — object’s position in the labeled data; b — Computation of Intersection over Union (IoU) between bounding boxes.

 

Мера перекрытия IoU используется для оценки степени пересечения двух прямоугольных областей и определяется следующим образом:

_{$IoU=\frac{Are{a}_{Intersection}}{Are{a}_{Union}}$}, (1)

где ${\text{Area}}_{\text{Intersection}}$  — площадь пересечения двух объектов, а ${\text{Area}}_{\text{Union}}$  — площадь объединения этих объектов.

Определение метрик:

1. True Positives (TP) — количество объектов, которые радар правильно обнаружил, совпадало с эталонными данными (IoU ≥ порогового значения);
2. False Negatives (FN) — количество объектов, которые присутствуют в эталонных данных, но не были обнаружены радаром;
3. False Positives (FP) — количество объектов, ошибочно обнаруженных радаром, но отсутствующих в эталонных данных.

В контексте задачи обнаружения объектов True Negatives (TN) не определяется, т. к. в данном случае нет явного представления о том, что объекта нет.

Precision score — метрика, измеряющая долю верно обнаруженных объектов среди всех, обнаруженных радаром [8]. Она вычисляется как отношение количества верно положительных результатов к общему количеству положительных результатов, предсказанных алгоритмом:

_{$Precision=p=\frac{TP}{TP+FP} \in \left|0;1\right|$}. (2)

Recall score — метрика, измеряющая долю действительно существующих объектов, обнаруженных радаром [8]. Она вычисляется как отношение количества верно положительных результатов к общему количеству действительно существующих объектов:

_{$Recall=r=\frac{TP}{TP+FN}\in \left|0;1\right|$}. (3)

F1-score представляет собой гармоническое среднее между Precision и Recall. Использование F1-score позволяет получить единую оценку качества детекции, которая учитывает как правильность определения объектов, так и полноту их обнаружения.

_{$F1=\frac{2\cdot p\cdot r}{p+r}=\frac{2\cdot TP}{2\cdot TP\cdot FP\cdot FN}\in \left|0;1\right|$}. (4)

Результаты представлены на рис. 8 и табл. 2. График зависимости помогает идентифицировать временные промежутки, в которых радар детектировал объекты хуже всего, и может быть использован для дальнейшего улучшения модели.

 

Рис. 8. График зависимости Precision и Recall от временного шага: Precision — метрика, определяющая количество истинно положительных исходов из всего набора положительных меток; Recall — метрика, определяющая количество истинно положительных среди всего меток класса, которые были определены как «положительный».

Fig. 8. A dependence graph of Precision and Recall on the time step; Precision is a metric that determines the number of true positive outcomes out of the entire set of positive labels; Recall is a metric that determines the number of true positives among all the class labels that were identified as “positive”.

 

Таблица 2. Матрица ошибок для объектового режима радара

Table 2. Matrix of errors for the radar object mode

Фактические данные\Предсказания	Объекты в предсказанных данных
		Объект присутствует	Объект отсутствует
Объекты в размеченных данных	Объект присутствует	TP =823	FN = 977
	Объект отсутствует	FP = 1177	TN = –

Значения метрик: Precision: 0,46; Recall: 0,41; F1-score: 0,44.

 

Интерпретация результатов

Полученные результаты позволяют сделать следующие выводы.

Матрица ошибок:

• из всех настоящих объектов алгоритм правильно обнаружил 823, но неверно идентифицировал 977 объектов как присутствующие;
• из всех отсутствующих объектов (истинно отрицательные) алгоритм неправильно классифицировал 1177 объектов как отсутствующие.

Значения метрик:

• Precision: из всех объектов, обнаруженных радаром, только 46% являются истинными объектами. Это указывает на значительное количество ложных срабатываний;
• Recall: радар обнаруживает только 41% всех существующих объектов. Это свидетельствует о том, что большая часть истинных объектов остаётся не обнаруженной;
• F1-score: значение F1-score, учитывающее и сходимость, и полноту, составляет 0,44. Это невысокое значение указывает на общую слабую производительность алгоритма в выявлении объектов.

Анализ достоверности сопоставления объектов во временных рядах с использованием меры перекрытия  и  является важным инструментом для оценки качества алгоритмов обработки изображений и анализа данных. Он позволяет оценить степень совпадения объектов между различными источниками данных и улучшить качество аналитических решений.

Заключение

В данной работе были рассмотрены основные проблемы, связанные с детекцией объектов в системе. Проблема шумов заключалась в неверной детекции объектов, что приводило к появлению ложных срабатываний, особенно на данных, содержащих многочисленные моменты мимолётных детекций объектов. Неверная детекция размеров объектов создавала дополнительные трудности, такие как неправильная классификация объектов и искажение их границ. Большое время детекции представляло собой ещё одну проблему, особенно в условиях быстрого движения или маневрирования объектов, что могло привести к задержкам в системе и потенциальным аварийным ситуациям.

После анализа данных была проведена оценка работы детекции. Полученная сходимость составила 44%.

Рекомендации:

1. Повышение скорости работы программы.

Одной из ключевых задач является увеличение скорости работы программы обработки данных радара. На текущий момент время детекции объектов в объектном режиме составляет 1 секунду, что может оказаться слишком длительным для автомобиля, движущегося на высокой скорости. Для решения этой проблемы необходимо оптимизировать алгоритмы обработки данных с целью сокращения времени детекции до приемлемого уровня, при этом обеспечивая высокую достоверность и надёжность обнаружения.

2. Снижение уровня ложной детекции.

Для снижения вероятности ложных срабатываний на препятствия необходимо разработать алгоритмы детекции, которые смогут достоверно различать объекты. Особое внимание следует уделить обработке данных с целью избежания неправильного распознавания знаков и других объектов как автомобилей. Это позволит снизить вероятность ложных тревог и повысить общую эффективность работы системы.

Дополнительная информация

Вклад авторов. Д.В. Ендачёв — формулирование целей, задач исследования, руководство научным проектом, участие в обсуждении материалов статьи; В.В. Дебелов — научное руководство, формулирование основных направлений исследования, планирование исследований, редактирование статьи, участие в обсуждении материалов статьи; А.Д. Кузин — проведение исследований и экспериментов, обработка результатов исследования, подготовка и написание текста статьи. Авторы подтверждают соответствие своего авторства международным критериям ICMJE (все авторы внесли существенный вклад в разработку концепции, проведение исследования и подготовку статьи, прочли и одобрили финальную версию перед публикацией).

Конфликт интересов. Авторы декларируют отсутствие явных и потенциальных конфликтов интересов, связанных с проведённым исследованием и публикацией настоящей статьи.

Источник финансирования. Исследование и подготовка публикации проведены в рамках опытно-конструкторских работ и поисковых исследований в рамках НТЗ.

Additional information

Authors’ contribution. D.V. Endachev — formulation of objectives, study tasks, management of a scientific project, participation in the discussion of the materials of the manuscript; V.V. Debelov — scientific guidance, formulation of the main directions of research, research planning, editing of the manuscript, participation in the discussion of the materials of the manuscript; A.D. Kuzin — conducting research and experiments, processing research results, preparation and writing of the text of the manuscript. The authors confirm that their authorship meets the international ICMJE criteria (all authors made significant contributions to the development of the concept, conduct of the research and preparation of the article, read and approved the final version before publication).

Competing interests. The authors declare the absence of obvious and potential conflicts of interest related to the conducted research and the publication of this article.

Funding source. The research and preparation of the publication were carried out within the framework of experimental design and exploratory research within the framework of the technological advance.

About the authors

Anton D. Kuzin

Moscow Polytechnic University; Central Research Automobile and Automotive Engines Institute “NAMI”; Moscow University of Finance and Law

Author for correspondence.
Email: anton.kuzin@nami.ru
ORCID iD: 0009-0005-3342-8526
SPIN-code: 6493-7201

Engineer of the Electronic Devices Center

Russian Federation, 38 Bolshaya Semenovskaya st, Moscow, 107023; 2 Avtomotornaya st, Moscow, 125438; Moscow

Vladimir V. Debelov

Moscow Polytechnic University; Central Research Automobile and Automotive Engines Institute “NAMI”

Email: vladimir.debelov@nami.ru
ORCID iD: 0000-0001-6050-0419
SPIN-code: 8701-7410

Head of the Software Technology Department of the Software Center

Russian Federation, 38 Bolshaya Semenovskaya st, Moscow, 107023; 2 Avtomotornaya st, Moscow, 125438

Denis V. Endachev

Moscow Polytechnic University; Central Research Automobile and Automotive Engines Institute “NAMI”

Email: denis.endachev@nami.ru
ORCID iD: 0000-0003-3547-7928
SPIN-code: 6514-7752

Executive Director for Information and Intelligent Systems

Russian Federation, 38 Bolshaya Semenovskaya st, Moscow, 107023; 2 Avtomotornaya st, Moscow, 125438

References

Supplementary files