Selection and justification of the location of cameras of the all-round vision system on an unmanned dump truck

Full Text

Введение

Разработкой беспилотных транспортных средств в настоящее время занимаются ведущие производители, как в области автомобилестроения, так и в направлении информационных технологий. Беспилотные транспортные средства, предназначены для повышения безопасности перемещения по дорогам общего пользования, а также по пересеченной местности, в сложных климатических условиях и в условиях добычи полезных ископаемых открытым способом [1–5]. Создание беспилотного транспорта требует установки на него большого количества дополнительного оборудования – датчиков и вычислительных блоков, которые способны принимать решения по управлению транспортным средством, в зависимости от дорожной обстановки. К первой группе оборудования относятся радары, лидары, камеры, ко второй – вычислительные блоки на базе персональных компьютеров, промышленных компьютеров и прочих [6–7].

Каждый разработчик предлагает оригинальное размещение оборудования для беспилотного управления на легковом автомобиле, обычно основанное на простой интуиции и возможностях беспилотного оборудования. Например, компания Тесла в своих автомобилях отказывается от использования лидаров, считая достаточным применение камер и радаров [8–10]. Разработчик фреймворка Apollo для создания беспилотников, компания Baidu в документации к проекту приводит рекомендуемое размещение оборудования, представленное на рисунке 1, а схема установки от разработчика StarLine представлена на рисунке 2.

 

Рисунок 1. Расположение датчиков для фреймворка Apollo [11]

1 – Radar; 2 – LiDAR (16); 3 – Side Cameras; 4 – Front Cameras; 5 – 128L Lidar; 6 – GPS Antenna; 7 – Inside of the Trunk; 8 – Industrial PC; 9 – Radar; 10 – 16L Lidar; 11 – GPS Receiver; 12 – IMU; 13 – 16L Lidar.

 

Расстановку камер и лидаров на легковом автомобиле можно логически обосновать удобством наблюдения и максимальным охватом окружающей обстановки. Например, в большинстве проектов беспилотных автомобилей Лидар располагается на крыше автомобиля.

Установка дополнительного оборудования на карьерный самосвал связана с его конструктивными и техническими особенностями [13; 14]. Особенно остро стоит задача в рациональном размещении видеокамер, лидаров и элементов технического зрения на борту беспилотного карьерного самосвала [15; 16].

Постановка цели

В связи с вышеизложенным, целью работы является обоснованный выбор расположения видеокамер для создания системы кругового обзора беспилотного карьерного самосвала.

Выбор и обоснование необходимого оборудования можно выполнить путем логического обоснования, однако всегда требуется убедиться в правильности выбора. Проверка правильности расстановки оборудования на борту транспортного средства возможна двумя способами – натурным моделированием и имитационным.

При натурном моделировании на построенную модель транспортного средства устанавливают приобретенное оборудование и производят проверку правильности своих предположений. Зачастую в первоначальные предположения о местах установки оборудования и выбора его характеристик вносятся корректировки. Это в свою очередь приводит к приобретению дополнительного оборудования с подобными характеристиками или переработке узлов крепления сенсорики к автомобилю. Оба этих фактора являются интуитивными и требуют дополнительных финансовых затрат для изготовителя беспилотного автомобиля, поскольку возникает необходимость перепроектировать большое число компонентов. В случае разработки системы беспилотного управления карьерным самосвалом способом натурного моделирования становится практически не реализуемой задачей, вследствие его конструктивных и технологических особенностей.

Гораздо дешевле, быстрее и эффективнее для первоначального обоснования выбора и расстановки оборудования использовать имитационное моделирование.

Имитационное моделирование возможно несколькими способами, один из которых основан на CAD (Computer Aided Design – системы автоматизированного проектирования) программах, применяемого при разработки конструкторской документации на изготовление транспортного средства. В большинстве крупных CAD систем есть модули визуализации, которые позволяют создать сцену с готовыми объектами, камерами, источниками освещения. Работа с подобными модулями удобна, но не годится для достижения цели, поставленной в этой работе. Основная причина заключается в том, что из всех существующих классов устройств очувствления беспилотных автомобилей (камер, лидаров, радаров) доступны для имитационного моделирования только камеры. Радары и лидары невозможно быстро и просто симулировать в существующих CAD системах, с использованием всех их возможностей, включая модули визуализации.

 

Рисунок 2. Расположение датчиков для автомобиля StarLine [12]

1 – LiDAR 2D+; 2 – LiDAR 3D; 3 – Видеокамера с объективом 6 мм; 4 – Видеокамера с объективом 25 мм; 5 – RTK GNSS; 6 – Инерциальный датчик; 7 – Radar.

 

Описание применяемых технологий

Решение задачи симуляции радаров, лидаров, камер, установленных на беспилотных автомобилях, возможно с использованием специального класса программного обеспечения, симуляторов беспилотных автомобилей. Среди них можно перечислить Carla simulator, Udacity’s car simulator, «SVL simulator» и некоторые другие [14; 16; 17]. Каждый из этих симуляторов позволяет размещать виртуальную модель автомобиля в виртуальную дорожную среду, располагать на автомобиле датчики и подавать на него управляющие воздействия для перемещения.

Решение задачи оценки расстановки сенсорики проводилось с использованием симулятора Carla simulator [14]. Внешний вид модели карьерного самосвала, установленного на проезжей части, приведен на рисунке 3.

 

Рисунок 3. Внешний вид самосвала

 

Симулятор Carla позволяет взаимодействовать с симулируемым миром из сторонних приложений посредством API (Application Programming Interface» – программный интерфейс приложения). Основой Carla API является набор встроенных объектов, которые предоставляют возможность взаимодействия исследуемого объекта с отдельными элементами симулируемого мира. Представленный программный интерфейс позволяет настраивать режимы симуляции (синхронный, асинхронный, с визуализацией или без визуализации), есть возможность добавления автомобилей, размещения на них различных датчиков (камер, радаров, лидаров, навигации). Решение задачи обоснования выбора мест расстановки сенсорики на самосвале потребовало разработки специализированного приложения, внешний вид которого приведен на рисунке 4.

 

Рисунок 4. Внешний вид интерфейса разработанной программы

 

Приложение написано на языке Python с использованием библиотеки Open3D [15].

Выбор языка программирования Python был обоснован тем, что симулятор предоставляет доступ к своему API через библиотеку для этого языка, а также потому, что он позволяет быстро создавать прототипы приложений. Сам язык Python не предоставляет стандартных возможностей реализации GUI (Graphical User Interface – графический пользовательский интерфейс). Создание визуальных приложений требует использования дополнительных библиотек, например PyGame или Open3D. Последняя была выбрана исходя из возможностей расширения разрабатываемого приложения путем визуализации данных от дополнительных датчиков (лидара, радара). Библиотека Open3D позволяет стандартными средствами выводить в окно приложения как обычные растровые изображения, так и трехмерные объекты, в том числе облака точек, линии, полигоны с возможностью текстурирования и настройки освещения.

Особенность библиотеки Open3D заключается в том, что проектирование пользовательского интерфейса выполняется путем написания исходного кода, а не с применением визуальных средств проектирования GUI, на подобии Visual Studio от Microsoft.

Выбор расположения и ориентации видеокамер можно осуществить путем логического обоснования. Для примера, камера переднего обзора должна находиться по оси автомобиля, направлена вперед. Искажения перспективы на изображении отсутствуют при углах обзора 90^◦. Пример изображения, полученного с такой камеры, представлен на рисунке 5.

 

Рисунок 5. Изображение с камеры переднего обзора

 

Важной задачей создания системы технического зрения для беспилотного карьерного самосвала является изготовление и настройка системы кругового обзора, предназначенной для передачи видео от самосвала в дистанционный пункт управления. В данном случае оператор может оценить окружающую обстановку вокруг самосвала и принять решение о продолжении работы машины или подать команду на аварийную остановку.

Важным требованием, предъявляемым к системе кругового обзора, является угол обзора. По горизонтали он должен составлять полные 360^◦, по вертикали стремиться к 90^◦. Выходными данными в результате работы программы будут параметры камер (угол обзора, фокусное расстояние), координаты их расположения на модели карьерного самосвала и их ориентация в пространстве. Эти требования будут лежать в основе проектирования компоновки облика карьерного самосвала, построения сборочных чертежей системы кругового обзора и схемы прокладки кабелей для подключения оборудования.

Выбор расстановки камер системы кругового обзора начинается с создания сцены, имитирующей окружающую обстановку, когда вокруг самосвала расположены другие объекты. Пример такой сцены представлен на рисунке 6.

 

Рисунок 6. Сцена для исследования системы кругового обзора

 

Камеры, выдающие изображения без значительных искажений изображения обладают полем зрения до 120^◦, что можно задать в исследуемой модели. В этом случае изображение с камеры, установленной на палубе самосвала, будет представлено на рисунке 7.

 

Рисунок 7. Изображение с передней камеры

 

Видно, что боковые самосвалы не полностью попадают в поле зрения камеры. Расширение поля зрения системы возможно лишь путем добавления новых камер, что показано на рисунке 8.

 

Рисунок 8. Изображение с угловой камеры

 

После установки дополнительной камеры на углу палубы, в поле зрения системы не попадает лишь часть пространства непосредственно за карьерным самосвалом, что можно исправить путем установки дополнительной камеры под грузовой платформой. Итоговое поле зрения системы кругового обзора, состоящей из передней, задней камеры и сдвоенных угловых камер, приведено на рисунке 9.

 

Рисунок 9. Изображения со всех камер системы кругового обзора

 

Выводы

В результате выполненной работы была разработана программа на языке Python [18; 19], которая взаимодействует с Carla симулятором и помогает пользователю выбрать расположение видеокамер на карьерном самосвале для очувствления системы беспилотного управления. Как показали исследования, создание системы кругового обзора формирует определенные технические требования к применяемым камерам. Технические характеристики камер влияют на точки расстановки их на карьерном самосвале, а также на их количество. Дальнейшие исследования направлены на автоматизацию выбора точек установки видеокамер на борту беспилотного карьерного самосвала.

Работа выполнена при финансовой поддержке Министерства науки и высшего образования Российской Федерации по соглашению от 30.09.2022 №075-15-2022-1198 с ФГБОУ ВО «Кузбасский государственный технический университет имени Т.Ф. Горбачева» в рамках Комплексной научно-технической программы полного инновационного цикла «Разработка и внедрение комплекса технологий в областях разведки и добычи твердых полезных ископаемых, обеспечения промышленной безопасности, биоремедиации, создания новых продуктов глубокой переработки из угольного сырья при последовательном снижении экологической нагрузки на окружающую среду и рисков для жизни населения» (КНТП «Чистый уголь – Зеленый Кузбасс») в рамках реализации мероприятия «Разработка и создание беспилотного карьерного самосвала челночного типа грузоподъемностью 220 тонн» в части выполнения научно-исследовательских и опытно-конструкторских работ.

About the authors

Ilya S. Syrkin

Gorbachev’s Kuzbass State Technical University

Author for correspondence.
Email: syrkin@kuzstu.ru

к.т.н., доцент кафедры информационных и автоматизированных производственных систем

Russian Federation, Kemerovo

Dmitry M. Dubinkin

Gorbachev’s Kuzbass State Technical University

Email: ddm.tm@kuzstu.ru

к.т.н., доцент, ведущий научный сотрудник научного центра «Цифровые технологии»

Russian Federation, Kemerovo

Vladimir Yu. Sadovets

Gorbachev’s Kuzbass State Technical University

Email: svyu.pmh@kuzstu.ru

Associate Professor of Information and Automated Production Systems Department, PhD in Technical Sciences, Associate Professor

Russian Federation, Kemerovo

References

Supplementary files