Selection and justification of the location of cameras of the all-round vision system on an unmanned dump truck
- 作者: Syrkin I.S.1, Dubinkin D.M.1, Sadovets V.Y.1
-
隶属关系:
- Gorbachev’s Kuzbass State Technical University
- 期: 卷 21, 编号 2 (2023)
- 页面: 64-71
- 栏目: New information technologies
- URL: https://journals.eco-vector.com/2073-3909/article/view/628971
- DOI: https://doi.org/10.18469/ikt.2023.21.2.10
- ID: 628971
如何引用文章
全文:
详细
The choice of equipment installation location on the sides of an unmanned vehicle, and especially such a dump truck, is a difficult task, which is solved, as a rule, intuitively and by the method of full-scale modeling. The authors of the article have solved the formulated problem, on substantiation of the choice of places of sensorics arrangement on the dump truck, using the developed specialized software application. The Carla simulator was chosen as a tool for carrying out the research as it has wide possibilities of visualization of the surrounding world. At the initial stage of selecting the location of the camera arrangement, the requirements for their viewing angles and the quality of the image obtained from them were formulated. This required the development of a software application in the Python language using the Open3D library, the choice of which is justified by the fact that the Carla simulator provides access to its API through a library for this language, and also because it allows rapid prototyping of applications. The developed software application helps the user to select the location of the video cameras on the dump truck in order to experience the unmanned control system. Further research is aimed at automating the selection of camera locations on board an unmanned dump truck.
全文:
Введение
Разработкой беспилотных транспортных средств в настоящее время занимаются ведущие производители, как в области автомобилестроения, так и в направлении информационных технологий. Беспилотные транспортные средства, предназначены для повышения безопасности перемещения по дорогам общего пользования, а также по пересеченной местности, в сложных климатических условиях и в условиях добычи полезных ископаемых открытым способом [1–5]. Создание беспилотного транспорта требует установки на него большого количества дополнительного оборудования – датчиков и вычислительных блоков, которые способны принимать решения по управлению транспортным средством, в зависимости от дорожной обстановки. К первой группе оборудования относятся радары, лидары, камеры, ко второй – вычислительные блоки на базе персональных компьютеров, промышленных компьютеров и прочих [6–7].
Каждый разработчик предлагает оригинальное размещение оборудования для беспилотного управления на легковом автомобиле, обычно основанное на простой интуиции и возможностях беспилотного оборудования. Например, компания Тесла в своих автомобилях отказывается от использования лидаров, считая достаточным применение камер и радаров [8–10]. Разработчик фреймворка Apollo для создания беспилотников, компания Baidu в документации к проекту приводит рекомендуемое размещение оборудования, представленное на рисунке 1, а схема установки от разработчика StarLine представлена на рисунке 2.
Рисунок 1. Расположение датчиков для фреймворка Apollo [11]
1 – Radar; 2 – LiDAR (16); 3 – Side Cameras; 4 – Front Cameras; 5 – 128L Lidar; 6 – GPS Antenna; 7 – Inside of the Trunk; 8 – Industrial PC; 9 – Radar; 10 – 16L Lidar; 11 – GPS Receiver; 12 – IMU; 13 – 16L Lidar.
Расстановку камер и лидаров на легковом автомобиле можно логически обосновать удобством наблюдения и максимальным охватом окружающей обстановки. Например, в большинстве проектов беспилотных автомобилей Лидар располагается на крыше автомобиля.
Установка дополнительного оборудования на карьерный самосвал связана с его конструктивными и техническими особенностями [13; 14]. Особенно остро стоит задача в рациональном размещении видеокамер, лидаров и элементов технического зрения на борту беспилотного карьерного самосвала [15; 16].
Постановка цели
В связи с вышеизложенным, целью работы является обоснованный выбор расположения видеокамер для создания системы кругового обзора беспилотного карьерного самосвала.
Выбор и обоснование необходимого оборудования можно выполнить путем логического обоснования, однако всегда требуется убедиться в правильности выбора. Проверка правильности расстановки оборудования на борту транспортного средства возможна двумя способами – натурным моделированием и имитационным.
При натурном моделировании на построенную модель транспортного средства устанавливают приобретенное оборудование и производят проверку правильности своих предположений. Зачастую в первоначальные предположения о местах установки оборудования и выбора его характеристик вносятся корректировки. Это в свою очередь приводит к приобретению дополнительного оборудования с подобными характеристиками или переработке узлов крепления сенсорики к автомобилю. Оба этих фактора являются интуитивными и требуют дополнительных финансовых затрат для изготовителя беспилотного автомобиля, поскольку возникает необходимость перепроектировать большое число компонентов. В случае разработки системы беспилотного управления карьерным самосвалом способом натурного моделирования становится практически не реализуемой задачей, вследствие его конструктивных и технологических особенностей.
Гораздо дешевле, быстрее и эффективнее для первоначального обоснования выбора и расстановки оборудования использовать имитационное моделирование.
Имитационное моделирование возможно несколькими способами, один из которых основан на CAD (Computer Aided Design – системы автоматизированного проектирования) программах, применяемого при разработки конструкторской документации на изготовление транспортного средства. В большинстве крупных CAD систем есть модули визуализации, которые позволяют создать сцену с готовыми объектами, камерами, источниками освещения. Работа с подобными модулями удобна, но не годится для достижения цели, поставленной в этой работе. Основная причина заключается в том, что из всех существующих классов устройств очувствления беспилотных автомобилей (камер, лидаров, радаров) доступны для имитационного моделирования только камеры. Радары и лидары невозможно быстро и просто симулировать в существующих CAD системах, с использованием всех их возможностей, включая модули визуализации.
Рисунок 2. Расположение датчиков для автомобиля StarLine [12]
1 – LiDAR 2D+; 2 – LiDAR 3D; 3 – Видеокамера с объективом 6 мм; 4 – Видеокамера с объективом 25 мм; 5 – RTK GNSS; 6 – Инерциальный датчик; 7 – Radar.
Описание применяемых технологий
Решение задачи симуляции радаров, лидаров, камер, установленных на беспилотных автомобилях, возможно с использованием специального класса программного обеспечения, симуляторов беспилотных автомобилей. Среди них можно перечислить Carla simulator, Udacity’s car simulator, «SVL simulator» и некоторые другие [14; 16; 17]. Каждый из этих симуляторов позволяет размещать виртуальную модель автомобиля в виртуальную дорожную среду, располагать на автомобиле датчики и подавать на него управляющие воздействия для перемещения.
Решение задачи оценки расстановки сенсорики проводилось с использованием симулятора Carla simulator [14]. Внешний вид модели карьерного самосвала, установленного на проезжей части, приведен на рисунке 3.
Рисунок 3. Внешний вид самосвала
Симулятор Carla позволяет взаимодействовать с симулируемым миром из сторонних приложений посредством API (Application Programming Interface» – программный интерфейс приложения). Основой Carla API является набор встроенных объектов, которые предоставляют возможность взаимодействия исследуемого объекта с отдельными элементами симулируемого мира. Представленный программный интерфейс позволяет настраивать режимы симуляции (синхронный, асинхронный, с визуализацией или без визуализации), есть возможность добавления автомобилей, размещения на них различных датчиков (камер, радаров, лидаров, навигации). Решение задачи обоснования выбора мест расстановки сенсорики на самосвале потребовало разработки специализированного приложения, внешний вид которого приведен на рисунке 4.
Рисунок 4. Внешний вид интерфейса разработанной программы
Приложение написано на языке Python с использованием библиотеки Open3D [15].
Выбор языка программирования Python был обоснован тем, что симулятор предоставляет доступ к своему API через библиотеку для этого языка, а также потому, что он позволяет быстро создавать прототипы приложений. Сам язык Python не предоставляет стандартных возможностей реализации GUI (Graphical User Interface – графический пользовательский интерфейс). Создание визуальных приложений требует использования дополнительных библиотек, например PyGame или Open3D. Последняя была выбрана исходя из возможностей расширения разрабатываемого приложения путем визуализации данных от дополнительных датчиков (лидара, радара). Библиотека Open3D позволяет стандартными средствами выводить в окно приложения как обычные растровые изображения, так и трехмерные объекты, в том числе облака точек, линии, полигоны с возможностью текстурирования и настройки освещения.
Особенность библиотеки Open3D заключается в том, что проектирование пользовательского интерфейса выполняется путем написания исходного кода, а не с применением визуальных средств проектирования GUI, на подобии Visual Studio от Microsoft.
Выбор расположения и ориентации видеокамер можно осуществить путем логического обоснования. Для примера, камера переднего обзора должна находиться по оси автомобиля, направлена вперед. Искажения перспективы на изображении отсутствуют при углах обзора 90◦. Пример изображения, полученного с такой камеры, представлен на рисунке 5.
Рисунок 5. Изображение с камеры переднего обзора
Важной задачей создания системы технического зрения для беспилотного карьерного самосвала является изготовление и настройка системы кругового обзора, предназначенной для передачи видео от самосвала в дистанционный пункт управления. В данном случае оператор может оценить окружающую обстановку вокруг самосвала и принять решение о продолжении работы машины или подать команду на аварийную остановку.
Важным требованием, предъявляемым к системе кругового обзора, является угол обзора. По горизонтали он должен составлять полные 360◦, по вертикали стремиться к 90◦. Выходными данными в результате работы программы будут параметры камер (угол обзора, фокусное расстояние), координаты их расположения на модели карьерного самосвала и их ориентация в пространстве. Эти требования будут лежать в основе проектирования компоновки облика карьерного самосвала, построения сборочных чертежей системы кругового обзора и схемы прокладки кабелей для подключения оборудования.
Выбор расстановки камер системы кругового обзора начинается с создания сцены, имитирующей окружающую обстановку, когда вокруг самосвала расположены другие объекты. Пример такой сцены представлен на рисунке 6.
Рисунок 6. Сцена для исследования системы кругового обзора
Камеры, выдающие изображения без значительных искажений изображения обладают полем зрения до 120◦, что можно задать в исследуемой модели. В этом случае изображение с камеры, установленной на палубе самосвала, будет представлено на рисунке 7.
Рисунок 7. Изображение с передней камеры
Видно, что боковые самосвалы не полностью попадают в поле зрения камеры. Расширение поля зрения системы возможно лишь путем добавления новых камер, что показано на рисунке 8.
Рисунок 8. Изображение с угловой камеры
После установки дополнительной камеры на углу палубы, в поле зрения системы не попадает лишь часть пространства непосредственно за карьерным самосвалом, что можно исправить путем установки дополнительной камеры под грузовой платформой. Итоговое поле зрения системы кругового обзора, состоящей из передней, задней камеры и сдвоенных угловых камер, приведено на рисунке 9.
Рисунок 9. Изображения со всех камер системы кругового обзора
Выводы
В результате выполненной работы была разработана программа на языке Python [18; 19], которая взаимодействует с Carla симулятором и помогает пользователю выбрать расположение видеокамер на карьерном самосвале для очувствления системы беспилотного управления. Как показали исследования, создание системы кругового обзора формирует определенные технические требования к применяемым камерам. Технические характеристики камер влияют на точки расстановки их на карьерном самосвале, а также на их количество. Дальнейшие исследования направлены на автоматизацию выбора точек установки видеокамер на борту беспилотного карьерного самосвала.
Работа выполнена при финансовой поддержке Министерства науки и высшего образования Российской Федерации по соглашению от 30.09.2022 №075-15-2022-1198 с ФГБОУ ВО «Кузбасский государственный технический университет имени Т.Ф. Горбачева» в рамках Комплексной научно-технической программы полного инновационного цикла «Разработка и внедрение комплекса технологий в областях разведки и добычи твердых полезных ископаемых, обеспечения промышленной безопасности, биоремедиации, создания новых продуктов глубокой переработки из угольного сырья при последовательном снижении экологической нагрузки на окружающую среду и рисков для жизни населения» (КНТП «Чистый уголь – Зеленый Кузбасс») в рамках реализации мероприятия «Разработка и создание беспилотного карьерного самосвала челночного типа грузоподъемностью 220 тонн» в части выполнения научно-исследовательских и опытно-конструкторских работ.
作者简介
Ilya Syrkin
Gorbachev’s Kuzbass State Technical University
编辑信件的主要联系方式.
Email: syrkin@kuzstu.ru
к.т.н., доцент кафедры информационных и автоматизированных производственных систем
俄罗斯联邦, KemerovoDmitry Dubinkin
Gorbachev’s Kuzbass State Technical University
Email: ddm.tm@kuzstu.ru
к.т.н., доцент, ведущий научный сотрудник научного центра «Цифровые технологии»
俄罗斯联邦, KemerovoVladimir Sadovets
Gorbachev’s Kuzbass State Technical University
Email: svyu.pmh@kuzstu.ru
Associate Professor of Information and Automated Production Systems Department, PhD in Technical Sciences, Associate Professor
俄罗斯联邦, Kemerovo参考
- Bakhaev P. Automated control of unmanned truck for transport complex of mining industry. Journal of Physics: Conference Series, 2019, vol. 1333, pp. 052001. doi: 10.1088/1742-6596/1333/5/052001
- Dubinkin D. et al. Assessment of the Need to Create Control Sytem of Unmanned Dump Truck. E3S Web of Conferences, 2020, pp. 1–16.
- Okawa Y. et al. Vehicle Control of Unmanned Dump Trucks. SAE Transactions, 1992, vol. 101, pp. 292–299.
- Chicherin I.V. et al. The concept of controlling the unmanned vehicles in open pit mining. Izvestiia vysshikh uchebnykh zavedenii. Gornyi zhurnal, 2020, no. 8, pp. 109–120. doi: 10.21440/0536-1028-2020-8-109-120 (In Russ.)
- Chicherin I.V., Fedosenkov B.A. Forming signals of current trajectories in computer-aided system of modal controlling unmanned vehicles in open pit mining. Vestnik Astrakhanskogo gosudarstvennogo tekhnicheskogo universiteta. Seriia: Upravlenie, vychislitel’naia tekhnika i informatika, 2021, no. 4, pp. 35–44. doi: 10.24143/2072-9502-2021-4-35-44 (In Russ.)
- Shadrin S.S., Ivanov A.M., Varlamov O.O. Experimental autonomous road vehicle with logical artificial intelligence. Journal of Advanced Transportation, 2017, vol. 2017, pp. 2492765. doi: 10.1155/2017/2492765
- Voronov I Yu. et al. Increasing the technical level of mining haul trucks. E3S Web of Conferences: The Second International Innovative Mining Symposium. Kemerovo, 2017, vol. 21, pp. 3015.1–3015.6. doi: 10.1051/e3sconf/20172103015
- Boashash B. et al. Measures, performance assessment, and enhancement of TFDs. Time-Frequency Signal Analysis and Processing: A Comprehensive Reference, 2015, pp. 387–452. doi: 10.1016/B978-0-12-398499-9.00007-8
- Gudvin G.K., Grebe S.F., Sal’gado M.E. Control system design. Moskow: BINOM. Laboratoriya znanij, 2004, 911 p. (In Russ.)
- Chicherin I.V. et al. The concept of controlling the unmanned vehicles in open pit mining. Izvestiya vysshih uchebnyh zavedenij. Gornyj zhurnal, 2020, no. 8, no. 109–120. doi: 10.21440/0536-1028-2020-8-109-120 (In Russ.)
- ApolloAuto/Apollo. URL: https://github.com/ApolloAuto/apollo/blob/master/docs/02_Quick%20Start/demo_guide/images/Hardware_overview_3_5.png (accessed: 12.10.2023).
- How the drone works StarLine. URL: https://bespilot.com/images/art-4725.jpg (accessed: 12.10.2023).
- Karpathy A. CVPR 2021 Workshop on Autonomous Vehicles, 2021. URL: https://www.youtube.com/watch?v=NSDTZQdo6H8 (accessed: 22.03.2022).
- Dubinkin D.M., Aksenov V.V., Pashkov D.A. Trends in the development of unmanned mining dump trucks. Ugol’, 2023, no. 6(1168), pp. 72–79. doi: 10.18796/0041-5790-2023-6-72-79 (In Russ.)
- Maslennikov D.V., Syrkin I.S. Analysis and comparison of Carla and LGSV simulators for training self-driving cars. Rossiya molodaya: materialy XIII Vserossijskoj nauchno-prakticheskoj konferencii molodyh uchenyh. Kemerovo: Kuzbasskij gosudarstvennyj tekhnicheskij universitet imeni T.F. Gorbacheva, 2017, p. 1–16. (In Russ.)
- Dosovitskiy A. et al. CARLA: An Open Urban Driving Simulator. Proceedings of the 1st Annual Conference on Robot Learning, 2017, pp. 1–16.
- Zhou Q.-Y., Park J., Koltun V. Open3D: A Modern Library for 3D Data Processing. URL: https://arxiv.org/pdf/1801.09847v1.pdf (accessed: 25.08.2023).
- Video camera placement module on a quarry dump truck: svidetel’stvo o gos. registratsii programmy dlja EVM 2023665572. Russian Federation. No.2023664281 / I.S. Syrkin, D.M. Dubinkin, I.F. Yunusov, R.R. Garifullin, I.R. Dilmukhametov; dec. 05.07.2023; publ. 18.07.2023. (In Russ.)
- Camera calibration module: svidetel’stvo o gosudarstvennoi registratsii programmy dlia EVM 202366921. Russian Federation. No 2023667823 / R.R. Garifullin, D.M. Dubinkin, I.S. Syrkin, A.A. Vasina, I.F. Iunusov; dec. 28.08.2023; publ. 12.09.2023. (In Russ.)
补充文件
![](/img/style/loading.gif)