Применение системы технического зрения, реконструирующей трехмерную форму объектов космической техники

Обложка

Цитировать

Полный текст

Аннотация

Тенденции развития промышленности в области космических аппаратов (КА) ставят все более сложные задачи перед мехатронными системами. Ввиду усложнения процессов компоновки КТК и солнечных батарей, текущие методы раскрытия конструкций становятся менее надежными и актуальными. Помимо этого, развитие орбитальных станций приводит к возникновению целого спектра задач. Одним из перспективных подходов является использование мехатронных манипуляторов, однако, функциональность их применения сильно ограничена заранее определенными при разработке алгоритмами перемещения исполнительного органа и манипуляций над объектами. В связи с этим, возникает необходимость в проработке новых подходов к нахождению и определению формы целевого объекта, для дальнейшего просчета алгоритма его взаимодействия со схватом мехатронного манипулятора.

В статье приводится метод реконструкции трехмерной формы объектов, основанный на применении системы технического зрения. Для получения пространственных характеристик сцены используется стереокамера. На основе полученных данных, сцена разбивается на несколько независимых геометрических поверхностей, с последующей поэтапной обработкой нейросетевыми алгоритмами. На каждом из этапов алгоритма происходит извлечение требуемых параметров целевых объектов. В качестве архитектуры нейронной сети используется YOLACT EDGE, осуществляющая семантическую сегментацию и классификацию объектов. Отдельной задачей можно вынести соотнесение пространственных характеристик целевых объектов и замещающей трехмерной модели. Для обеспечения этого соотнесения архитектура нейронной сети была дополнена ветвью «Маска опорных точек», обеспечивающей прогноз позиций опорных точек объектов, однозначно определяющих пространственные характеристики целевого объекта.

В результате, полученная система способна обеспечить построение трехмерной карты зоны обметания в режиме реального времени. Кроме того, на основе полученной телеметрической информации возможен просчет траектории движения исполнительного органа манипулятора и его взаимодействия с объектами.

Полный текст

Введение

В настоящее время в космической области все большее применение находят робототехнические манипуляторы, выполняющие вспомогательную работу по ремонту, транспортировке и обслуживанию модулей космических станций. Ярким примером является используемая на МКС мобильная система обслуживания, состоящая из управляемых вручную манипуляторов Canadarm-2 и Dextre, выполняющая вышеперечисленные функции [1].

С другой стороны, в области перспективных проектов акцент все больше смещается на автономное робототехническое сервисное обслуживание, трактуемое в широком смысле и подразумевающее также роботизированные монтажные операции применительно к весьма широкому классу объектов, в том числе не приспособленных изначально к такому обслуживанию. При этом предполагаемые автономные робототехнические средства, являясь существенно более сложными по сравнению с использующимися на текущий момент на орбите устройствами, не только не имеют эксплуатируемых аналогов, но нацелены при этом на надежное решение весьма сложных комплексных задач [2].

Существенным ограничением в работе текущих автономных мехатронных устройств является то, что их функционирование строго ограничено заранее определяемыми при разработке алгоритмами перемещения и манипуляций над объектами [3]. Подобные ограничения не позволяют добиться автономности и гибкости функционального применения, а также оставляют необходимость в перестройке существующих алгоритмов управления при изменении условий эксплуатации и поставленных задач.

В связи с этим возникает необходимость в разработке новых подходов к нахождению и определению формы целевого объекта, для дальнейшего просчета алгоритма оптимального взаимодействия со схватом мехатронного манипулятора. Одним из перспективных подходов является применение системы технического зрения, основанной на искусственных нейронных сетях, с применением стереокамеры [4].

Предлагаемый подход предполагает обработку входящего видеопотока с последующим обнаружением и реконструкцией трехмерной формы искомых объектов, получением информации о положении их в пространстве относительно манипулятора, а также определение опорных точек на моделях объектов для дальнейшей генерации алгоритма перемещения исполнительного органа и захвата манипулятором объектов [5].

1. Применяемые подходы и методы

На текущей момент в области решения задачи реконструкции трёхмерной карты окружающего пространства предложено несколько перспективных решений. Однако каждое из них основывается на устоявшихся подходах, лишь прорабатывая и совершенствуя их использованием новых технологий. Подобный подход позволяет добиться улучшения показателей качества и скорости реконструкции, но при этом не решает задачу глобально.

Предложенный метод в статье [6] решает сразу несколько задач – это сегментация и классификация объектов, а также реконструкция трехмерной сцены при наличии на ней не статичных объектов (изменяющих свое положение). Посредством работы стереокамеры считываются пространственные характеристики, на основе которых система разделяет сцену с помощью сверточных нейронных сетей на несколько поверхностей. Полученные поверхности обрабатываются с помощью статичных или не статичных методов ICP и реконструируются с помощью инкрементного слияния карт глубины. Предложенная система показывает хорошие результаты в условиях реконструкции нестатичных сцен. Однако полученная трехмерная карта имеет зашумления, а также пустые зоны, так как с помощью заполнения вокселями реконструируется только видимая стереокамерой поверхность объектов.

Вторым примечательным проектом является [7]. Авторами был разработан мобильный робот-манипулятор, оснащенный 2D-камерой и стереокамерой. Полученная система предназначена для реализации автономного процесса производства небольших изделий на нескольких удаленных друг от друга станках. Ключевой особенностью является применение нейронной сети PointVoxel-RCNN [8], основывающейся на обнаружении объектов на карте глубины со стереокамеры. Помимо обнаружения и классификации, нейросеть также способна восстановить трехмерную форму объектов методом подбора наиболее подходящего по габаритам параллелепипеда. Недостатками предложенного подхода является достаточно высокая сложность подготовки набора данных и обучения сети (так как осуществляется на основе облака трехмерных точек), а также низкая точность реконструкции трёхмерной формы объектов.

2. Предлагаемый метод реконструкции трехмерной карты

В приведенной статье представляется более совершенный подход, позволяющий реконструировать трёхмерную карту зоны обметания для робототехнической системы. Полученная карта содержит достоверно воссозданные трёхмерные модели целевых объектов с сохранением габаритных показателей, а также объекты-препятствия. Приводимый в статье метод разбивает сцену на несколько независимых геометрических поверхностей с последующей поэтапнойобработкой нейросетевыми алгоритмами для извлечения требуемых параметров целевых объектов. На рис. 1 представлена обобщенная схема алгоритма реконструкции сцены по видеопотоку, которую «семантически» можно разделить на 5 этапов обработки.

 

Рис. 1. Схема предлагаемого метода реконструкции трёхмерной карты

Fig. 1. Scheme of the proposed method of reconstruction of the three-dimensional map

 

  1. Получение пространственных и «цветовых» данных сцены в виде двух независимых слоев: RGB-видеопотока и карты глубины.
  2. Декомпозиция сцены на целевые объекты и фоновую поверхность.
  3. Определение замещающей трехмерной модели и пространственных характеристик целевых объектов.
  4. Расчет характеристик замещающей модели.
  5. Комплексирование полученных данных в единую трехмерную сцену.

2.1. Получение характеристик сцены

Задача определения пространственных характеристик зоны обметания манипулятора решается посредством применения стереокамеры [9]. Подобные устройства состоят из пары камер, равноудаленных от центральной оптической оси, что позволяет на основе аппарата триангуляции получить облако трехмерных точек. Полученное облако представляет собой массив значений и содержит расстояние для каждого пикселя от камеры до видимых объектов. Однако рассматриваемый метод содержит и проблемы, связанные с неравномерным распределением и структурной неоднозначностью между целевыми объектами и фоном. Для их решения предлагается использовать дополнительный метод определения целевых объектов по RGB-видеопотоку с модуля стереокамеры.

2.2. Декомпозиция сцены

Одним из эффективных методов решения является применение сверточных нейронных сетей, позволяющих классифицировать и сегментировать контуры объектов на RGB-видеопотоке. Нейронная сеть обучается до необходимого уровня минимизации функции ошибки на подготовленном вручную наборе изображений с уже классифицированными и сегментированными объектами [10]. Представленный метод был выбран исходя из того, что, по сравнению с другими алгоритмами обнаружения объектов, обладает несколькими важными преимуществами [11]. Первое – достаточно высокая робастность к изменениям условий функционирования, таким как масштабирование, сдвиг, деформация и частичное перекрытие объектов, а также изменение уровня освещенности. Вторым достоинством является высокая точность классификации и сегментации объектов при правильном обучении нейросети.

На данный момент разработано множество различных архитектур нейронных сетей, каждая из которых имеет свои достоинства и недостатки. Однако спектр выбора сильно ограничен, так как следует учитывать специфику условий функционирования. Выполнение задачи управления манипулятором требует от системы достаточно высокой скорости обработки информации, а применение в космической области накладывает существенные ограничения на массогабаритные показатели аппаратной части.

Наибольшего прогресса в области скорости обработки добились в архитектуре YOLACT [12]. В ней разделяют сегментацию экземпляра на две параллельные задачи. В первой задаче используются сверточные сети для генерации набора масок-прототипов одинакового размера для каждого изображения, а в выходных данных используется функция ReLU для нелинеаризации. Вторая задача – обнаружение объектов на основе якоря. Он содержит три ветви: первая ветвь используется для прогнозирования коэффициентов маски для каждого прототипа, вторая – для прогнозирования достоверности категорий экземпляров, а третья – для прогнозирования координат ограничивающей рамки.

Однако сеть YOLACT требует достаточно высокой вычислительной мощности, что сказывается на необходимости использования затратной аппаратной части. Поэтому предлагается использовать модифицированную архитектуру YOLACT EDGE, способную на небольших периферийных устройствах (например, Jetson AGX Xavier) в режиме реального времени обрабатывать (классифицировать и сегментировать) до 80 типов объектов на 2D-изображениях [13]. В архитектуру YOLACT внесено несколько ключевых изменений. Первое – на уровне алгоритмов используются возможности механизма оптимизации Nvidia TensorRT для квантования параметров сети до меньшего количества битов. Второе – изменение затрагивает системный уровень, используя кадровую избыточность видеопотока для переработки и распространения признаков на следующие кадры видеопотока, чтобы дорогостоящие вычисления опорных признаков нейронной сети не вычислялись полностью для каждого кадра.

2.3. Определение замещающей модели

Как отмечалось ранее, задачей алгоритма является повышение гибкости функционирования системы управления манипулятором. Однако для достижения этой цели недостаточно обнаружить объект, необходимо также определить оптимальный алгоритм манипуляций над ним, что требует учета его геометрической формы и центра масс. Для решения такой задачи комплекса данных с нейронной сети и стереокамеры может быть недостаточно, так как при попытке прямой реконструкции сцены могут возникнуть пустые области у реконструированного объекта. На рис. 2, а, б приведен пример образования пустых областей, выделенных красным цветом.

 

Рис. 2. Пример образования пустых областей

Fig. 2. An example of the formation of empty areas

 

Подобная особенность вызвана тем, что система имеет представление только о видимой части сцены, что приводит к большим неточностям в построении трёхмерной формы объекта (облако трёхмерных точек также является зашумленным) либо к необходимости кругового рассмотрения объекта стереокамерой.

Как видно на рис. 3, а, в, метод прямой реконструкции не всегда обеспечивает достаточную плотность покрытия поверхности объекта трехмерными точками, что особенно заметно при видимости только одной стороны объекта. Также видно, что при изменении пространственного положения объекта или стереокамеры, итоговая плотность находится в большой зависимости от уровня перпендикулярности плоскости объекта относительно стереокамеры. Так, на рис. 3, а информация о верхней поверхности объекта сильно зашумлена, однако, при изменении положения камеры, реконструкция становится все более плотной (рис. 3, б, в).

 

Рис. 3. Пример прямой реконструкции объекта

Fig. 3. Example of direct reconstruction of an object

 

Для решения приведенной проблемы предлагается, вместо попытки прямой реконструкции формы объекта, использовать замещающую трёхмерную модель, подобранную в соответствии с классифицированным объектом. Подобный подход позволит не только упростить реконструкцию сцены и объектов на ней (так как система будет способна реконструировать видимые объекты при единичном осмотре), но и повысить гибкость алгоритма захвата объекта, что обеспечивается наличием полной трёхмерной модели, на основе которой лучше просчитывается траектория, по сравнению с зашумленной приблизительной воксельной моделью. Рассматриваемый подход предполагает решение трех задач: определение метода реконструкции объекта, соотнесение положения и габаритов замещающей модели и целевого объекта.

2.4. Реконструкция трехмерной формы

Обнаруженные целевые объекты реконструируются на трёхмерной карте робототехнического манипулятора с помощью замены на аналогичную трехмерную модель. Рассматриваемый метод предполагает подготовку необходимого набора данных, позволяющих сформировать трехмерную модель.

Одним из методов формирования является использование полностью идентичной трехмерной модели, позволяющей добиться высокой точности воспроизведения целевого объекта. Однако такой подход имеет существенный недостаток, так как модель формируется заранее и является цельной. Поэтому, в случае воспроизведения объекта сложной формы, трехмерная модель будет иметь множество деталей, необходимых только для просчета непосредственного взаимодействия манипулятора с самим объектом, а в случае присутствия большого количества сложных объектов на сцене существенно увеличатся ресурсные затраты.

В связи с этим предлагается осуществлять реконструкцию целевого объекта с помощью геометрических примитивов на основе подготовленного шаблона воспроизведения. Предлагаемое решение имеет следующие достоинства: сокращение количества требуемой памяти для хранения моделей (так как хранится лишь описание их структуры); возможность в режиме реального времени варьировать степень детализации реконструкции объекта в зависимости от требований к системе. Например, при просчете общих траекторий движения манипулятора не требуется точное (детализированное) представление об окружающих объектах. Однако на этапе взаимодействия с целевым объектом более точные детали могут существенно повлиять на построение алгоритма взаимодействия с объектом. Еще одним преимуществом является возможность соотнесения точечных деталей трехмерной модели объекта (кнопка, переключатель, разъем) с их функциональным назначением, что позволяет реализовывать боле прогрессивные алгоритмы взаимодействия с объектами.

2.5. Объект-препятствие

Также следует учитывать вероятность возникновения объектов на сцене, отсутствующих в обучающей выборке, вследствие чего не распознанных нейронной сетью. При штатной работе подобные объекты не представляют интерес и не учитываются системой. Однако в случае, когда подобный объект пересекается с траекторией движения манипулятора или визуально перекрывает целевые объекты, он классифицируется как объект-препятствие и требует учета при построении трёхмерной карты и просчете траектории движения манипулятора. В связи с этим возникает дополнительная задача обнаружения и определения формы подобных объектов.

Так как распознавание объектов-препятствий изначально не предусмотрено системой, обнаружение возможно только по косвенным признакам. Таковые признаки могут быть обнаружены в двух случаях: 1) когда объект-препятствие частично перекрывает целевой объект (вследствие чего объект будет распознан, но с меньшим процентом идентификации нейронной сети); 2) когда объект-препятствие полностью перекрывает целевой объект, где он реконструирован на трехмерной карте.

В независимости от косвенного признака, реконструкция объекта-препятствия происходит на основе остаточного слоя (слой без целевых объектов). Представленный слой получается после применения операции симметрической разности между слоями карта глубины и сегментированные объекты. Область возникновения косвенного признака сопоставляется с остаточным слоем, в результате чего рассчитывается приблизительный контур объекта-препятствия, который дополнительно обрабатывается алгоритмом Min-Cut. Описанный принцип кратко продемонстрирован на рис. 4, где синим контуром выделена область возникновения косвенного признака, позволяющая распространить маску сегментации на объект-препятствия.

 

Рис. 4. Определение формы объекта-препятствия

Fig. 4. Determining the shape of the obstacle object

 

2.6. Опорные точки

Для дальнейшей реконструкции трехмерной карты необходимо определить пространственные характеристики (ориентация и габариты) целевых объектов. Важно учесть, что нейронные сети классифицируют и сегментируют объект как единое целое, «семантически» не различая его поверхности, в связи с чем необходимо разработать дополнительный метод обнаружения отличительных признаков объекта, однозначно определяющих пространственные характеристики целевого объекта.

Представленную задачу предлагается решить методом определения опорных точек. В качестве точек могут выступать различные области геометрического изменения поверхности объекта (грани, углы и прочие визуально выраженные места) (рис. 5).

 

Рис. 5. Опорные точки объекта

Fig. 5. Keypoint object

 

Модели глубокого обучения могут быть способными прогнозировать местоположение опорных точек. В такой постановке речь идет о решении задачи регрессионного анализа. В этом случае в качестве независимых входных параметров выступают пиксели изображения целевого объекта, а зависимыми входными параметрами являются координаты опорных точек объекта, для чего архитектуру нейронной сети необходимо модифицировать дополнительным выходным слоем «Маска опорных точек». Полученная архитектура представлена на рис. 6.

 

Рис. 6. Модифицированная архитектура сверточной нейронной сети

Fig. 6. Modified convolutional neural network architecture

 

Таким образом, метод расчета характеристик замещающей модели принимает на вход три слоя: карту сегментации объектов, карту признаков опорных точек и карту глубины. Для получения карты признаков опорных точек на вход нейронной сети подается слой RGB-изображения, выходными данными является массив значений

N×kf,                                                                                                                                          (1)

где N – количество обнаруженных нейронной сетью целевых объектов; k – список обнаруженных опорных точек каждого из объектов, представляющий собой карту вероятности присутствия на RGB-изображении.

Каждый элемент массива (1) состоит из трех подэлементов: x, y, p. Переменные x, y являются координатами опорной точки на RGB-изображении, элемент p Î (0,1] определяет вероятность существования опорной точки.

Для дальнейшего преобразования в трехмерную поверхность используется карта глубины, на которую проецируются данные из массива (1). В результате получается слой приблизительной оценки объектов, на основе которого уже можно приблизительно оценить пространственные и габаритные характеристики целевых объектов.

Однако следует учитывать, что полученная маска сегментации с помощью YOLACT EDGE может быть зашумлена и неизбежно возникновение несоответствия между RGB-изображением и картой глубины. Поэтому сегментация на полученном слое 2 дополнительно уточняется на основе метода геометрической постобработки карты глубины, для чего применяется кластеризация облака трехмерных точек с помощью алгоритма Min-Cut [14].

Представленный метод предназначен для сегментации объектов в облаке трехмерных точек, каждая отдельная точка рассматривается как вершина. При объединении соседних вершин ребрами образуется поверхность объекта. Учитывая некоторые вершины как приоритеты переднего плана, метод вырезает объект переднего плана из облака трехмерных точек на основе результатов вычислений веса ребер. На вход Min-Cut подаются данные обнаруженных опорных точек массива (1) в качестве приоритета переднего плана, а также слой сегментированных объектов для ограничения области обработки в пределах целевого объекта. Для оценки веса ребер необходимо определить два параметра уравнения: стоимость сглаживания ребер и фоновый штраф P

C=elσ2,                                                                                                                                          (2)

где l – длинна ребра (чем удаленнее вершины друг от друга, тем больше вероятность того, что они не будут соединены); σ – параметр, определяемый пользователем.

Фоновый штраф – это вес точек, связанных с точками переднего плана. При этом для совместной точки J(Jx, Jy, Jz) задается входной параметр r – максимальный горизонтальный (плоскость XY) радиус объектов переднего плана, тогда для соседней точки J (x, y, z) ее фоновый штраф равен

P=xJx2+yJy2r.                                                                                                             (3)

После применения метода Min-Cut на выходе получается слой итоговой оценки характеристик объектов, на основе которого уже можно проводить точную оценку пространственных и габаритных показателей обнаруженных объектов.

2.7. Метрика для оценки обнаружения опорных точек

Задача обнаружения опорных точек объекта является относительно новым направлением в области нейронных сетей, поэтому необходимо обозначить методики оценки результатов их работы. Для оценки обнаружения опорных точек используется метрика, называемая сходством опорных точек объекта (OKS). Метрика количественно оценивает близость предсказанного положения опорной тоски, относительно истинной (ожидаемой) позиции. Значение OKS приближается к 1 по мере приближения предсказанной опорной точки к истинному положению. Формула для оценки выглядит следующим образом:

OKS=expdi22s2ki2,                                                                                                                        (4)

где di – евклидово расстояние между предсказанным и истинным положением; s – масштаб объекта и ki – константа для конкретной опорной точки (мера стандартного отклонения конкретной опорной точки от ожидаемого местоположения).

Переменная s относится к масштабу объекта. Чем больше объект, тем менее строго должна оцениваться ошибка определения позиции опорной точки. Подобный метод обеспечивается тем, что, если объект большой, то допустимо предсказать опорную точку немного в стороне от истинной опорной точки. Однако, если объект маленький, небольшое отклонение от истины может привести к тому, что предсказанная опорная точка окажется вне объекта.

Особенность метрики OKS заключается в том, что для всех предсказанных опорных точек, находящихся на определенном радиальном расстоянии от истинного положения, оценка метрики будет равнозначна. На рис. 7 представлен наглядный пример оценки обнаружения опорной точки «кнопка».

 

Рис. 7. Пример оценки метрикой OKS

Fig. 7. An example of an assessment by the OKS metric

 

На рис. 7 зеленая точка отражает желаемое положение опорной точки (в качестве примера была выбрана кнопка), а каждая из трех синих точек – возможные примеры положения предсказанной опорной точки. Таким образом, на приведенном примере предсказанным опорным точкам соответствуют три концентрических круга.

2.8. Определение пространственных характеристик

Как отмечалось в главе 2.3, после проведения реконструкции трёхмерной формы объекта, необходимо также соотнести пространственное положение и габариты замещающей модели и целевого объекта.

Решение первой задачи основывается на обработке полученного с выхода нейронной сети слоя опорных точек, а также карты глубины. Пространственное положение обнаруженных опорных точек целевого объекта сопоставляется с аналогичными точками на полученной трехмерной модели, что позволяет определить ее ориентацию. В свою очередь, позиция вычисляется исходя из преобразования локальных координат карты глубины (так как положение считается относительно стереокамеры) в глобальные с помощью классического подхода на основе матриц перехода [15; 16].

Схема алгоритма решения второй задачи представлена на рис. 8. Алгоритм определения габаритов объекта заключается в следующем: на основе сегментированного контура целевого объекта определяется искомая область проведения расчетов на карте глубины, после чего рассматриваемая область сопоставляется с расположением опорных точек, что позволяет определить длину граней объекта, на основе которых вычисляется коэффициент масштабирования замещающей трехмерной модели.

 

Рис. 8. Схема алгоритма определения габаритов замещающей модели

Fig. 8. Schematic of the algorithm for determining the dimensions of the replacement model

 

Заключение

В представленной работе предложен подход к реконструкции трехмерной формы объектов, на основе системы технического зрения. Благодаря применению современных методов на основе свёрточных нейронных сетей и камеры стереозрения, система способна в режиме реального времени отслеживать пространственное положение целевых объектов зоны обметания манипулятора, вместе с тем реконструируя трёхмерную карту. Кроме того, на основе полученной телеметрической информации возможен просчет алгоритмов управления и взаимодействия исполнительного органа с объектами.

Полученная система позволяет расширить спектр возможного применения в космической области робототехнических систем, за счет высокого уровня функциональной адаптивности и робастности к изменениям условий эксплуатирования, благодаря чему может использоваться в составе мехатронного манипулятора при раскрытии солнечных панелей или КТК в качестве вспомогательной и/или экстренной системы. Наличие системы распознавания обеспечивает анализ окружающего пространства, тем самым предоставляя обратную связь процесса раскрытия элементов конструкции, обеспечивая возможность устранения неполадок в случае возникновения внештатных ситуаций. Например, в случае некорректного раскрытия какой-либо части конструкции, система способна подстроить алгоритм управления манипулятором, что позволит исправить возникшие неполадки и нивелировать возможные последствия.

×

Об авторах

Павел Евгеньевич Кошеле

Балтийский государственный технический университет «Военмех» имени Д. Ф. Устинова

Автор, ответственный за переписку.
Email: switchcompany@yandex.ru

магистрант, инженер

Россия, 190005, Санкт-Петербург, ул. 1-я Красноармейская, 1

Алексей Андреевич Юев

Балтийский государственный технический университет «Военмех» имени Д. Ф. Устинова

Email: betterthanjms@gmail.com

аспирант, младший научный сотрудник, инженер

Россия, 190005, Санкт-Петербург, ул. 1-я Красноармейская, 1

Юрий Вячеславович Коноплев

Балтийский государственный технический университет «Военмех» имени Д. Ф. Устинова

Email: sz11079812@mail.ru

аспирант, младший научный сотрудник, ассистент, инженер

Россия, 190005, Санкт-Петербург, ул. 1-я Красноармейская, 1

Александр Сергеевич Толмачев

Балтийский государственный технический университет «Военмех» имени Д. Ф. Устинова

Email: pifonepaf@gmail.com

аспирант, научный сотрудник

Россия, 190005, Санкт-Петербург, ул. 1-я Красноармейская, 1

Александр Игоревич Тишков

Балтийский государственный технический университет «Военмех» имени Д. Ф. Устинова

Email: tishko-sash@yandex.ru

аспирант, младший научный сотрудник, инженер

Россия, 190005, Санкт-Петербург, ул. 1-я Красноармейская, 1

Список литературы

  1. Белоножко П. П. Космическая робототехника: Опыт и перспективы развития // ВКС. 2018. № 1 (94). С. 84–93.
  2. Белоножко П. П. Космическая робототехника для монтажа и сервиса. Потенциальные задачи, концепции перспективных систем // ВКС. 2019. № 2 (99). С. 84–97.
  3. Алгоритмы управления движением схвата манипулятора / Н. Д. Беклемишев и др. // Препринты ИПМ им. М. В. Келдыша. 2017. № 47. 36 С.
  4. Буянов А. А., Власов А. И. Макеев С. С. Исследование нейросетевых алгоритмов, применяемых для распознавания образов // Молодые ученые – науке, технологиям и профобразованию для устойчивого развития проблемы и новые решения : 2-я Междунар. конф. СН. 2000. С. 22–25.
  5. Медведев М. В., Кирпичников А. П. Трехмерная реконструкция объектов в системе технического зрения мобильного робота // Вестник Казанского технологич. ун-та. 2014. № 15. С. 326–330.
  6. SplitFusion: Simultaneous tracking and mapping for non-rigid scenes / Li Y. et al. // IEEE International Conference on Intelligent Robots and Systems. 2020. P. 5128–5134.
  7. Zhou Z. et al. Learning-based object detection and localization for a mobile robot manipulator in SME production // Robot. Comput. Integr. Manuf. 2022. No. 73. P. 102229–102241.
  8. Shi S. et al. PV-RCNN: Point-voxel feature set abstraction for 3D object detection // Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. 2020. P. 10529–10538.
  9. Oh J.K., Lee S., Lee C.H. Stereo vision based automation for a bin-picking solution // Int. J. Control. Autom. Syst. 2012. No.10. P. 362–373.
  10. Клехо Д. Ю., Карелина Е. Б. Батыев Ю. П. Использование технологии сверточных нейронных сетей в сегментации объектов изображения // Вестник МГУЛ – Лесной вестник. 2021. Vol. 25, No. 1. P. 140–145.
  11. Макаренко А. А. Калайда В. Т. Методика локализации изображения лица для систем видеоконтроля на основе нейронной сети // Известия ТПУ. 2006. № 8 (309). С. 113–117.
  12. Bolya D. et al. YOLACT: Real-time instance segmentation // Proceedings of the IEEE International Conference on Computer Vision. 2019. P. 9157–9166.
  13. Liu H. et al. YolactEdge: Real-time Instance Segmentation on the Edge. 2021. P. 9579–9585.
  14. Golovinskiy A., Funkhouser T. Min-cut based segmentation of point clouds // 2009 IEEE 12th International Conference on Computer Vision Workshops, ICCV Workshops. 2009. P. 39–46.
  15. Luu T. H., Tran T. H. 3D vision for mobile robot manipulator on detecting and tracking target // ICCAS 2015 – 2015 15th International Conference on Control, Automation and Systems, Proceedings. 2015. P. 1560–1565.
  16. Хомченко В. Робототехнические системы. Омск : ОмГТУ, 2016. 195 c.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
2. Рис. 1. Схема предлагаемого метода реконструкции трёхмерной карты

Скачать (465KB)
3. Рис. 2. Пример образования пустых областей

Скачать (680KB)
4. Рис. 3. Пример прямой реконструкции объекта

5. Рис. 4. Определение формы объекта-препятствия

Скачать (484KB)
6. Рис. 5. Опорные точки объекта

Скачать (298KB)
7. Рис. 6. Модифицированная архитектура сверточной нейронной сети

Скачать (90KB)
8. Рис. 7. Пример оценки метрикой OKS

9. Рис. 8. Схема алгоритма определения габаритов замещающей модели

Скачать (493KB)

© Кошеле П.Е., Юев А.А., Коноплев Ю.В., Толмачев А.С., Тишков А.И., 2022

Creative Commons License
Эта статья доступна по лицензии Creative Commons Attribution 4.0 International License.

Данный сайт использует cookie-файлы

Продолжая использовать наш сайт, вы даете согласие на обработку файлов cookie, которые обеспечивают правильную работу сайта.

О куки-файлах