Remote sensing for reconstruction of natural landscape scenes
- Авторлар: Tkacheva A.A.1
-
Мекемелер:
- Siberian State Aerospace University named after academician M. F. Reshetnev
- Шығарылым: Том 15, № 5 (2014)
- Беттер: 136-144
- Бөлім: Articles
- URL: https://journals.eco-vector.com/2712-8970/article/view/504113
- ID: 504113
Дәйексөз келтіру
Толық мәтін
Аннотация
In this paper we are going to build the three-dimensional model of the natural scene based on laser scanning data. The complex requirements of plant modeling applications are nowadays supported by high end GIS and remote sensing data gathering methods such as RADAR, LiDAR DTM and DSM data, high resolution satellite data, stereo camera images etc., as well as automated draping technologies for 3D objects. These technologies allow the creation of synthetic and photorealistic 3D landscape visualizations and simulations to display planning alternatives, scenarios and depict clearly their impact on landscape scenery. It is a task that affects both computer graphics and computer vision. The reconstruction of landscape scenes based on the original point clouds from laser scanners is divided into the following subtasks: association of input data into a single coordinate system, LIDAR data classification for reconstruction natural landscape scenes, 3d landscape modeling (the surface of the Еarth), and plant modeling (trees and shrubs). We pose the problem of classification of the original point cloud with LIDAR into three categories: trees and shrubs (woodland), the surface of the ground and other objects (anthropological objects). Highlight one spatial attribute E (x), according to which we will refer to the terms of this or that category. In this work, we present an adaptation of L-systems and Space Colonization algorithm to the Python language, a popular and powerful open-license dynamic language. Visualization of the script is executed by standard tools of the graphical editor Blender. We show that the use of dynamic language properties makes it possible to build complex models.
Толық мәтін
Введение. Системы дистанционного зондирования Земли (ДЗЗ) находят эффективное применение во многих отраслях народного хозяйства: гидрометеорологии, контроле окружающей среды, геологии, сельском и лесном хозяйствах, военной разведке. Однако в исходном виде изображения, формируемые с помощью различных систем ДЗЗ, не могут быть использованы по назначению, поскольку имеют значительные геометрические искажения по отношению к объектам наблюдаемой сцены. Методы получения данных дистанционного зондирования Земли. На данный момент наиболее популярные методы получения данных для моделирования трехмерных сцен в геоинформационных системах (ГИС) - это лазерное сканирование объектов (LIDAR-данные) и зондирование Земли с космоса (снимки с искусственных спутников Земли). Таким образом, данные ДЗЗ - это LIDAR-данные, космические снимки Земли и аэрофотоснимки. Аэрокосмические снимки представляются в виде растровых изображений, поэтому проблематика обработки и интерпретация таких данных тесно связана с цифровой обработкой изображений. Любая система ДЗЗ предусматривает совместное функционирование двух сегментов: орбитального и наземного, общая схема представлена на рис. 1. Космический (орбитальный) сегмент - это собственно спутник с системой управления пространственного ориентирования, получения информации и передачи данных. Наземный сегмент - в данном случае это центр приема данных дистанционного зондирования Земли [1]. Упрощенную схему системы приема и обработки данных дистанционного зондирования Земли можно увидеть на рис. 2. Наземный сегмент обеспечивает управление полетом космических спутников, регулирование режимов работы аппаратуры передачи данных, прием результатов ДЗЗ, их хранение, обработку, распространение и сбор заявок от потребителей. Несмотря на наличие большого количества преимуществ в использовании данных с космических снимков, существует и ряд ограничений: экономические затраты (необходимость в покупке снимков, архивные снимки в таком случае более доступны), приобретение специализированного программного обеспечения для обработки снимков и их интеграция с ГИС. Программные продукты, использующиеся при обработке и анализе материалов дистанционного зондирования, разделяются на специальные и универсальные. Коммерческие пакеты программ, как правило, имеют универсальное ядро и настраиваемые на конкретные задачи модули. Специальные программные продукты привязаны к решению узкого класса задач и зачастую впоследствии за их счет наращивается количество модулей, связанных с универсальным ядром коммерческих программных пакетов. Для обработки данных дистанционного зондирования Земли могут использоваться любые программные средства, обеспечивающие достоверность и качество получаемых результатов. Обязательным требованием при выборе программного обеспечения является возможность работать с данными дистанционного зондирования Земли, имеющими географическую привязку. Рис. 1. Структура системы дистанционного зондирования Земли Космический сегмент Средства приема (наземный сегмент) Прием и первичная оораоотка космоснимков Технические средства оораоотки Программные средства обработки Средства высококачественной крупноформатной цветной печати Подготовка касжнущуков. к пспольмізаник и создание информационных продуктов Цветная печать информационных продуктов Передача использование Архив Архив цифровых карт Цифровые информационные продукты Бумажные информационные про Д> КІЫ Рис. 2. Общая схема системы приема и обработки данных ДЗЗ Лазерное сканирование Земли. Лидары. Рассмотрим еще один вид дистанционного зондирования Земли - лидар (LIDAR - Light Identification, Detection and Ranging). Это технология получения и обработки информации дистанционного зондирования с помощью активных оптических систем (лазеров), использующих в том числе явления отражения света от поверхности Земли с проведением высокоточных измерений X, Y, Z координат. Лидар изначально использовался в приложениях воздушной лазерной съемки, он является с экономической точки зрения прекрасной альтернативой традиционной съемке с использованием фотограмметрической обработки данных. Данные лидарной съемки представляют собой набор данных, содержащих облака точек, которые могут управляться, отображаться, анализироваться и совместно использоваться с помощью ГИС. Характерной особенностью скановых изображений, формируемых в процессе полета спутника, является изменение по сложным законам степени перекрытия сканов, которая зависит от многих факторов: параметров орбиты и углов ориентации спутника; режимов работы сканера (маневры спутника и программное отклонение поля зрения датчика); рельефа местности и др. Действие этих факторов приводит к нарушению структуры изображения в виде геометрических разрывов объектов наблюдаемой сцены вдоль линии соприкасания сканов. В связи с этим остро стоит проблема получения из отдельных перекрывающихся сканов единого непрерывного изображения в заданной картографической проекции. В данной статье в качестве исходных данных рассматриваются LIDAR-данные. Основными преимуществами использования облаков точек является относительная дешевизна и оперативность их получения, а также высокая степень детализации. Лазерная съемка с наземных источников TLIDAR (Terrestrial LIDAR) имеет несколько недостатков, которых лишена LIDAR-съемка с воздуха. Это прежде всего сбор информации в «поле», требующий огромных временных и экономических затрат, а также труднодоступность некоторых участков территории. Рассмотрим основной принцип работы воздушного лидара, схематично изображенный на рис. 3. Излучатель - полупроводниковый лазер ближнего инфракрасного диапазона, работающий в импульсном режиме. Для каждого излученного импульса регистрируется время, затраченное на распространение от источника до объекта, вызвавшего отражение, и обратно к приемнику - наклонная дальность. Также для каждого излученного импульса регистрируется текущее значение угла отклонения сканирующего элемента (зеркала, призмы, оптического клина). Величина этого угла позволяет однозначно определить направление распространения зондирующего луча (линию Ed(xi) (1) Eg(X) = (2) визирования) в системе координат лидара, которая «жестко» связана со строительными осями сканерного блока лидара. В свою очередь, положение и ориентация системы координат лидара в геодезической (или географической) системе координат определяются благодаря присутствию на борту в составе лидара носителя навигационного комплекса. Он обеспечивает непрерывное определение трех пространственных координат положения сканерного блока X, Y, Z и трех углов его ориентации ю, ф, к. Такой набор шести параметров пространственного положения и угловой ориентации в фотограмметрии называется элементами внешнего ориентирования. Работа бортового навигационного комплекса основана на взаимодействии приемника спутниковой системы GPS и инерциальной системы [2]. Рис. 3. Принцип работы воздушного лидара Принципы работы с LIDAR-данными. Перейдем к рассмотрению принципов работы с LIDAR- данными. Получение трехмерных модельных сцен на основе данных лазерного сканирования - задача, решение которой затрагивает как области компьютерной графики, так и компьютерного зрения. Задача реконструкции ландшафтных сцен на основе исходного облака точек с лазерных сканеров разбивается на следующие подзадачи: - камеральная обработка - объединение исходных данных в единую систему координат; - классификация точек на точки земли, леса (точки лиственной массы, точки стволов деревьев) и точки антропологических объектов; - восстановление ландшафта - поверхности земли; - моделирование лиственной массы - деревьев и кустарников. Для получения достаточного количества информации лазеру необходимо дважды просканировать один и тот же участок под различными углами, соответственно, возникает задача объединения полученных двух облаков точек в единое облако с новой системой координат. Для решения данной задачи использовался существующий инструментарий Envi LIDAR, демоверсия которого бесплатно предоставляется разработчиками по запросу и позволяет пользователю также извлекать высотную информацию из облака точек данных лазерного сканирования. При предварительной обработке полученного облака точек в единой системе координат будем учитывать следующие характеристики: высота каждой точки в облаке, интенсивность (плотность точек) и геометрическая информация фрагмента облака. Отметим, при нескольких проходах под различными углами исходные облака точек могут содержать как точки земли, так и самого дерева, при плотном же лесном покрове лазер «не достает» до земли и все точки относятся к кроне и при наличии антропогенных объектов часть точек также не относится к лиственной массе (рис. 4). Рассмотрим классификацию исходного облака точек. Поставим задачу классификации исходного облака точек с LIDAR на три категории: деревья и кустарники (лесная масса), поверхность земли и иные объекты (антропологические объекты). Существующие алгоритмы классификации в большинстве своем основаны на использование таких признаков, как высота точек, геометрические характеристики и информация с текстурных карт [3-6]. Выделим один пространственный признак E(x), по которому будем относить точки к той или иной категории. Наложим двухмерную сетку G (20» 20 м) на исходное облако точек (рис. 5), в каждой клетке c располагается некоторое множество пространственных точек Р(с), которое в свою очередь разобьём на множество горизонтальных слоев L(c). В таком случае фрагмент поверхности земли lground из всего множества L(c) для всех с должен иметь наименьшую высоту в данной клетке с двухмерной сетки G, так как предполагаем, что точки ландшафта земли - это точки с наименьшей высотой. Тогда все остальные фрагменты ltree отнесем к лиственной массе. Однако не всегда фрагменты с наименьшей высотой относятся к точкам поверхности земли, возможно лазер «не пробил» плотную лиственную массу и не «дошел» до нее. Введем величину Ed, где каждому фрагменту L(c) сопоставим: а, Xl lground , Xl ^ Xzero , ^ X = ltree , X = Xzero , 0, где Xl - обозначение фрагмента l; Xzero - фрагмент с наименьшей высотой среди всего множества L фрагментов слоя L(c) для каждой клетки с. Далее, для того чтобы классифицировать объекты антропологической природы, введем величину Eg: e(l) Y Х max(1 - - >0Х X = ^building , • ,e(l) n , Y Х min^- ,1), X = lground , 0 X = ltree , где с - параметр, подобранный эмпирически, равен 6 м [7]; e(l) - высота между соседними слоями клетки с. Рис. 4. Процесс сканирования ландшафтных сцен Z G Y Рис. 5. Разбиение исходного облака точек на множество слоев L (4) D D„ (5) Dran Затем необходимо учесть соседство пары клеток с и с2 во всей сетке G, подсчитав величину Es (xl1, xi2), на основе этих пар элементов всего множества слоев L строим случайное марковское поле: E(х) = Х(Ed(X) + Eg(xi)) + ц X Es(xh,xh), (3) IgL (l^^cN где N - множество всех пар (xl1, xl2) и хцфх12. Задача минимизация решалась методом разреза графов, итерационное расширение областей, относящихся к различным категориям, происходило по критерию расстояния между различными фрагментами, небольшие области не учитывались и отбрасывались. Предполагалось, что это ошибочные точки, появившиеся в исходном облаке данных после работы алгоритма совмещения нескольких облаков точек в единую систему координат. Итогом работы является три подмножества облаков точек земли, растительности и антропогенных объектов. Далее подмножество точек растительной массы необходимо разбить на отдельные объекты - деревья. Для этого из всего подмножества слоев точек растительности выбирается слой с наибольшим количеством точек. Этот слой необходимо сегментировать на отдельные области и найти центр масс данных областей, координата Z которого является координатой корня дерева, координаты X и Y - координаты точек земли для данной клетки с сетки G. Для отдельно стоящих деревьев данная задача решается однозначно и не вызывает сложностей, необходимо лишь установить максимальный порог, по которому и будет определяться привязка точки к определенному сегменту точек (рис. 6). Однако при перекрытии крон деревьев разбиение множества точек выбранного слоя L - нетривиальная задача (рис. 7). Исходное облако точек разбивается на кластеры по методу ближайшего соседа с использованием евклидовой метрики. Для того чтобы определить новую точку к кластеру, вычислется статистическая величина R (формула (4)) - сравнивается усредненное расстояние между точками D с величиной ожидаемого расстояния Dran: R = где D - евклидово расстояние между соседними точками, деленное на общее количество точек N. По статистике величина R принимает значения близкие к 2,17. Величина Dran вычисляется по формуле (5): 1 2J N где N/A - плотность точек некоторой окрестности A. На рис. 8 представлено облако точек для одного объекта. После того как получены отдельные облака точек для каждого объекта, происходит его визуализация в трехмерном пространстве. Визуализация скрипта выполнена средствами графического редактора Blender - открытое программное обеспечение. Основная геометрия дерева: процесс ветвления осуществлялся по алгоритму Space Colonization [8-10], стохастические L-системы использовались на конечных итерациях (дорисовка мелких ветвей) перед наложением текстур на объект [11-14]. На рис. 9 представлено окно редактирования моделирования объекта в редакторе Blender. Все представленные ниже результаты выполнены с помощью динамического языка программирования Python (рис. 8-10). Далее на полученную трехмерную модель накладываются текстуры коры и листьев. Модель ландшафтной сцены изображена на рис. 10. Заключение. Построенные в соответствии с изложенным методом трехмерные ландшафтные сцены являются реалистичными и не требуют больших вычислительных затрат. Рис. 6. Слой с максимальным количеством точек для отдельно стоящего дерева Рис. 7. Слой с максимальным количеством точек для отдельно соседствующих деревьев Рис. 8. Исходное облако точек на основе данных лазерного сканирования: а, б, в - данные, полученные с наземного лазерного сканера под соответствующими углами (проекции) Р1, Р2, Р3; г - полученное облако точек в единой системе координат Рис. 9. Моделирование дерева в Blender с использованием Python API а б Рис. 10. Моделирование ландшафтных сцен: а - трехмерное облако точек; б - полученная модель ландшафта Таким образом, мы рассмотрели виды дистанционного зондирования Земли, в качестве исходных данных использовались данные лидарной съемки, приведен алгоритм классификации исходного облака точек на три категории: лиственная масса, точки поверхности ландшафта и антропогенные объекты. Далее полученное облако точек, в свою очередь, разделялось на подмножества точек отдельного дерева и эти данные использовались для детального моделирования основной геометрии дерева с использованием комбинированного алгоритма Space Colonization и Z-систем.×
Авторлар туралы
Anastasia Tkacheva
Siberian State Aerospace University named after academician M. F. Reshetnev
Email: tkacheva@mail .sibsau.ru
postgraduate student of Computer Science and Engineering department 31, Krasnoyarsky Rabochy Av., Krasnoyarsk, 660014, Russian Federation
Әдебиет тізімі
- Токарева О. С. Обработка и интерпретация данных дистанционного зондирования Земли : учеб. пособие. Томск : Изд-во Томского политехн. ун-та, 2010. 148 с.
- Медведев Е. М., Данилин И. М., Мельников С. Р. Лазерная локация Земли и леса : учеб. пособие. М. : Геолидар, Геокосмос ; Красноярск : Ин-т леса им. В. Н. Сукачева СО РАН, 2007. 230 с.
- Verma V., Kumar R., Hsu S. 3D building detection and modeling from aerial lidar data // CVPR. 2006. P. 2213-2220.
- Lafarge F., Mallet C. Building large urban environments from unstructured point data // ICCV. 2011. P. 1068-1075.
- Toshev A., Mordohai P., Taskar B. Detecting and parsing architecture at city scale from range data // CVPR. 2010. P. 398-405.
- Zhou Q.-Y., Neumann U. A streaming framework for seamless building reconstruction from large-scale aerial lidar data // CVPR. 2009. P. 2759-2766.
- Texture-lobes for tree modelling / Y. Livny [et al.] // ACM SIGGRAPH. 2011. Article 53. P. 1-10.
- Favorskaya M., Tkacheva A. Rendering of wind effects in 3D landscape scenes // Procedia Computer Scienes. 2013. Vol. 22. P. 1229-1238.
- Simulating crowds based on a space colonization algorithm / A. de Lima Bicho [et al.] // Computers and Graphics. 2012. № 36. P. 70-79.
- Runions A., Lane P. Modeling trees with a space colonization algorithm // Eurographics Workshop on Natural Phenomena. 2007. P. 63-70.
- Ткачева А. А. Применение алгоритма Space Colonization при трехмерном моделировании сложных природных объектов // Вестник СибГАУ. 2014. Вып. 1 (53). C. 85-91.
- Prusinkiewicz P., Lindenmayer A. The algorithmic beauty of plants. NewYork : Springer-Verlag, 1990. 256 p.
- Interactive procedural modeling of trees on a tablet / S. Longay [et al.] // Proceedings of the Eurographics Symposium on Sketch-Based Interfaces and Modeling. 2012. P. 107-120.
- L-Py: an L-System simulation framework for modeling plant development based on a dynamic language / F. Boudon [et al.] // Frontiers in technical advances in plant science. 2012. P. 1-20.
Қосымша файлдар
![](/img/style/loading.gif)