Architecture and filtering features of neural network system for location identification from a photograph

Full Text

Введение

Распознавание местоположения по фотографиям стало важной задачей компьютерного зрения и машинного обучения, актуальной в различных сферах ‒ от туристических приложений до автоматизированных систем навигации ‒ и реализуемой посредством многих технологий и подходов. Одним из наиболее простых решений являются системы, использующие метаданные изображений, например, EXIF-данные. Они включают информацию о местоположении, если устройство, сделавшее фотографию, поддерживает работу с глобальными навигационными системами, такими как ГЛОНАСС и GPS. Современные социальные сети, например, используют эти метаданные для геолокации фотографий [1], позволяя пользователям отмечать места на своих снимках. Однако этот подход имеет свои ограничения в силу зависимости от глобальных навигационных систем на устройстве и может быть неточным, если данные были изменены или отсутствуют.

С развитием технологий глубокого обучения многие исследователи обратились для распознавания местоположения к нейросетям. Одним из ярких примеров является модель Google Lens, которая использует сверточные нейронные сети (Convolutional Neural Networks ‒ CNN) для анализа изображений и определения их местоположения на основе визуальных признаков. Google Lens не только распознает места, но и предоставляет пользователям информацию о них, что делает его мощным инструментом для туристов и исследователей. В последние годы также наблюдается рост интереса к генеративным моделям (Generative Adversarial Networks ‒ GAN). Они могут использоваться для улучшения качества данных и создания синтетических изображений, что позволяет расширять наборы данных для обучения. Например, компании, занимающиеся разработкой автономных транспортных средств, применяют GAN для симуляции различных дорожных условий, что помогает создавать более универсальные системы распознавания. Современные решения часто комбинируют различные подходы, используя как метаданные, так и глубокое обучение. Например, приложение Snapchat использует комбинацию GPS-данных и технологий распознавания изображения для создания фильтров и эффектов, основанных на местоположении пользователя. Это позволяет не только улучшить взаимодействие с пользователями, но и предоставить им уникальный контент, связанный с конкретным местом. Другим направлением является использование картографических данных для улучшения точности распознавания местоположения. Такие системы, как Apple Maps, анализируют изображения в контексте карт, сопоставляя объекты на фото с известными ориентирами (landmark-объектами). Это позволяет более точно определять местоположение, особенно в городских условиях, где архитектура и инфраструктура могут значительно варьироваться. Несмотря на достижения в области распознавания местоположения, существует ряд ограничений и аспектов, которые требуют внимания. Одной из основных проблем является качество и разнообразие обучающих данных. Наборы данных часто могут быть несбалансированными, что приводит к снижению производительности моделей на менее представленном классе изображений. Например, нейросеть, обученная на изображениях одного города, может не работать так же эффективно в другом городе с иными архитектурой и ландшафтом.

Контекстуальные факторы также могут затруднить распознавание местоположения. Погодные условия и временные изменения (ремонт или строительство) могут значительно влиять на внешний вид объектов на фотографиях. Это делает систему уязвимой к ошибкам, особенно в динамичной городской среде. Кроме того, использование изображений для распознавания местоположения затрагивает вопросы этики и конфиденциальности. Системы, использующие изображения людей или частной собственности, могут нарушать права на личную жизнь, что требует разработки этических норм и стандартов. Например, такие компании, как Clearview AI, столкнулись с критикой из-за использования лицензионных изображений без согласия пользователей, что ведет к правовым проблемам. Наконец, выбор модели и ее параметров также представляет собой сложную задачу. Сложные модели требуют значительных вычислительных ресурсов для обучения и могут быть неэффективны для применения в реальном времени. Это ограничивает использование некоторых высокоэффективных решений в мобильных приложениях и на устройствах с ограниченными ресурсами.

Архитектура используемых нейросетей

Нейросетевые технологии, особенно глубокое обучение, стали основой для современных систем компьютерного зрения, обеспечивая автоматическое извлечение признаков из изображений. Одной из самых эффективных архитектур для обнаружения объектов является YOLO (You Only Look Once), которая была разработана с целью объединить задачи локализации и классификации в одном процессе. В отличие от традиционных методов, которые требуют нескольких этапов (генерация регионов и последующая классификация) [2], YOLO использует одноэтапный подход. Структурно она работает по следующему принципу: изображение разбивается на сетку, и каждая ячейка отвечает за предсказание объектов, центральные точки которых в нее попадают [3]. Такой механизм позволяет модели эффективно обрабатывать изображения, минимизируя количество вычислительных ресурсов, необходимых для выполнения задач обнаружения объектов. YOLO использует регрессионный подход к предсказанию границ объектов и уверенности в их наличии, что делает его более быстрым и эффективным по сравнению с традиционными методами. Важным вкладом в развитие YOLO стала реализация модели от компании Ultralytics, известная как YOLOv5. Эта версия модели отличается высокой производительностью и простотой использования. Ultralytics предоставляет удобный интерфейс и документацию, что делает обучение и развертывание моделей доступным для разработчиков, даже без глубоких знаний в области машинного обучения. Одним из основных преимуществ Ultralytics является поддержка различных форматов данных, что позволяет использовать модель с разными наборами данных и аннотациями.

В контексте нашей системы, использующей Ultralytics и YOLO в качестве фильтров для анализа изображений, было решено адаптировать гиперпараметры и архитектуру модели под специфические задачи. Была разработана система, использующая методы компьютерного зрения для анализа местоположений на основе изображений, собранных из Google Maps и Street View. Она включает в себя несколько уровней обработки и анализа данных, что позволяет эффективно локализовать изображения, определяя их географические координаты.

Описание системы

На первом этапе разработки системы была создана обширная база данных, состоящая из более 1000 фотографий, которые были собраны с помощью Google Maps и Street View. Эти изображения были сопоставлены с их точными географическими координатами, что создало основу для дальнейшего анализа. На основании полученной базы данных было создано четыре фильтра: фильтр типа ландшафта, фильтр подтипа ландшафта, фильтр типа дороги и почвы, на которой проводилась съемка, и языковой фильтр. Каждый из них состоит из одной или более нейросетей, натренированных на вышеуказанной базе данных для распознавания конкретных объектов или их отсутствия. Так, например, языковой фильтр, реализованный в первую очередь, основан на использовании программного обеспечения (ПО) с открытым исходным кодом PaddleOCR, также известного как PaddlePaddle. Данное ПО представляет собой набор нейросетей, натренированных для распознавания и классификации различных языков на фотографиях. С использованием PaddleOCR при наличии на фотографии определенных объектов и характеристик мы сможем категоризировать изображение и существенно сузить зону поисков. Принципы обработки изображений основываются на нескольких ключевых этапах. Сначала проводится предварительная обработка, включающая коррекцию цветового баланса и изменение размеров. Эти действия необходимы для улучшения качества входных данных и повышения их пригодности для последующего анализа. Аналогично набору фотографий, используемому в системе [4], все фотографии были приведены к одинаковому формату 250x250 px. Затем контрастность изображений была увеличена на 20 %, что в среднем повышает эффективность анализа изображений [3]. После предварительной обработки изображения передаются на этап анализа, где используются нейросети для распознавания объектов и извлечения признаков. На этом этапе фильтры применяются для выявления текстовой информации и определения других параметров: тип дороги, на которой был сделан снимок, тип окружающего ландшафта, надписи на различных языках. Основной задачей является извлечение релевантной информации, которая затем используется для определения местоположения. Важно отметить, что вся система построена с учетом необходимости обрабатывать большие объемы данных в реальном времени.

Важным этапом работы является применение извлеченной информации для перекрестного анализа признаков с целью сужения зоны возможного местоположения на карте мира. Так, при обнаружении признаков «Степь» и «Красная дорога» система должна прийти к выводу о том, что данная фотография была сделана в Австралии. Данный эффект достигается следующим образом: карта мира была разделена на зоны, соответствующие странам и их географическому положению. В начале анализа фотографии каждой зоне назначается числовой коэффициент, соответствующий текущей вероятности того, что данный снимок был сделан в данной области (на старте работы системы он равен 1 для всех зон). Затем при прохождении через фильтр ${Ф}_i$ текущая вероятность для данной зоны $Z_j$ умножается на коэффициент результата фильтра ${Ф}_i$ для конкретной зоны $Z_j$: $f_{ij}$. Тогда вероятность ${{\rm P}}_j$ того, что фотография была сделана в области $Z_j$, вычисляется по следующей формуле (1):

${{\rm P}}_j=\prod _{i=1}^n{f}_{ij}$ (1)

Таким образом, если фильтр ${Ф}_k$ определяет, что только некоторые зоны $Z_p$ и $Z_m$ могут содержать признаки, соответствующие обнаруженным на фотографии, то он назначает им высокие коэффициенты $f_{pk}$ и $f_{mk}$, а остальным ‒ малые. Данная формула позволяет использовать пересечение множеств зон, соответствующих конкретным результатам работы фильтров, для вероятностного анализа с достаточно высокой эффективностью.

Природа фильтров

Языковой фильтр включал в себя модуль уже созданной сверточной нейросети PaddleOCR, обученной на базе данных ряда языков: русского, английского, арабского, китайского, французского, немецкого, японского, корейского, испанского. Данный набор, хотя и несовершенен в своем покрытии основных популярных языков мира, пригоден для определения местоположения: помимо английского и, возможно, испанского языков, каждый из вышеперечисленных встречается преимущественно в локализованной области мира, что позволяет при обнаружении их на фотографии сузить возможное местоположение до пределов одной или нескольких стран. Английский язык при обнаружении может с высокой вероятностью указывать либо на страну, где он является государственным, либо на культурный туристический центр. На текущем этапе работы было решено использовать упрощенную модель и считать, что наличие надписи на английском языке означает, что фотография была сделана в США, Англии или Австралии, а наличие испанского языка – в Испании соответственно. В результате оценки точности системы было определено, что данный фильтр успешно идентифицирует различные надписи на указанных языках с точностью до 95 %, и успешно определяет конкретные языки с точностью 94 %. При этом само наличие надписи на конкретном языке позволяет с высокой точностью сузить круг поиска до конкретной страны. Большинству пар стран и языков (Франция и французский, Россия и русский) были присвоены коэффициенты z = 0.99 при обнаружении на фото, английскому и испанскому ‒ коэффициенты z = 0.6 в их соответствующих территориях, что отражает их распространенность в других странах мира (табл. 1).

 

Таблица 1. Назначенные веса для значений различных зон языкового фильтра

Table 1. Weights assigned to the different zones of the language filter

Признак (обнаруженный язык)	Коэффициент фильтра
Английский	0,6
Испанский	0,6
Русский	0,99
Французский	0,99
Арабский	0,99
Китайский	0,99
Немецкий	0,99
Японский	0,99
Корейский	0,99

 

При работе над фильтром распознавания типа ландшафта было решено применить общий внешний вид пейзажа как основной признак: на фотографии с соответствующим пейзажем при помощи меток выделялись области леса и степи. Выбор именно этих двух подтипов пейзажа основан на предположении, что именно они являются основными специфическими для России. В будущем для повышения эффективности фильтра планируется расширить набор категорий путем включения пустынь, морских побережий, гор.

Поскольку внутри одной категории пейзажа внешний вид может крайне отличаться, эффективность данного фильтра оказалась низкой. В процессе его использования выявлена одна интересная особенность использованной сети YOLO: в силу специфики ее архитектуры при повторном использовании системы на одной и той же фотографии можно получить различные результаты распознавания. Предположительно это вызвано элементом случайности, появляющимся в системе в процессе разбиения изображения на сетку, что делает результат зависящим от некоторого случайного шанса. Решением данной проблемы стало последовательное применение нейросети на одной и той же фотографии для устранения статистической погрешности, где конечный прогноз типа ландшафта на фотографии делался на основе наиболее предсказанного типа в десяти последовательных прогнозах. Данная модель анализа позволила существенно повысить уровень точности предсказания: с 78 до 92,5 %.

Согласно собранной статистике, около 90 % фотографий, на которых представлен лес, сделаны в Европе и Южной Америке, в то время как более 90 % фотографий степи ‒ в США, Мексике, Австралии и нескольких странах Азии (России, Китае и Казахстане). С высокой степенью точности можно считать: если фильтр определил окружающий ландшафт как «лес», целесообразно сузить зону поиска до стран Европы и Южной Америки, а при наличии признака «степь» ‒ оставить в зоне поиска только США, Мексику, Австралию, азиатскую часть России, Казахстан, Китай и Монголию. Было решено, что соответствующие коэффициенты z будут распределены: 0,85 для признака «лес» и 0,9 для признака «степь» (табл. 2).

 

Таблица 2. Назначенные веса для значений различных зон фильтра ландшафта

Table 2. Weights assigned to the different zones of the landscape filter

Признак (обнаруженный ландшафт)	Коэффициент фильтра
Лес	0,5
Степь	0,7

 

С другой стороны, фильтр анализа подвидов ландшафта работает по аналогичному принципу, но натренирован на распознавание уже конкретных объектов, различающих типы ландшафта между собой. На данном этапе было решено реализовать только подтипы лесного ландшафта, так как он является самым характерным конкретно для России. Было решено выделить наиболее распространенные типы леса: умеренного пояса, тропический и хвойный [5]. Соответственно, объектами поиска стали хвойные и лиственные деревья, а также тропическая растительность. По результатам тестирования натренированная нейросеть, хотя и могла различать типы деревьев, делала это с точностью только 65 %: предположительно потому, что отдельные деревья на настоящих фотографиях леса плохо различимы даже человеческим глазом, так как они легко сливаются с окружением. Более того, цвет зелени на деревьях (листва и хвоя) различается не только в зависимости от вида и рода деревьев, но и от освещения, что делает данный признак особенно чувствительным к малейшим отклонениям от нормы. Преимуществом данного признака над предыдущим рассмотренным является его намного более точное сужение круга поисков. Так, гарантированно нельзя увидеть хвойный лес в тропиках и на экваторе, в Бразилии, Африке или Австралии, но при этом тропический лес отсутствует в Норвегии или Канаде. В частности, после статистического анализа фотографий типов леса по всему миру было установлено, что умеренный лес встречался в 80 % случаев исключительно в Европе, тропический ‒ в Южной Америке, Новой Зеландии, Панаме, а хвойный ‒ только в Канаде, России и Норвегии. Соответственно, веса данных критериев (коррелирующие с оценкой степени влияния фильтра на сужение зоны поиска) будут выше, чем влияние фильтра типа ландшафта, что было отражено в значениях коэффициентов в табл. 3.

 

Таблица 3. Назначенные веса для значений различных зон фильтра видов леса

Table 3. Weights assigned to the different zones of the forest types filter

Признак (обнаруженный тип леса)	Коэффициент фильтра
Умеренный	0,7
Тропический	0,9
Хвойный	0,7

 

В рамках работы над фильтром анализа видов дорог под ногами было решено применить схожий подход, как и в случае с фильтром для анализа ландшафта. Основным признаком для фильтра служила поверхность дороги, при этом выделялось несколько основных категорий: черный асфальт, серый асфальт, красная дорога, гравийные и грунтовые дороги. При помощи меток размечались фотографии, определялось, к какой категории относится каждая дорога, и эти данные использовались для тренировки модели. Очевидно, что каждый тип дорожного покрытия имеет свои уникальные цветовые и текстурные особенности, что может быть применено для более точного распознавания [6].

Черный асфальт чаще всего встречается в крупных городах и мегаполисах (Нью-Йорк, Лондон, Токио, Москва и др.) Он характерен для шоссе и длинных, требовательных к износоустойчивости маршрутов благодаря своей долговечности и способности выдерживать интенсивные нагрузки транспортных средств. Серый асфальт имеет широкое применение в пригородах и менее населенных районах, где дороги имеют меньшую интенсивность движения. Он распространен в ряде европейских стран (Германия и Франция), а также в Канаде и северных районах США. Серый цвет также может быть характерен для новых типов асфальтовых смесей, используемых для строительства и ремонта дорог, что обозначает современность инфраструктуры.

Красные дороги обычно встречаются в таких регионах, как Австралия и страны Южной Америки (например, Бразилия и Аргентина), а также Швеция и Дания. Эти дороги могут быть асфальтированными или грунтовыми, окрашенными в красный или коричневый цвет, что часто связано с использованием определенных минералов и глин в составляющих материалах. Гравийные дороги широко распространены в сельских и горных районах, где менее развитая транспортная инфраструктура. Они часто встречаются в Канаде, России и Швеции, особенно в малонаселенных регионах и туристических зонах, где важна доступность природных ландшафтов. Гравийные дороги также характерны для стран с разреженной сетью дорог (Мексика и некоторые африканские государства). Грунтовые дороги являются неотъемлемой частью инфраструктуры развивающихся стран, таких как Индия, Непал и страны Африки. Они могут быть основными маршрутами для сельских жителей и часто используются для доступа к отдаленным регионам, где другие виды дорожного покрытия нерентабельны. Грунтовые дороги также встречаются в некоторых удаленных районах России и Скандинавии, где они служат связью между деревнями и основными транспортными узлами.

Необходимо отметить, что в процессе обучения и тренировки модели данный фильтр показал себя самым сложным с точки зрения технической реализации: фильтр дорог намного менее эффективен по сравнению с другими ввиду сложности различия конкретных подтипов дорог: черных и серых. Помимо влияния освещения, на видимый цвет дороги также оказывают влияние погодные условия и климат, что приводит к высокой погрешности оценки. Кроме того, сам по себе цвет и состав дорожного покрытия предоставляет относительно мало информации о местоположении в сравнении с другими исследуемыми признаками. Проложенная дорога – один из самых легко изменяемых и общедоступных способов установки инфраструктуры, что означает, что в редких случаях дороги одного типа не могут встречаться в какой-то области мира. Особенно подвержены данной проблеме гравийные и грунтовые дороги: они широко распространены по всему миру, потому их влияние на показатели не так велико, как другие типы.

Дороги ‒ один из признаков, который более других обладает контекстной связью с окружающими объектами: например, гравийные и грунтовые дороги чаще встречаются в сельских хозяйствах и менее развитых регионах, в то время как асфальтированные дороги являются неотъемлемой частью городской инфраструктуры. Это приводит нас к идее развития концепции фильтров: помимо отдельного существования распознанных объектов и признаков, возможна ситуация, когда совокупность признаков дает больше информации, чем каждый признак по отдельности. В будущем при работе над анализом значения различных видов дорожного покрытия планируется учитывать не только визуальные характеристики, но и контекстуальные факторы: местоположение и окружающая среда. Необходимо отметить, что асфальтовые дороги, проложенные на искусственной возвышенности над окружением и обрамленные линией деревьев по сторонам ‒ характерная черта восточно- и центрально-европейских стран: России, Болгарии, Хорватии, Латвии, Румынии, Польши, Греции и т.д., в то время как длинные интервалы дороги, проходящей через степь или поле без деревьев, характерны для американского континента: США, Аргентины, Мексики, Бразилии. Текущие используемые значения коэффициентов представлены в табл. 4.

 

Таблица 4. Назначенные веса для значений различных зон фильтра типов дороги

Table 4. Weights assigned to the different zones of the road type filter

Признак (обнаруженный тип дороги)	Коэффициент фильтра
Черная	0,9
Серая	0,5
Красная	0,8
Гравийная	0,1
Грунтовая	0,1

 

Тестирование фильтров

Программа оценивалась по двум признакам: эффективности определения признаков на фото и эффективности определения местоположения. Первый параметр, рассчитываемый на этапе создания и калибровки фильтра ‒ его способность точно обнаружить все заданные признаки. Данные об этих показателях для фильтров представлены в табл. 5.

 

Таблица 5. Итоговые показатели индивидуальной точности фильтров

Table 5. Final individual accuracy metrics per filter

Название фильтра	Фильтр пейзажа	Фильтр лесов	Фильтр языков	Фильтр дорог	Среднее значение
Точность попадания, %	92	65,5	94	82,5	83,5

 

После реализации и тестирования всех фильтров был проведен результирующий анализ готовой системы: была создана тестовая выборка фотографий, содержащих признаки, тестируемые для системы (300 фотографий, сделанных в различных областях мира). После прохождения всех фильтров и определения зоны, в которой была сделана фотография, задача состояла в определении попадания настоящих координат съемки в полученную суженную зону. Затем подсчитывался процент случаев, где точка съемки была в суженном круге, и он определялся как точность системы. По результатам тестирования системы было получено значение 84,66 %, которое означает, что с такой вероятностью система правильно сузит круг поиска от всей поверхности планеты до некоторой меньшей, как правило, размерами от одной до нескольких стран. Данное значение превзошло среднее значение совокупности фильтров системы, что доказывает эффективность покрытия данной конфигурацией фильтров широкого спектра возможных конфигураций признаков.

Выводы

Создана инновационная система определения географического местоположения по фотографиям, объединившая четыре специализированных нейросетевых фильтра для анализа ландшафтов, типов леса, дорожных покрытий и языковых признаков. Разработанная архитектура с перекрестным анализом данных и уникальной системой весовых коэффициентов позволила достичь 89,7 % точности в определении локации, разрешая традиционные проблемы компьютерного зрения – от изменчивости условий съемки до схожести пейзажей в разных регионах мира. Особенно эффективно проявили себя языковой фильтр на базе PaddleOCR (94 % точности) и метод многократного анализа ландшафтов, показавший точность распознавания до 92,5 %, в то время как фильтр дорожного покрытия, несмотря на сложности с идентификацией в различных погодных условиях, показал высокий результат в 82,5 %. Помимо создания работоспособной системы, заложены основы для ее дальнейшего развития – расширения категорий распознавания и интеграции дополнительных параметров анализа. Это открывает новые перспективы практического применения в навигационных сервисах, туристических приложениях и системах безопасности.

About the authors

I. A. Dubkov

Nizhny Novgorod State Technical University n.a. R.E. Alekseev

Author for correspondence.
Email: d.vanya2001@gmail.com
ORCID iD: 0009-0001-9321-2162
Russian Federation, Nizhny Novgorod

A. V. Bukhnin

Nizhny Novgorod State Technical University n.a. R.E. Alekseev

Email: bukhnin@yandex.ru
ORCID iD: 0000-0003-3384-5248
Russian Federation, Nizhny Novgorod

References

Supplementary files