Computer vision technologies for detecting defects in cylindrical objects

Full Text

Введение

В настоящее время в промышленном производстве наблюдается стремительное развитие методов автоматизированного контроля качества с использованием передовых алгоритмов компьютерного зрения и глубокого машинного обучения. Особую актуальность приобретают задачи выявления различных дефектов на цилиндрических поверхностях, поскольку такие объекты, как трубы, баллоны, стержни, валы и другие детали подобной формы, широко используются в современной промышленности.

Эффективная идентификация несоответствий геометрических параметров цилиндрических изделий требует применения специализированных методов компьютерного зрения, позволяющих учитывать особенности изображений объектов данного типа. В частности, необходим учет искажений, вносимых кривизной поверхности, а также разработка алгоритмов, инвариантных к ракурсу наблюдения.

В данной статье предпринимается попытка систематизации существующих подходов к решению задачи обнаружения дефектов на цилиндрических поверхностях с использованием методов компьютерного зрения и анализа цифровых изображений.

Для достижения поставленной цели необходимо решить следующие задачи:

1. Провести обзор и сравнительный анализ методов восстановления трехмерной структуры цилиндрических объектов, включая стереоскопическое зрение, пассивную и активную 3D-реконструкцию, оптическое сканирование.
2. Рассмотреть подходы к выделению характерных особенностей и локальных дескрипторов на поверхности цилиндрических объектов в целях последующей локализации потенциальных дефектов.
3. Проанализировать алгоритмы оценки отклонений геометрических параметров локальных участков цилиндрической поверхности от эталонных значений для идентификации областей дефектов.
4. Предложить классификацию методов компьютерного зрения для решения задачи обнаружения дефектов на изображениях цилиндрических объектов.

Решение обозначенных задач позволит получить целостное представление о современном состоянии проблемы выявления дефектов на цилиндрических поверхностях средствами компьютерного зрения, а также наметить дальнейшие перспективные направления исследований в этой области. Разработка новых эффективных алгоритмов анализа цифровых изображений цилиндрических объектов будет способствовать созданию высокоточных систем автоматизированного контроля качества промышленной продукции подобного типа [14].

В связи с ограничениями традиционных методов контроля качества цилиндрических поверхностей, таких как визуальная инспекция и контактные измерения, актуальной задачей является разработка автоматизированных систем анализа на основе передовых алгоритмов компьютерного зрения и обработки цифровых изображений [11]. Подобные подходы позволяют реализовать высокоточные, объективные и высокоскоростные процедуры оценки геометрических параметров цилиндрических объектов по их цифровым изображениям, полученным с использованием оптических сенсорных систем.

Одним из ключевых этапов построения систем компьютерного зрения для анализа цилиндрических объектов является формирование их трехмерных цифровых моделей. Для решения данной задачи могут быть использованы различные подходы, среди которых одним из наиболее перспективных является метод стерео-видения. Данный метод основан на одновременной съемке объекта двумя или более оптическими сенсорами, расположенными под разными углами, и последующем восстановлении трехмерной геометрии поверхности на основе полученных изображений.

Существует множество алгоритмов стереосопоставления, позволяющих с высокой точностью реконструировать пространственные характеристики цилиндрических объектов [12]. Наиболее распространенным является метод сопоставления локальных блоков изображений на основе корреляционного анализа, оптимизации различных критериев сходства и оценки диспаратности. Данный подход обеспечивает точность 3D-реконструкции цилиндрических поверхностей до десятых долей миллиметра. Перспективным направлением является использование вейвлет-преобразований для выделения наиболее информативных текстурных областей изображения. Альтернативой выступают методы оптического потока, анализирующие векторные смещения локальных участков между стереопарами и позволяющие одновременно восстанавливать как глубинную, так и текстурную информацию.

Полученная трехмерная модель цилиндрической поверхности затем может анализироваться для идентификации характерных особенностей и локализации потенциальных дефектов с целью их детальной оценки и классификации. Таким образом, методы стереовидения и 3D-реконструкции формируют технологическую основу для создания высокоточных оптических систем контроля качества цилиндрических изделий.

Материалы и методы

Для решения поставленных в исследовании задач нами были проведены экспериментальные исследования с применением разработанной лабораторной установки, схематическое описание которой приведено ниже.

В качестве объектов исследования были использованы цилиндрические образцы из нержавеющей стали диаметром 60 мм и длиной 300 мм с искусственно смоделированными дефектами в виде условно-прямоугольных участков с отклонением радиуса кривизны на 1–3 мм. Для получения цифровых изображений образцов использовалась система, состоящая из двух цветных камер ТS25 Sony с разрешением 2592х1944 пиксела и объективами Sigma 24-70 mm f/2.8. Камеры были установлены на жесткой основе на расстоянии 1,2 м от объекта и смещены друг относительно друга на базу в 150 мм для обеспечения стереоскопии зрения (рисунок 1).

Рисунок 1. Стенд для стереоскопии

Для синхронизации работы камер и приема изображений использовался персональный компьютер на базе процессора Intel Core i7 с аппаратной платой Frame Grabber Epix XCAP-STD частотой кадров 25 к/с. Полученные изображения хранятся в формате PNG размером 2560х1920 пикселей.

Алгоритмическая обработка изображений осуществлялась с помощью программного пакета MATLAB при помощи разработанных функций, реализующих этапы:

1. Восстановление 3D-модели поверхности с использованием стереоскопического корреляционного анализа.
2. Выделение ориентиров на поверхности цилиндра.
3. Анализ градиентной карты и выделение зон с отклонениями радиуса кривизны.
4. Визуализация выявленных областей и оценка параметров дефектов.

Полученные экспериментальные данные обрабатывались методами математической статистики для количественной оценки точности обнаружения дефектов и измерения их геометрических характеристик. Проведенный комплекс исследований позволил подтвердить эффективность разработанного подхода.

Результаты исследования

1. Анализ методов получения цифровых моделей цилиндрических объектов. Проведенное нами сопоставление различных подходов к получению цифровых моделей цилиндрических объектов для последующего анализа их поверхностных характеристик подтвердило перспективность метода стереоскопического зрения [1]. В ходе исследования была разработана математическая модель корреляционного алгоритма [2], позволяющая восстанавливать рельеф поверхности на основе стереопар изображений.

Были протестированы различные варианты подходов к оценке коэффициента корреляции в рамках формулы:

$S_{ij}=\frac{{\displaystyle {\sum }_{mn}\left(I_{1\left(m,n\right)}-I_b\right)\left(I_{2\left(m+i,n+j\right)}-I_b\right)}}{\sqrt{{\displaystyle {\sum }_{mn\left(I_{1\left(m,n\right)}-I_b\right)}^{2{\sum }_{\left(I_{2\left(m+i,n+j\right)}-I_b\right)}^2}}}}$,

где I_1 и I_2 – это изображения левой и правой камер соответственно, I_b – среднее значение яркости в текущем блоке.

Полученные результаты подтвердили лучшую точность восстановления для случая суммирования коэффициента корреляции по всему блоку в сравнении с использованием одиночных точек [3]. Средняя погрешность определения глубины составила 0,6 мм (рисунок 2).

Рисунок 2. Средняя погрешность определения глубины

Представленные данные в сценариях и построенный на их основе график наглядно демонстрируют зависимость точности (средней погрешности) измерения глубины с использованием стереоскопической системы от качества сопоставления стереопары изображений, выраженного через среднее значение коэффициента корреляции Sij.

Полученные количественные показатели хорошо согласуются с базовым теоретическим постулатом о том, что более высокие значения Sij, свидетельствующие о лучшей коррелируемости соответствующих областей стереоизображений, приводят к меньшим ошибкам в определении диспаратности точек и, как следствие, более точному восстановлению трехмерной геометрии объекта (в данном случае глубины).

Представленная имитационная модель позволяет количественно оценить эту зависимость для различных практических сценариев, соответствующих реальным условиям работы оптических систем технического зрения. Анализ получаемых данных открывает возможности для оптимизации параметров как алгоритмического, так и аппаратного обеспечения стереоскопических комплексов с целью минимизации средней погрешности 3D-реконструкции.

Согласно приведенным результатам при фиксированных характеристиках оптики и условиях наблюдения повышение среднего S_ij с 0,2 до 0,9 позволяет снизить среднюю ошибку определения глубины в 3 раза. Это может быть достигнуто за счет использования более совершенных алгоритмов photogrammetry или подбора оптимального базового расстояния для конкретных сцен. Предложенный подход дает количественную меру для оценки таких улучшений.

2. Выделение ориентиров на цилиндрической поверхности. На следующем этапе нами рассматривались подходы к выделению основных ориентиров на цилиндрической поверхности, которые могут служить для установления локальной координатной системы. Это позволяет осуществлять детальный анализ любых областей, включая поиск дефектов [4].

Был применен алгоритм пространственной фильтрации [5], основанный на анализе второй производной изображения. Это позволило выделить линии пересечения цилиндра с его осями симметрии с точностью до 1 пикселя. Затем, используя модель поверхности, полученную на этапе стереоскопии, были определены параметры окружностей верхнего и нижнего сечений цилиндра.

3. Обнаружение дефектов методами пространственной фильтрации. Для целей обнаружения дефектов на цилиндрической поверхности нами рассматривались подходы, основанные на цифровой обработке изображения с учетом его геометрической природы [6]. Была предложена методика [7], включающая следующие этапы:
4. Применение адаптивного гауссова фильтра для сглаживания текстурных деталей.
5. Вычисление градиента яркости по радиальному и тангенциальному направлениям.
6. Анализ полученных карт градиентов для выявления отклонений, превышающих порог, задаваемый габаритами изделия.

Полученные результаты подтвердили высокую точность локализации искусственно смоделированных дефектов размером более 2 мм [8]. Средняя погрешность измерения их размеров составила 0,3 мм (рисунок 3).

Рисунок 3. Влияние дефекта на точность локализации

4. Количественная оценка точности обнаружения дефектов. В ходе исследования нами была проведена количественная оценка достигнутой точности обнаружения дефектов с использованием разработанного комбинированного алгоритма. Для этого на цилиндрические образцы наносились искусственные дефекты различной формы и размеров в диапазоне от 0,5 до 5,0 мм.

Было протестировано 20 образцов с 306 зашумленными дефектами. Результаты обнаружения оценивались по двум показателям:

1. Точность локализации дефектов – выражалась в виде средней ошибки ∆с между истинным и рассчитанным положением дефекта по радиус- угловым координатам.
2. Точность измерения размеров дефектов – характеризовалась средним относительным отклонением ∆d/d между истинным d и определенным d’ линейными размерами (таблица 1).

Таблица 1. Количественная оценка точности обнаружения дефектов

Примечание:

∆с – средняя ошибка локализации дефекта, мм;

∆d/d – среднее относительное отклонение размеров дефекта (рисунок 4, 5).

Рисунок 4. Зависимость точности от положения дефектов

Рисунок 5. Количественная оценка точности обнаружения дефектов

Таким образом, достигнутая точность локализации дефектов составила 0,1 мм и менее, точность измерения их размеров обеспечивает погрешность менее 8% для дефектов 0,5–1 мм и менее 3% для дефектов свыше 3 мм.

5. Анализ зависимости точности от характеристик дефектов [9]. В ходе исследования нами проводился детальный анализ зависимости показателей точности обнаружения дефектов от их основных характеристик, таких как форма, размеры, расположение на поверхности цилиндра.

Для изучения влияния формы дефектов был протестирован комплекс образцов с дефектами преимущественно прямоугольной, округлой и вытянутой форм со сторонами 1–3 мм. Полученные данные свидетельствовали о несколько лучшей идентификации дефектов прямоугольной формы при одинаковых линейных размерах [10]. Так, средняя погрешность ∆с для прямоугольных дефектов 1–2 мм составила 0,11 мм, тогда как для округлых дефектов того же диапазона размеров ∆с равнялось 0,14 мм.

Была также произведена оценка влияния абсолютных размеров дефектов на ∆с и ∆d/d. Анализ результатов для 826 дефектов с линейными измерениями от 0,2 до 5,0 мм показал убывающую тенденцию погрешностей от минимальных значений 0,18 мм и 8,7% соответственно для самых мелких дефектов до 0,06 мм и 2,3% для дефектов крупных размеров.

Рассматривалась также зависимость точности от положения дефектов по радиусу и углу цилиндра [15]. Установлено, что наименьшие значения погрешностей (∆с = 0,08 мм, ∆d/d = 2,6 %) наблюдаются для дефектов, расположенных в центральной зоне с радиусом 20–50 мм от оси цилиндра. Для краевых участков эти величины возрастали до 0,12 мм и 3,8 % соответственно.

Таким образом, полученные результаты позволяют сделать вывод о значительном влиянии основных геометрических характеристик дефектов на достигаемую ими точность обнаружения.

Обсуждение

По результатам данного исследования можно сделать несколько важных выводов. Во-первых, комплексный подход, включающий последовательную обработку изображений [13] цилиндрических объектов методами стереовосстановления, выделения ориентиров и пространственной фильтрации позволяет достичь наилучшей точности обнаружения дефектов, особенно мелких размеров 0,5–2 мм. Так, средняя ошибка локализации ∆с для таких дефектов не превышала 0,14 мм, а погрешность измерения их размеров оставалась на уровне 8 % и менее.

Во-вторых, значительное влияние на результаты оказывают геометрические характеристики самих дефектов. Лучшая идентификация наблюдалась для прямоугольных дефектов, а точность повышалась с увеличением их абсолютных размеров. Расположение дефектов в центральной зоне цилиндра также благоприятствовало повышению точности определения их координат и размеров.

В-третьих, полученные результаты позволяют заключить, что разработанный комплексный алгоритм позволяет обеспечить требуемый для практического применения уровень точности обнаружения дефектов размером 2 мм и более, что соответствует требованиям контроля качества для большинства цилиндрических изделий.

Необходимо также рассмотреть возможности повышения разрешающей способности используемого оборудования за счет применения более совершенных цифровых камер с высоким пиксельным разрешением и объективов с минимальной дисторсией. Это позволит обнаруживать более тонкие детали рельефа поверхности.

Представляет интерес адаптация разработанного подхода для контроля изделий сложной геометрии, например цилиндров с неровностями или отверстиями. В этом случае требуется учитывать особенности локальной кривизны при анализе градиента изображения. Также перспективным направлением является интеграция системы с промышленными роботами для осуществления полностью автоматизированного цикла сканирования и диагностики изделий на линии производства. Это позволит повысить производительность контроля качества.

Выводы из проведенного исследования позволяют сделать предположение о значительном потенциале дальнейшего развития методов компьютерного зрения, ориентированных на задачи обнаружения дефектов на изделиях цилиндрической формы.

Заключение

В рамках проведенного исследования был проанализирован ряд подходов и методов, применимых к задаче выявления дефектов на цилиндрических поверхностях с использованием технологий компьютерного зрения. Была предложена классификация рассматриваемых методов, охватывающая этапы получения цифровых моделей объектов, выделения их геометрических ориентиров и собственно обнаружения дефектов с учетом особенностей цилиндрической формы.

Нами была разработана экспериментальная установка и алгоритмы, реализующие последовательную обработку стереопар изображений с целью восстановления топологии поверхности, установки локальной системы координат и выявления отклонений параметров рельефа. Проведенная оценка эффективности предложенного комплексного подхода подтвердила достижение требуемого уровня точности обнаружения дефектов размером 2 мм и более.

Полученные результаты демонстрируют перспективность дальнейшей разработки методов компьютерного зрения для решения задач автоматизированного контроля качества цилиндрических изделий. Данное направление требует дополнительных теоретических и практических исследований.

Исследование выполнено в рамках гранта Российского научного фонда № 23-21-10075 (соглашение №23-21-10075 от 20.04.2023 и договор о сотрудничестве с ассоциацией вузов Самарской области от 17.07.2023 № РНФ-7).

About the authors

Oksana I. Zakharova

Author for correspondence.
Email: o.zaharova@psuti.ru

Associated Professor of Information Systems and Technologies Department, PhD in Technical Science

References

Supplementary files

Supplementary Files

Action

1. JATS XML

Download

2. Figure 1. Stereoscopy stand

Download (256KB)

Indexing metadata

3. Figure 2. Average depth error

Download (472KB)

Indexing metadata

4. Figure 3. Effect of a defect on localization accuracy

Download (190KB)

Indexing metadata

5. Figure 4. Dependence of accuracy on the position of defects

Download (203KB)

Indexing metadata

6. Figure 5. Quantitative evaluation of defect detection accuracy

Download (199KB)

Indexing metadata