Анализ двухкомпонентных композиционных покрытий при производстве элементов электроники с использованием методов компьютерного зрения

Полный текст

Введение

В последние десятилетия в условиях технологического прогресса возникает потребность в применении двухкомпонентных композиционных покрытий, состоящих из полиамидной смолы и отверждающего агента (функционального наполнителя), полученных методом распыления [1]. Такие покрытия используются в электронике для производства гибких печатных плат, для отвода тепла с экранов электрооборудования и в качестве защитных слоев, предотвращающих окисление, коррозию и воздействие влаги на электронные компоненты. При этом используемые образцы подвергаются резке тестовых пластин, последующей запрессовке в эпоксидный компаунд и шлифовке на шлифовальной машине групповой подготовки [2, 3]. Естественно, в рамках существующих технологий производства важным аспектом становится анализ получаемых покрытий [4–6], где обеспечение высокого уровня продукции становится ключевой задачей, в частности для производства электроники.

Существующие исследования посвященные анализу покрытий имеют своей целью создание объективных метрик качества. Однако многие из них сталкиваются с ограничениями в точности и надежности, особенно в условиях производства [7–9]. В этом контексте систематизация исследований и разработка методов контроля представляют собой одну из критически важных задач.

В настоящей работе предлагается новый подход для анализа двухкомпонентных композиционных покрытий, основанный на методах обработки изображений [10]. Данный подход, по мнению авторов, предоставляет дополнительный инструментарий для контроля качества двухкомпонентных композиционных покрытий.

1. Предварительная обработка изображения

Изображение представляется в виде матрицы пикселей, где каждый пиксель содержит информацию о цвете (или яркости, в случае оттенков серого). Пусть
\[ \begin{equation*}
\boldsymbol{I} =
\begin{bmatrix}
I_{11} & I_{12} & \dots & I_{1N} \\
I_{21} & I_{22} & \dots & I_{2N} \\
\vdots & \vdots & \ddots & \vdots \\
I_{M1} & I_{M2} & \dots & I_{MN} \\
\end{bmatrix}
\end{equation*} \]
— матрица изображения размером $M {\times} N$, где $M$ — количество строк, а $N$ — количество столбцов. Каждый элемент $I_{ij}$ матрицы представляет собой яркость (или цвет) соответствующего пикселя.

Формально, если изображение в оттенках серого, каждый элемент матрицы $\boldsymbol{I}$ будет являться числом в диапазоне от 0 (черный) до 255 (белый). Если изображение цветное, то каждый пиксель может быть представлен тройкой значений интенсивности красного (R), зеленого (G) и синего (B) цветов.

После загрузки изображения в матрицу пикселей определяется его цветовой тип. Если изображение в оттенках серого, то оно монохромное, иначе — цветное. Пусть $\boldsymbol{C}$ — цветовая информация о пикселях изображения, представляющая собой матрицу цвета размером $M {\times} N$, где $M$ — количество строк, а $N$ — количество столбцов. Если изображение цветное, то каждый элемент матрицы ${C}_{ij}$ будет представлен тройкой значений, соответствующих интенсивности красного (R), зеленого (G) и синего (B) цветов:
\[ \begin{equation*}
{C}_{ij} = (\mathrm{R}_{ij}, \mathrm{G}_{ij}, \mathrm{B}_{ij}),
\end{equation*} \]
где $\mathrm{R}_{ij}$, $\mathrm{G}_{ij}$, $\mathrm{B}_{ij}$ — интенсивности красного, зеленого и синего цветов соответственно для пикселя в $i$-той строке и $j$-том столбце матрицы.

Если изображение в оттенках серого, то $\boldsymbol{C}$ будет матрицей одноканального изображения, где каждый элемент ${C}_{ij}$ представляет яркость соответствующего пикселя.

Разрешение изображения определяется величиной, которая представляет количество пикселей на единицу длины (обычно на дюйм или миллиметр). Пусть $r$ — это разрешение изображения. Тогда разрешение изображения может быть определено с использованием формулы
\[ \begin{equation*}
r = \frac{M}{h} \frac{N}{w},
\end{equation*} \]
где $h$ и $w$ — высота и ширина изображения в выбранных единицах длины (дюймы, миллиметры и т.д.).

Разрешение изображения представляет собой важный параметр, который описывает, насколько детализировано изображение и какое количество информации оно может содержать на единицу длины.

2. Бинаризация изображения

2.1. Применение метода Оцу для определения порога бинаризации

Метод Оцу — это алгоритм автоматического выбора порога бинаризации изображения. Он использует статистические свойства пикселей изображения для определения порога, максимизирующего разделение объектов и фона.

Первым шагом алгоритма является поиск функции распределения интенсивностей пикселей матрицы цвета $M{\times}N$. Функция распределения может быть задана в виде таблицы, она представляет собой закон распределения частот появления различных интенсивностей в изображении:
\[ \begin{equation}
g(k) = \frac{100\, n_k}{MN},
\end{equation} \tag{1} \]
где $k$ принимает значения от 0 до 255 (для изображения в оттенках серого); $n_k$ — количество пикселей с интенсивностью $k$.

Рассмотрим следующие величины: $v(k)$ — вес класса для пикселей с интенсивностью $k$; $v_1(k)$ — вес класса фона, $v_2(k)$ — вес класса объекта:
\[ \begin{equation*}
v_1(k) = \sum_{q=0}^{k} g(q), \quad v_2(k) = \sum_{q=k+1}^{255} g(q).
\end{equation*} \]
Средние значения интенсивности для фона и объекта обозначим через $m_1(k)$ и $m_2(k)$ соответственно:
\[ \begin{equation*}
m_1(k) = \frac{1}{v_1(k)} \sum_{q=0}^{k} q g(q), \quad
m_2(k) = \frac{1}{v_2(k)} \sum_{q=k+1}^{255} q g(q).
\end{equation*} \]
Межклассовая дисперсия $\sigma_B^2$ является мерой того, насколько объект и фон различаются:
\[ \begin{equation*}
\sigma_B^2(k) = v_1(k) v_2(k) [m_1(k) - m_2(k)]^2.
\end{equation*} \]
Порог бинаризации $k_T $ определяется как значение $k$, при котором $\sigma_B^2(k)$ максимально:
\[ \begin{equation*}
k_T = \operatorname{argmax} \sigma_B^2(k),
\end{equation*} \]
где $\operatorname{argmax}$ — оператор, который возвращает максимальное значение аргумента для исследуемой функции.

Применение метода Оцу к изображениям композиционных покрытий позволяет определить порог бинаризации, максимизируя различие между объектом и фоном на изображении.

2.2. Получение бинарного изображения

После определения порога бинаризации на предыдущем шаге с использованием метода Оцу можно преобразовать изображение в бинарное, разделяя его на объекты и фон. Предположим, что порог бинаризации равен $k_T$. Бинарное изображение $\boldsymbol{D}$ размером $M {\times} N$ может быть получено попиксельно:
\[ \begin{equation*}
D_{ij} =
\begin{cases}
1, & \text{если } I_{ij} > k_T, \\
0, & \text{иначе},
\end{cases}
\end{equation*} \]
где $D_{ij}$ — значение пикселя в бинарном изображении в позиции $(i, j)$; $I_{ij}$ — значение интенсивности пикселя в исходном изображении в позиции $(i, j)$; $k_T$ — порог бинаризации.

Таким образом, каждый пиксель в бинарном изображении становится равным 1, если значение интенсивности в соответствующем пикселе исходного изображения превышает порог бинаризации, и равным 0 в противном случае. Этот процесс разделения изображения на два класса (фон и объект) позволяет легко выделять интересующие объекты на изображении.

2.3. Выделение контуров

После получения бинарного изображения применяется алгоритм поиска контуров для выделения границ объектов на изображении. Пусть $\mathcal{O}$ — множество контуров на изображении; контур — последовательность связанных пикселей, образующих границу объекта.

Алгоритм поиска контуров можно представить следующим образом:

• поиск первого пикселя: пусть $P_{f}$ — первый пиксель, равный 1; через $\mathcal{O}_{c}$ обозначим текущий контур;
• следование по контуру: начиная с пикселя $P_{f}$ алгоритм следует по контуру объекта; пусть $P_{c}$ — текущий пиксель в контуре, а $P_{n}$ — следующий пиксель в контуре; операция продолжается до тех пор, пока не будет достигнут пиксель $P_{f}$ и контур замкнется;
• добавление контура: когда контур замкнут, он добавляется в множество контуров $\mathcal{O}$, обозначим его как $\mathcal{O}_d$, где $d$ — номер контура.

Математический аппарат этого процесса несколько абстрактен, поскольку алгоритм поиска контуров обычно реализуется с использованием итераций и условий на основе связности пикселей. Однако можно представить это следующим образом. Начиная с координаты первого пикселя $P_{f}$ контура $\mathcal{O}_d$ алгоритм проходит по пикселям, соседствующим с $P_{f}$, и добавляет их в контур, пока не вернется к $P_{f}$. Это можно представить следующим образом:
\[ \begin{equation*}
\mathcal{O}_d = \{P_1, P_2, \ldots, P_n\},
\end{equation*} \]
где $n$ — количество пикселей в контуре, $P_i$ — координаты $i$-того пикселя в контуре.

Таким образом, алгоритм поиска контуров позволяет представить границы объектов на бинарном изображении в виде множества контуров.

3. Измерение параметров

3.1. Расчет общей площади

После выделения контуров на бинарном изображении можно рассчитать общую площадь объекта. Пусть $\mathcal{O}_d$ — контур объекта, представленный множеством координат пикселей контура:
\[ \begin{equation*}
\mathcal{O}_d = \{(x_1, y_1), (x_2, y_2), \ldots, (x_n, y_n)\}.
\end{equation*} \]

Предположим, что контур $\mathcal{O}_d$ формирует замкнутый многоугольник. Площадь многоугольника можно вычислить, используя формулу
\[ \begin{equation*}
A_d = \frac{1}{2} \sum_{k=1}^{n-1} \bigl(x_k y_{k+1} - x_{k+1} y_k\bigr) + 
\frac{1}{2} \bigl(x_n y_1 - x_1 y_n\bigr),
\end{equation*} \]
где $A_d$ — площадь многоугольника, ограниченного контуром $\mathcal{O}_d$; $(x_k, y_k)$ — координаты $k$-той вершины контура. Эта формула основана на методе Гаусса для вычисления площади многоугольника, который использует координаты вершин. Важно отметить, что знаки учитываются таким образом, чтобы учесть направление обхода контура.

Таким образом, расчет площади объекта может быть выполнен путем суммирования площадей всех контуров:
\[ \begin{equation*}
A_{obj} = \sum_{d=1}^{e} A_d,
\end{equation*} \]
где $A_{obj}$ — площадь объекта, представленного совокупностью контуров $\mathcal{O}_d$; $e$ — количество контуров, выделенных на бинарном изображении.

Этот шаг позволяет количественно оценить площадь объекта на изображении на основе анализа его границ.

Если же возникает необходимость оценки площади всей анализируемой поверхности материала без выделения отдельных объектов, то общая площадь материала $A_{total}$ может быть выражена так:
\[ \begin{equation*}
A_{total} = \sum_{i=1}^{N} \sum_{j=1}^{M} D_{ij}.
\end{equation*} \]

3.2. Расчет площади темного материала

На данном этапе рассматриваются пиксели, соответствующие темному материалу, который согласно предыдущему контексту может быть полиамидной смолой. Обозначим бинарное изображение после пороговой бинаризации, где пиксели темного материала выделены, как $\boldsymbol{B}_{dark}$.

Представим бинарное изображение $\boldsymbol{D}_{dark}$ в виде матрицы, в которой каждый элемент $B_{ij}$ принимает значение 1, если соответствующий пиксель является темным, и 0 — в противном случае:
\[ \begin{equation*}
\boldsymbol{D}_{dark} =
\begin{bmatrix}
B_{11} & B_{12} & \ldots & B_{1M} \\
B_{21} & B_{22} & \ldots & B_{2M} \\
\vdots & \vdots & \ddots & \vdots \\
B_{N1} & B_{N2} & \ldots & B_{NM} \\
\end{bmatrix}.
\end{equation*} \]

Тогда площадь темного материала $\boldsymbol{A}_{dark}$ может быть выражена как сумма значений всех пикселей, соответствующих темному материалу:
\[ \begin{equation*}
\boldsymbol{A}_{dark} = \sum_{i=1}^{N} \sum_{j=1}^{M} b_{ij}.
\end{equation*} \]

3.3. Расчет площади светлого материала

Аналогично предыдущему этапу рассматриваются пиксели, соответствующие светлому материалу, который в случае полиимидных покрытий может быть отверждающим агентом.

Площадь светлого материала $\boldsymbol{A}_{light}$ может быть выражена как разность значений общей площади и площади темного материала:
\[ \begin{equation*}
\boldsymbol{A}_{light} = \boldsymbol{A}_{total} - \boldsymbol{A}_{dark}.
\end{equation*} \]

3.4. Расчет длины границы контакта

Для расчета длины границы контакта двух веществ представим бинарное изображение контуров в виде матрицы $\boldsymbol{Z}$, в которой каждый элемент $Z_{ij}$ принимает значение 1, если соответствующий пиксель является частью контура, и 0 — в противном случае:
\[ \begin{equation*}
\boldsymbol{Z} =
\begin{bmatrix}
Z_{11} & Z_{12} & \ldots & Z_{1M} \\
Z_{21} & Z_{22} & \ldots & Z_{2M} \\
\vdots & \vdots & \ddots & \vdots \\
Z_{N1} & Z_{N2} & \ldots & Z_{NM} \\
\end{bmatrix}.
\end{equation*} \]

Тогда длина границы контакта $L_{cont}$ может быть определена как сумма длин всех контуров на изображении:
\[ \begin{equation*}
L_{cont} = \sum_{c=1}^{e} L_c,
\end{equation*} \]
где $L_c$ — длина контура $c$, $e$ — общее числа контуров.

С использованием полярной системы координат длина каждого контура $L_c$ может быть вычислена с помощью формулы
\[ \begin{equation*}
L_c = \int_{0}^{2\pi} \sqrt{ ( {dx}/{d\theta} )^2 + ( {dy}/{d\theta} )^2} d\theta,
\end{equation*} \]
где $x= r(\theta) \cos \theta$, $y= r(\theta) \sin \theta$.

В контексте нашей задачи полярные координаты $(r, \theta)$ позволяют описать форму контура с помощью углов и радиусов, что удобнее, чем использование прямоугольных координат $(x, y)$, особенно для криволинейных контуров. Угол $\theta$ определяет направление от начальной точки до каждой последующей точки на контуре. Параметризация по углу $\theta$ позволяет нам «идти вокруг» контура и измерять его длину относительно изменения угла.

Для дискретного представления интеграла применим метод конечных разностей:
\[ \begin{equation*}
L_c \approx \sum_{c=1}^{Y} \sqrt{\Bigl(\frac{x(\theta_c+\Delta\theta)-x(\theta_c)}{\Delta\theta}\Bigr)^2 +
\Bigl(\frac{y(\theta_c+\Delta\theta)-y(\theta_c)}{\Delta\theta}\Bigr)^2} \Delta\theta,
\end{equation*} \]
где $Y$ — количество дискретных точек на контуре, а $\Delta\theta_c$ — изменение угла и координат между соседними точками интервала с номером $c \in [1; Y]$.

Таким образом, $L_{cont}$ представляет общую длину границы контакта между компонентами на изображении.

3.5. Расчет удельной поверхности

Удельная поверхность $H_{SSA}$ представляет собой отношение длины границы контакта $L_{cont}$ к общей площади материала $A_{total}$:
\[ \begin{equation*}
H_{SSA} = L_{cont}/A_{total}.
\end{equation*} \]

Таким образом, удельная поверхность $H_{SSA}$ предоставляет метрику, оценивающую, насколько «компактно» распределены границы контакта между компонентами относительно общей площади материала.

4. Процесс масштабирования

В данном разделе рассматривается процесс масштабирования, включающий этапы распознавания и преобразования данных о масштабе.

4.1. Распознавание данных о масштабе

Первый этап процесса масштабирования связан с распознаванием текстовой информации, представляющей численное значение масштаба на изображении. В рамках этого этапа используется оптическое распознавание символов (OCR), которое преобразует изображение в текстовую строку.

Полученная текстовая строка, содержащая значение масштаба, сохраняется в отдельной переменной.

4.2. Преобразование данных о масштабе

На втором этапе процесса данные о масштабе преобразуются в числовое значение, представляющее собой длину в микронах. Для этого применяется метод извлечения численной информации из текстовой строки.

Процесс извлечения включает в себя анализ текста с использованием регулярных выражений. Этот метод преобразует текстовую строку в числовое значение $s$. Полученное числовое значение $s$ представляет собой масштаб, используемый для перевода результатов измерений в микроны.

4.3. Вычисление удельной поверхности в микронах

Имея значение масштаба $s$, можно получить значение реальной удельной поверхности:
\[ \begin{equation}
H_{RSSA} = s \cdot H_{SSA} .
\end{equation} \tag{2} \]

Этот процесс обеспечивает эффективное масштабирование внутри системы, а именно переход от относительных измерений, выполненных в пикселях, к реальным физическим значениям в микронах. Это позволяет корректно интерпретировать результаты измерений на изображении, что существенно для точного анализа характеристик композиционных покрытий. Для остальных характеристик процесс преобразования аналогичен преобразованию (2).

5. Обсуждение результатов работы и область их применения

Разработанная информационно-измерительная система проявила высокую точность в анализе качества двухкомпонентных композиционных покрытий при производстве элементов электроники. Результаты обработки изображений подтверждают надежность разработанной системы в определении контуров и анализе структуры материалов. Для более надежной верификации работы системы было проведено тестирование на оборудовании Поволжского дизайн-центра микроэлектроники «Бином» при Самарском государственном техническом университете. Этот шаг не только подтвердил соответствие системы высоким стандартам точности, но также продемонстрировал ее применимость в реальных индустриальных условиях.

Алгоритмы анализа качества двухкомпонентных композиционных покрытий в разработанной системе продемонстрировали высокую точность и устойчивость к различным артефактам в изображениях. В качестве примера на рис. 1 приведено распределение частот появления различных интенсивностей в анализируемом изображении, построенное с помощью разработанной системы. На рис. 2 приведено исходное (анализируемое) изображение, а на рис. 3 — изображение покрытия после проведения анализа.

Рис. 1. Распределение частот появления различных интенсивностей (1) в анализируемом изображении
[Figure 1. Frequency distribution of the appearance of different intensities for Eq. (1) in the analyzed image]

Рис. 2. Анализируемое изображение покрытия, полученное с помощью электронного микроскопа в формате .tif (1280$\times$960 px)
[Figure 2. Analyzed image of the coating obtained by an electron microscope in the .tif format (1280$\times$960 px)]

Рис. 3. Изображение покрытия после проведения анализа
[Figure 3. Image of the coating after the analysis]

Полученные результаты на образцах с известными дефектами и реальных материалах в условиях производства электроники свидетельствуют о перспективности внедрения системы в производственные процессы.

Табл. 1 содержит рассчитанные параметры, такие как удельная поверхность, общая площадь материала и другие.

Таблица 1. Рассчитанные параметры анализа двухкомпонентных композиционных покрытий
[Calculated parameters for the analysis of two-component composite coatings]

Parameters	Values
Specific surface area, $H_{SSA}$	0.18 px$^{-1}$
Real specific surface area, $H_{RSSA}$	0.27 μm$^2$
Total area of material, $A_{total}$	421034.17 μm$^2$
Dark material area, $A_{dark}$	262399.90 μm$^2$
Light material area, $A_{light}$	158634.27 μm$^2$
Сontact boundary length, $L_{cont}$	114067.69 μm

Результаты исследования вносят значительный вклад в различные области применения:

• внедрение системы в процессы контроля качества для повышения эффективности и точности оценки материалов;
• использование системы для более глубокого анализа свойств и структуры двухкомпонентных композиционных покрытий;
• применение результатов исследования в разработке новых технологий и материалов с улучшенными характеристиками.

Заключение

В работе представлен метод анализа двухкомпонентных композиционных покрытий с использованием математически обоснованных алгоритмов обработки изображений. Полученные результаты открывают новые перспективы для совершенствования контроля качества материалов в промышленных процессах и научных исследованиях.

Предложена и реализована информационно-измерительная система обработки изображений, основанная на совокупности математических методов. Применение численных алгоритмов для анализа границ композиционных покрытий позволило добиться необходимой точности анализа.

Разработанный подход является эффективным инструментом для точного анализа материалов с выделением ключевых параметров, таких как удельная поверхность, общая площадь материала и границы контакта. Эти параметры могут быть востребованы в промышленных процессах для оценки качества и контроля производства.

В рамках исследования разработана система обработки изображений, минимизирующая накопление ошибок на каждом этапе и обеспечивающая высокую точность определения характеристик материалов.

Полученные результаты могут быть успешно внедрены в различные области промышленности, научных исследований и технологического развития. Система была успешно протестирована в Поволжском дизайн-центре микроэлектроники «Бином» при Самарском государственном техническом университете с использованием полиамидных покрытий, применяемых в производстве электроники. Это подтвердило применимость разработанной системы в реальных промышленных условиях.

Конкурирующие интересы. Конкурирующих интересов не имеем.
Авторская ответственность. Все авторы принимали участие в разработке концепции статьи и в написании рукописи. Авторы несут полную ответственность за предоставление окончательной рукописи в печать. Окончательная версия рукописи была одобрена всеми авторами.
Финансирование. Исследование выполнено при финансовой поддержке Министерства науки и высшего образования Российской Федерации в рамках государственного задания (тема № АААА-А12-2110800012-0).

Об авторах

Максим Владимирович Ненашев

Самарский государственный технический университет

Email: nenashev.mv@samgtu.ru
ORCID iD: 0000-0003-3918-5340
https://www.mathnet.ru/person38904

доктор технических наук, профессор; первый проректор-проректор по научной работе; ректорат

Россия, 443100, Самара, ул. Молодогвардейская, 244

Олег Сергеевич Рахманин

Самарский государственный технический университет

Email: rakhmanin.os@samgtu.ru
ORCID iD: 0000-0001-7337-268X
https://www.mathnet.ru/person204974

кандидат технических наук, доцент; начальник лаборатории; лаб. цифровых двойников материалов и технологических процессов их обработки

Россия, 443100, Самара, ул. Молодогвардейская, 244

Виктория Витальевна Киященко

Самарский государственный технический университет

Автор, ответственный за переписку.
Email: vv.kiyashchenko@gmail.com
ORCID iD: 0000-0001-9710-2860
https://www.mathnet.ru/person204975

аспирант; младший научный сотрудник; лаб. цифровых двойников материалов и технологических процессов их обработки

Россия, 443100, Самара, ул. Молодогвардейская, 244

Список литературы

Дополнительные файлы