Person identification by signature in the electronic document management system

Толық мәтін

Введение. Подпись - один из классических способов идентификации, который применяется в юридической практике, банковском деле и торговле. Как правило, подпись не повторяет обычное написание букв и имеет дополнительные элементы (росчерки, наложения букв и т. д.) [1]. Существуют два способа идентификации человека по подписи: идентификация по динамике подписи, вводимой в электронное устройство, и идентификация по изображению подписи на документе [2; 3]. В первом случае рассматривается одномерный сигнал, который формируется электронным пером. Во втором случае, как правило, нужно сравнить два изображения - эталонное и текущее. С этой задачей достаточно хорошо справляется человек, однако для автоматизации и оптимизации этого процесса необходимо использовать методы интеллектуальной обработки данных. Первым этапом для идентификации человека по изображению подписи является определение графических особенностей этой подписи. Для этого изображение подвергается предварительной обработке, после чего находится сама подпись и переводится в представление набора простых примитивов. Далее, анализируя векторную форму подписи, требуется найти некоторые особенности, которые бы позволяли идентифицировать человека по подписи. В целом предварительную обработку изображения можно разделить на несколько этапов: 1) получение исходного изображения; 2) фильтрация изображения и бинаризация; 3) мкелетизация изображения [4; 5]; 4) векторизация скелетного изображения. Предварительная обработка. Этапы предварительной обработки подписи напрямую зависят от качества изображения подписи. В частном случае изображение можно обрабатывать без предварительной обработки, но чаще всего необходимо выполнять различные операции для улучшения качества изображения подписи [6]. Четкого и определенного порядка работы фильтров нет, пользователь может выбирать его сам, однако последней операцией должна быть бинаризация, так как для дальнейшей обработки подписи необходимо именно бинаризованное изображение (рис. 1). Исходное изображение (рис. 1, а) получено с камеры низкого качества и поэтому нуждается в предварительной обработке фильтрами [7]. Для начала применяется нелинейная цветокоррекция (рис. 1, б) по следующей формуле: I = c-lg(I +1), (1) где I - значение яркости пикселя; c - коэффициент нелинейной коррекции (в данном примере коэффициент равен 2,2). После применения цветокоррекции обработаем изображение фильтром Гаусса [8] с маской размерностью 3x3 и применим фильтр Лапласа и бинаризацию (рис. 1, в). Как видно, на изображении все еще остаются лишние объекты. Данные объекты можно отсеять уже непосредственно на этапе скелетизации, задав минимальную размерность скелета. После применения алгоритма остается только скелет подписи (рис. 1, г). а б в г Рис. 1. Предварительная обработка изображения: а - исходное изображение; б - нелинейная цветокоррекция; в - бинаризированное изображение; г - изображение после удаления шумов Distance transform. Для получения скелетного изображения объекта применяется алгоритм Distance Transform [9]. Данный алгоритм основан на расчете расстояния между внутренними точками объекта и точками, лежащими на контуре объекта. Расстояние можно подсчитать по одной из трех метрик, например, по эвклидовой метрике расстояние рассчитывается по формуле D = -у/(х2 - хД2 +(y2 - Л)2 (2) где х1 и yi - координаты первой точки; х2 и y2 - координаты второй точки. Также можно использовать метрику City Block (выражение (3)) или метрику «шахматной доски» (выражение (4)): D = X - Х[| + |y2 - Ух I, (3) D = max(|х2 - XlMУ2 - Уі|). (4) (7) R-- 2п Исходя из выбранных метрик, рассчитываются «сильные» точки. Это точки с наибольшим значением метрики. После вычисления данных метрик необходимо рассчитать количество операций морфологического сужения, которое необходимо для того, чтобы данные точки остались. Однако перед этим нужно задать форму структурного элемента для операции сужения в зависимости от выбранной метрики [10]. Во всех трех метриках используется структурный элемент размерностью 3^3. Если выбрана метрика «шахматной доски», тогда форма структурного элемента будет Cs, если используется метрика City Block, то в форма структурного элемента определяется как Сс, а если принимается евклидова метрика, то форма структурного элемента будет Се (выражение (5)): Г1 1 1> "о 1 о ^ Г1 1 1> Cs = 1 1 1 V1 1 1J , Сс = 1 1 1 ѵо 1 о J , Се = 1 о 1 V1 1 1J . (5) После того, как выбран структурный элемент и подсчитано количество необходимых морфологических операций, необходимо обработать ими изображение. В результате выполнения алгоритма на выходе получается скелетное изображение обрабатываемого объекта. Графические характеристики подписи. После получения скелетного изображения можно приступать к расчету графических характеристик подписи. В данном подходе предлагается использовать матрицу расстояний как основную графическую характеристику [11]. На практике распознаваемый образ и образ-эталон, как правило, отличаются друг от друга масштабом, поворотом и сдвигом. Если последовательно выполнять все возможные геометрические преобразования (повороты, сдвиги и изменения масштаба) эталонного образа и при этом сравнивать результат преобразования с распознаваемым образом, то, в конце концов, можно зарегистрировать те параметры преобразований, при которых выступает наивысшее значение меры подобия. Ясно, что такой емкий подход, используемый, например, при распознавании отпечатков пальцев, относительно трудоемкий с вычислительной точки зрения. Данный метод строится не на сравнении самих образов или их базовых характеристик, а на сравнении инвариантов их геометрических преобразований. Сравнение нового образа с эталоном происходит за одну итерацию сразу после вычисления его инварианта. Как известно, расстояние между двумя точками на плоскости не изменяется при их синхронном сдвиге и повороте [12]. Это свойство можно использовать при построении инвариантов контурных образов на бинарных изображениях. Класс инвариантов вычисляется как расстояния между нормализованными координатами контурного образа. В качестве характеристики подписи формируется матрица расстояний, процесс вычисления которой можно представить следующим образом: 1) получение исходных координат вектора подписи (х„ yi), где i = 1, 2, ..., n, в форме вектора х, состоящего из n комплексных чисел: х = (х + У, -, хп + іУп); (6) 2) центрирование исходных данных относительно среднего значения: Хо = (х - х), где х - среднее значение вектора х; 3) вычисление нормированных координат по следующей формуле: хп = Re( хо) + і Іт(х0) , (8) шах(Яе(хо )) max(Im( хо )) где max - максимальный элемент; хо - центрированное среднее значение, полученное по формуле (7); 4) вычисление матрицы расстояний для всей совокупности нормированных координат: 1п (9) r r • • • r V n1 n2 mn J где Гц - расстояние между і-й и j-й координатами. а б Рис. 2. Примеры подписей одного человека и их матриц расстояний: а - образы подписей; б - матрицы расстояний подписей На рис. 2 приведены векторные образы подписей, различающиеся масштабом, поворотом и сдвигом и вычисленные матрицы расстояний для этих подписей [2]. Для наглядности отображения значения матрицы расстояния были нормированы в диапазоне о.255 и выведены изображения, где элементам матриц присвоены значения яркости пикселов (рис. 2, а). Сравнивая между собой полученные матрицы расстояний, можно отметить, что все они практически одинаковые [13]. Взаимная корреляция межу ними равна строго 1. При этом даже если пункт начала обхода каждого контура будет разным, значение взаимной корреляции не изменится, а пик ее сдвинется на то число строк и столбцов, которое будет соответствовать разнице в порядковых номерах пунктов начала обхода контуров. Сравнение двух изображений подписи сводится к сравнению полученных характеристик подписи. Сравнение базовых характеристик происходит по следующей формуле: \Х1 -Х2| < є, (10) где Х1 - значение характеристики эталона; Х2 - значение характеристики сравниваемой подписи; є - порог, заданный пользователем. Данная формула подходит для всех базовых характеристик, кроме центра подписи. Сравнение центра подписи осуществляются по формуле 4(x2 - x1)2 + (У2 - Уі)2 < Є (11) где x1 и y1 - значения центра сравниваемой подписи; x2 и y2 - значения центра подписи эталона. Сравнение матриц расстояний. При сравнении двух матриц расстояний вначале матрицы приводятся к одинаковой размерности. Матрица большой размерности уменьшается до размеров матрицы меньшой размерности, так как данное действие обеспечит наименьшие потери качества. В качества алгоритма масштабирования предлагается метод ближайшего соседа. Данный алгоритм заключается в том, что значение элемента в масштабируемой матрице рассчитывается исходя из значений окружающих его элементов. Значение элемента в новой матрице рассчитывается по формуле QewW[j] = Qew№ • i][*2 • j], (12) где i, j - координаты элемента матрицы; k1 и k2 - коэффициенты масштабирования, вычисляемые по формуле: k = к = Е°х, (13) 1 Hew 2 Wnew где Hoid и Woid - размеры исходной матрицы; Hnew и Wnew - размеры масштабируемой матрицы. После того как две матрицы приведены к одной размерности, можно произвести их сравнение. Для этого предлагается использовать S SIM-метрику [14]. SSIM-метрика - это метод полного сопоставления, иными словами, он проводит измерение качества на основе исходного изображения (несжатого или без искажений). SSIM-метрика является развитием традиционных методов, таких как PSNR и метод среднеквадратичной ошибки MSE, которые оказались несовместимы с физиологией человеческого восприятия [15]. Отличительной особенностью метода является то, что метод учитывает «восприятие ошибки», благодаря учету структурного изменения информации. Идея заключается в том, что пикселы имеют сильную взаимосвязь, особенно когда они близки пространственно. Значение SSIM-метрики считается по следующей формуле: (2• ч • а + c1)(2• a +c2) SSIM = -- у ---------- xy -, (14) (Р2 + Р У + c1)(a2 + a У + c2)5 где px - среднее по x; ру - среднее по у; p2x - диспер- 2 сия по х; ру - дисперсия по у; axy - ковариация по x и у. Значение метрики дает процентное соотношения эталона и образца. В зависимости от качества исходного изображения и количества эталонов выставляется пороговое процентное соотношение, при достижении которого эталон и образец считаются идентичными. Заключение. Для тестирования алгоритма был разработан программный продукт Signature Verifivation (рис. 3). Разработка велась с помощью Microsoft Visual Studio 2010, с использованием .NET Framework 3.5. и библиотеки OpenCV. Продукт состоит из 4 основных модулей: предварительная обработка, скелетизация, обработка подписи, сбор статистики. Программа позволяет запоминать и сохранять эталоны пользователя, а также ведет статистику по верно и неверно определенным подписям, как за отдельную выборку, так и за все время работы программы. Тестирование алгоритма № 1 2 3 4 5 6 7 8 9 10 Теоретическое совпадение, % 100 100 0 0 0 100 0 100 0 0 Результат работы алгоритма, % 99 94 12 10 5 87 5 74 19 3 Погрешность, % 1 6 12 10 5 13 5 26 19 3 Было проведено тестирование, в котором в качестве входных параметров выступали пары изображений (всего 10 пар), где первое изображение содержало эталон подписи (см. таблицу). По результатам тестирования было выявлено, что средняя погрешность алгоритма составляет 10 %. Рис. 3. Главная форма программы Таким образом, по результатам тестирования системы видно, что погрешность правильного распознавания подписи является приемлемой и не превышает 10 %. Для улучшения показателя возможна комбинация из предложенного алгоритма и алгоритма, анализирующего биометрические особенности динамической подписи. В случае если эталон подписи может быть получен не с изображения, а с любого другого источника ввода, эффективность алгоритма может повыситься.

Авторлар туралы

Roman Baranov

Siberian State Aerospace University named after academician M. F. Reshetnev; JSC ‘KZH Biryusa’

Email: zeatool@gmail.com
postgraduate student; software engineer 31, Krasnoyarsky Rabochy Av., Krasnoyarsk, 660014, Russion Federation

Әдебиет тізімі

Қосымша файлдар