Assessment of stability learning algorithms large artificial neural networks of biometric application

Full Text

Введение. На сегодняшний день известно порядка 100 алгоритмов обучения искусственных нейронных сетей [1; 2]. В конце XX в. было хорошим тоном предлагать эвристические алгоритмы обучения и их комбинации. При этом сравнить алгоритмы обучения искусственных нейронных сетей оказывается достаточно сложно. У тех, кто занимается обработкой изображений, существуют стандартные изображения, кочующие примерно 20 лет из одной работы в другую. Это вполне понятный органолептический подход к сравнению алгоритмов обработки изображений. Читатель сам решает, какая обработка лучше, если на одной странице приведено стандартное изображение после двух разных процедур обработки. К сожалению, в литературе по обучению искусственных нейронных сетей нет даже такого подхода. Отсутствуют стандартные (типовые) примеры распознаваемых образов, при обучении на которых можно было бы сравнить конкурирующие между собой алгоритмы обучения. Сложность проблемы сравнения алгоритмов обучения искусственных нейронных сетей обусловлена тем, что на них влияют как минимум пять составляющих: - информативность распознаваемого образа; - число учитываемых при распознавании параметров; - число примеров образа, используемых при обучении; - вычислительная сложность процедур обучения; - устойчивость процедуры обучения. Рассматривать влияние сразу всех факторов крайне трудно. Необходимо попытаться снизить число факторов, переопределив их один через другой. Желательно создать максимально сбалансированные многокритериальные показатели сравнения разных алгоритмов обучения. Актуальность этой задачи высока уже сегодня, в будущем актуальность будет увеличиваться. Каждому придется лично столкнуться с программными роботами, задачей которых будет надежное распознавание биометрического образа «Свой» и еще более надежное распознавание образов «Чужой» при охране персональной информации гражданина, находящейся в личных кабинетах и облачных хранилищах. Быстрое, устойчивое, экономичное обучение возможно, если иметь возможность численной оценки этих параметров обучения и планомерно осуществлять работы по их повышению. Сегодня очевидно, что предстоит значительная работа по совершенствованию алгоритма автоматического обучения по ГОСТ Р 52633.5-2011 [3]. Вводить какие-либо модификации в стандартный алгоритм обучения можно только в том случае, если они улучшат часть показателей, сохранив при этом высокий уровень других показателей. Обратимся к хорошо изученным преобразованиям линейной алгебры и математической статистики. Известно, что применительно к задаче биометрии можно использовать квадратичные формы [4]: e2 = (E(x) - x)T •[р]-1 • (E(x) - x), (1) где x - вектор из n биометрических параметров образа «Свой»; E(x) - вектор математических ожиданий биометрических параметров; [р] - квадратная матрица ковариационных функций контролируемых биометрических параметров. Решающее правило строится путем сравнения квадрата эллиптического расстояния (1) с некоторым порогом ©: z ^ «1», если e2 < ©, (2) z ^ «0», если e2 > ©. Квадратичная форма (1) при использовании решающего правила (2) создает некоторую поверхность в форме гиперэллипса с центром в точке математических ожиданий E(x ) контролируемых биометрических параметров. Внутри объема гиперэллипса решающее правило дает состояние «1», соответствующее распределению данных образа «Свой». Вне поверхности решающее правило дает состояние «0», соответствующее множеству данных образов «Чужой». В терминах биометрии обучению соответствуют процедуры вычисления элементов матрицы коэффициентов ковариации и процедура ее обращения. Очевидно, что для вычисления коэффициентов ковариации потребуется использовать к примеров образа «Свой». Чем больше требуется примеров в обучающей выборке, тем менее экономичной будет процедура обучения. С другой стороны, число примеров в обучающей выборке можно оценить, зная число обусловленности матрицы коэффициентов ковариации - cond[p]. Чем выше число обусловленности, тем больше примеров нужно использовать для вычисления коэффициентов ковариации. В первом приближении будем считать, что связь линейна, число примеров и число обусловленности - это показатель неустойчивости: k » cond [р]. (3) Тогда обратная величина будет иметь смысл показателя устойчивости (экономичности) процедур обучения: -Оуст » k » dï~"7. (4) k cond[р] Минимальное значение cond^] может быть единичным, т. е. предельно устойчивый алгоритм обучения должен обучаться на одном примере образа «Свой». Если для обучения необходимо 100 приме ров, то показатель устойчивости алгоритма обучения будет 0,01. Если алгоритм обучения не работает, его устойчивость нулевая. Это эквивалентно необходимости использовать при обучении бесконечное число примеров k = œ. При реализации любого решающего правила возникают ошибки первого рода (отказ в доступе «Своему») и ошибки второго рода (ошибочный пропуск 69 Вестник СибГАУ. 2014. N 3(55) «Чужого»). Биометрические системы легко сравниваются, если вероятности ошибок первого и второго рода одинаковы [5; 6]: Pi = Pi = Pe (5) Однако выполнить условие равной вероятности ошибок (5) для ряда биометрических систем технически невозможно. В связи с этим возможно оценивать равновероятную ошибку как среднее геометрическое двух ошибок [4]: Pe. (6) Чем меньше равновероятная ошибка, тем лучше биометрическая система и, соответственно, алгоритм ее обучения. С другой стороны, система и алгоритм тем хуже, чем больше он требует примеров для своего обучения. Учесть все это можно через использование следующего показателя качества: Q =- - logiC P) - logiC Pi) 2 • k (7) Очевидно, что комплексный показатель качества (7) оказывается способен учитывать множество параметров алгоритма обучения. Пользуясь им, можно сравнивать между собой любые алгоритмы обучения. Одним из технических приемов, позволяющих улучшить показатель качества алгоритма, является искусственное увеличение данных в обучающей выборке. Синтезированные дополнительные данные за рубежом [7] имеют устоявшееся название бутстрап-подмножеств. В России ГОСТ Р 52633.2-2010 [8] описывает процедуру синтеза данных примеров -потомков образа «Свой» из двух примеров-родителей. То есть сформировались два направления, использующие искусственное размножение данных в обучающей выборке. Практика показывает, что незначительное увеличение данных в обучающей выборке практически всегда приводит к положительному результату [9-11]. Однако существует некоторый оптимум числа дополнительно синтезированных данных. Избыточное раздувание размеров обучающей выборки синтезированными примерами образа «Свой» вредно. В связи с этим возникает вопрос, на какое число синтетических примеров может быть увеличена обучающая выборка. Предположим, что статистически доказано, что при 21 примере в обучающей выборке можно безопасно добавлять 4 дополнительных синтетических примера. То есть вместо 25 примеров мы можем достичь тех же самых показателей ошибок первого и второго рода на 21 примере. Последнее эквивалентно повышению показателя устойчивости алгоритма обучения (4) на 19 %. Получается, что в будущем возможно появление дополнения для уже созданных автоматов обучения еще одним дополнительным автоматом, который будет увеличивать обучающие выборки примеров «Свой» некоторым числом дополнительных синтетических примеров. Намечается тенденция явного усложнения (усиления интеллектуальности) средств обучения нейросетевых преобразователей биометрия-код. Блок-схема перспективного средства обучения нейросетевых преобразователей представлена на рисунке. Блок-схема средства с повышенной устойчивостью обучения за счет дополнения примеров в обучающей выборке 70 Математика, механика, информатика Из рисунка видно, что в дополнение к двум автоматам обучения одиночных искусственных нейронов нейросети необходимо иметь третий автомат размножения примеров образа «Свой». На сегодняшний день не существует средств обучения искусственной нейронной сети, способных оптимально увеличивать размеры обучающей выборки. Предположительно, что первые автоматы дополнения обучающих выборок будут строиться путем заполнения пустот в гистограммах исходных биометрических данных и иметь жесткие ограничения на число дополнительно созданных примеров. Таблицу ограничений для первых автоматов предполагается создавать с учетом мнения экспертов. Фактически предполагается свернуть некоторую экспертную систему принятия решений до двухмерной таблицы ограничений, учитывающей число примеров-родителей и показатели качества всего образа «Свой», вычисленные по ГОСТ Р 52633.1-2009 [12]. Следует подчеркнуть, что все вышесказанное относится к обычным бинарным искусственным нейронным сетям. Эти сети состоят из бинарных нейронов (сумматора и бинарного квантователя на его выходе). Однако в работах [13-15] показано, что перспективой является переход к нейронам с более сложными квантователями. В частности, на рисунке показан нейрон с трехпороговым выходным квантователем, имеющим 4 выходных состояния «00», «01», «10», «11». Переход к использованию квантователей с более чем двумя устойчивыми выходными состояниями приводит к значительному росту хеширующих свойств нейронов для образов «Чужой», однако за это приходится платить повышением требований к размерам обучающей выборки биометрических образов «Свой». Затронутая в данной статье проблема устойчивости алгоритмов обучения в ближайшем будущем будет обостряться. Таким образом, введение в биометрические приложения автомата размножения примеров образа «Свой» является одним из возможных решений задачи.

About the authors

Sergey Viktorovich Kachalin

Penza State University

Email: s.kachalin@gmail.com
postgraduate student

References

Supplementary files