The training set in the problem of pattern recognition using neural networks

Abstract

The article discusses approaches to the formation of the training sample in the problem of recognition of monochrome images. It is shown that the variation of the training sample, allows to reduce the error of neural network training. Practical recommendations for the formation of a training sample.

Full Text

Введение

В настоящее время не существует сферы человеческой деятельности, где бы ни применялись технологии распознавания образов или не планировалось применение. В качестве примера можно привести медицину, где по симптомам определяют болезнь, банковское дело, где принимается решение о выдаче кредита и т. д.

Одним из эффективных инструментов, применяемых для решения задач распознавания образов, являются нейронные сети [1]. При использовании нейронных сетей требуется выполнения двух этапов: формирование обучающей выборки и процесс обучения нейронной сети. Несмотря на свою простоту, первый этап является определяющим для качественного обучения нейронной сети.

Для демонстрации этого утверждения рассмотрим классическую задачу распознавания образов, заключающуюся в идентификации символов как рукописных, так и печатных. При этом подходы, которые используются для решения классической задачи, являются универсальными, то есть возможно применение для решения в других задачах распознавания образов.

Постановка задачи

Имеется база изображений рукописных цифр (ноль и один), приведённая к бинарному виду [2]. Размер каждого изображения 20 на 20 пикселей, например, цифра один выглядит следующем образом (рисунок 1):

Рисунок 1 – Изображение цифры один

математически это представляется в виде матрицы:

(1)

где  Image_ij– бинарная матрица, состоящая из i строк и jстолбцов, описывающая цифру один, t– номер изображения.

Всего изображений 1783 в том числе:

• 1702 нулей;
• 81 единица.

Требуется обучить нейронную сеть, которая смогла бы по изображению идентифицировать цифру, то есть ноль, либо один.

Решение задачи

Для решения задачи будем использовать многослойную нейронную сеть с одним скрытым слоем и сигмоидными функциями активации, представленную на рисунке 2.

Рисунок 2 – Архитектура нейронной сети

Для обучения весовых коэффициентов и выбора количества элементов в скрытом слое будем использовать модифицированный алгоритм обратного распространения ошибкии Алгоритм формирования оптимальной архитектуры многослойной нейронной сети[3, 4].

Для формирования обучающие выборки и, соответственно, входного слоя нейронной сети рассмотрим три варианта:

Вариант № 1

Размер обучающей выборки равняется количеству пикселей в изображении, то есть 400(20x20), соответственно, каждый нейрон входного слоя отвечает за один пиксель:

(2)

гдеTraining_it – обучающая выборка,          i=1...400 – количество нейронов входного слоя,     t – количество обучающих выборок.

Изображения отсортированы в следующем порядке: при t=1…81, изображение соответствует единице, остальные, при t=82...1783, – нулю.

Эталонные значения выберем произвольным образом из интервала (0:1), так как это множество значений, которые принимает функция активации нейронов, например:

(3)

Для обучения будем использовать ЭВМ со следующими характеристиками:

• частота процессора – 2500 гц;
• оперативная память – 2 гб;
• операционная система – windows7, 64 бит.

Время работы алгоритма обучения соответствует 600 секундам (10 минут).

На рисунке 3 представлен график ошибки обучения нейронной сети в зависимости от времени:

Рисунок 3 – График ошибки обучения нейронной сети

Как видно из рисунка 3, минимальная ошибка обучения, достигнутая при обучении, равняется 0.3. Используя архитектуру нейронной сети соответствующей минимальной ошибке, определим количество верно идентифицированных образов (выборка для теста соответствует обучающей), согласно следующему правилу:

0, если значение нейронной сети>0.5 (4)

1, если значение нейронной сети<0.5. (5)

Получаем 1761 положительных результатов (98,7%), проанализировав полученные результаты, можно сделать вывод, что он распознал верно все нули, в то же время некоторые единицы не верно.

Вариант № 2

Изменим расположение значений в обучающей выборке: изображения  приt=1…1702, соответствуют единице, остальные, при t=1703...1783, – нулю.

Не меняя параметры обучения, получаем следующий график ошибки обучения нейронной сети:

Рисунок 4 – График ошибки обучения нейронной сети

Используя архитектуру нейронной сети, соответствующей минимальной ошибке (0.4), определим количество верно идентифицированных образов. Получаем 1699 положительных результатов (95,2 %), проанализировав полученные результаты, можно сделать вывод, что он распознал верно все единицы, в то же время нули не все верно. Логично предположить, что на качество обучения и соответственно на идентификацию, влияет расположение изображений в обучающей выборке.

Вариант № 3

Изменим расположение значений в обучающей выборке: изображения , при t=1...2n+1 n=1...81, соответствуют единице, остальные нулю.

Не меняя параметры обучения, получаем следующий график ошибки обучения нейронной сети:

Рисунок 5 – График ошибки обучения нейронной сети

Используя архитектуру нейронной сети, соответствующей минимальной ошибке (1.45), определим количество верно идентифицированных образов. Получаем 1774 положительных результатов (99,5%), то есть чередование отличных друг от друга символов в обучающей выборке позволило повысить качество идентификации изображения.

Вариант № 4

Рассмотрим ещё один вариант формирования обучающей выборки: изображения при t=1...2n+1 n=1...1702, соответствуют единице, остальные нулю.

Не меняя параметры обучения, получаем следующий график ошибки обучения нейронной сети:

Рисунок 6 – График ошибки обучения нейронной сети

Используя архитектуру нейронной сети соответствующей минимальной ошибке (2.2), определим количество верно идентифицированных образов. Получаем 1779 положительных результатов (99,8 %), что позволяет использовать данную нейронную сеть на практике.

Заключение

В результате численных экспериментов была показана важность формирования обучающей выборки при обучении нейронных сетей. При различных вариантах формирования обучающей выборки, ошибка распознавания символов изменялась от 4,5 % до 0,2 %. По результатам проделанной работы, можно сделать следующею рекомендацию:

1. Длина обучающей выборки определяется согласно следующему выражению:

L=n∗m (6)

где n – количество образов для распознавания;   m – максимальное количество одного образа.

2. Формировать выборку для обучения нужно чередуя различные образы.