The training set in the problem of pattern recognition using neural networks

Abstract


The article discusses approaches to the formation of the training sample in the problem of recognition of monochrome images. It is shown that the variation of the training sample, allows to reduce the error of neural network training. Practical recommendations for the formation of a training sample.


Full Text

Введение

В настоящее время не существует сферы человеческой деятельности, где бы ни применялись технологии распознавания образов или не планировалось применение. В качестве примера можно привести медицину, где по симптомам определяют болезнь, банковское дело, где принимается решение о выдаче кредита и т. д.

Одним из эффективных инструментов, применяемых для решения задач распознавания образов, являются нейронные сети [1]. При использовании нейронных сетей требуется выполнения двух этапов: формирование обучающей выборки и процесс обучения нейронной сети. Несмотря на свою простоту, первый этап является определяющим для качественного обучения нейронной сети.

Для демонстрации этого утверждения рассмотрим классическую задачу распознавания образов, заключающуюся в идентификации символов как рукописных, так и печатных. При этом подходы, которые используются для решения классической задачи, являются универсальными, то есть возможно применение для решения в других задачах распознавания образов.

Постановка задачи

Имеется база изображений рукописных цифр (ноль и один), приведённая к бинарному виду [2]. Размер каждого изображения 20 на 20 пикселей, например, цифра один выглядит следующем образом (рисунок 1):

Рисунок 1 – Изображение цифры один

математически это представляется в виде матрицы:

                                      

(1)

где  Imageijбинарная матрица, состоящая из i строк и jстолбцов, описывающая цифру один, t– номер изображения.

Всего изображений 1783 в том числе:

  • 1702 нулей;
  • 81 единица.

Требуется обучить нейронную сеть, которая смогла бы по изображению идентифицировать цифру, то есть ноль, либо один.

Решение задачи

Для решения задачи будем использовать многослойную нейронную сеть с одним скрытым слоем и сигмоидными функциями активации, представленную на рисунке 2.

Рисунок 2 – Архитектура нейронной сети

 

Для обучения весовых коэффициентов и выбора количества элементов в скрытом слое будем использовать модифицированный алгоритм обратного распространения ошибкии Алгоритм формирования оптимальной архитектуры многослойной нейронной сети[3,4].

Для формирования обучающие выборки и, соответственно, входного слоя нейронной сети рассмотрим три варианта:

Вариант № 1

Размер обучающей выборки равняется количеству пикселей в изображении, то есть 400(20x20), соответственно, каждый нейрон входного слоя отвечает за один пиксель:

 

(2)

гдеTrainingit – обучающая выборка,          i=1...400 – количество нейронов входного слоя,     t – количество обучающих выборок.

Изображения отсортированы в следующем порядке: при t=1…81, изображение соответствует единице, остальные, при t=82...1783, – нулю.

Эталонные значения выберем произвольным образом из интервала (0:1), так как это множество значений, которые принимает функция активации нейронов, например:

 

(3)

Для обучения будем использовать ЭВМ со следующими характеристиками:

  • частота процессора – 2500 гц;
  • оперативная память – 2 гб;
  • операционная система – windows7, 64 бит.

Время работы алгоритма обучения соответствует 600 секундам (10 минут).

На рисунке 3 представлен график ошибки обучения нейронной сети в зависимости от времени:

Рисунок 3 – График ошибки обучения нейронной сети

Как видно из рисунка 3, минимальная ошибка обучения, достигнутая при обучении, равняется 0.3. Используя архитектуру нейронной сети соответствующей минимальной ошибке, определим количество верно идентифицированных образов (выборка для теста соответствует обучающей), согласно следующему правилу:

0, если значение нейронной сети>0.5 (4)

1, если значение нейронной сети<0.5. (5)

Получаем 1761 положительных результатов (98,7%), проанализировав полученные результаты, можно сделать вывод, что он распознал верно все нули, в то же время некоторые единицы не верно.

Вариант № 2

Изменим расположение значений в обучающей выборке: изображения  приt=1…1702, соответствуют единице, остальные, при t=1703...1783, – нулю.

Не меняя параметры обучения, получаем следующий график ошибки обучения нейронной сети:

Рисунок 4 – График ошибки обучения нейронной сети

 

Используя архитектуру нейронной сети, соответствующей минимальной ошибке (0.4), определим количество верно идентифицированных образов. Получаем 1699 положительных результатов (95,2 %), проанализировав полученные результаты, можно сделать вывод, что он распознал верно все единицы, в то же время нули не все верно. Логично предположить, что на качество обучения и соответственно на идентификацию, влияет расположение изображений в обучающей выборке.

Вариант № 3

Изменим расположение значений в обучающей выборке: изображения , при t=1...2n+1 n=1...81, соответствуют единице, остальные нулю.

Не меняя параметры обучения, получаем следующий график ошибки обучения нейронной сети:

 

Рисунок 5 – График ошибки обучения нейронной сети

 

Используя архитектуру нейронной сети, соответствующей минимальной ошибке (1.45), определим количество верно идентифицированных образов. Получаем 1774 положительных результатов (99,5%), то есть чередование отличных друг от друга символов в обучающей выборке позволило повысить качество идентификации изображения.

Вариант № 4

Рассмотрим ещё один вариант формирования обучающей выборки: изображения при t=1...2n+1 n=1...1702, соответствуют единице, остальные нулю.

Не меняя параметры обучения, получаем следующий график ошибки обучения нейронной сети:

 

Рисунок 6 – График ошибки обучения нейронной сети

 

Используя архитектуру нейронной сети соответствующей минимальной ошибке (2.2), определим количество верно идентифицированных образов. Получаем 1779 положительных результатов (99,8 %), что позволяет использовать данную нейронную сеть на практике.

Заключение

В результате численных экспериментов была показана важность формирования обучающей выборки при обучении нейронных сетей. При различных вариантах формирования обучающей выборки, ошибка распознавания символов изменялась от 4,5 % до 0,2 %. По результатам проделанной работы, можно сделать следующею рекомендацию:

  1. Длина обучающей выборки определяется согласно следующему выражению:

L=n∗m (6)

где n – количество образов для распознавания;   m – максимальное количество одного образа.

  1. Формировать выборку для обучения нужно чередуя различные образы.

About the authors

Vitaly M. Tatyankin

Yugra State University

Author for correspondence.
Email: bambar@bk.ru

Russian Federation, 16, Chehova street, Khanty-Mansiysk, 628012

Senior lecturer of the Department of Automated Information Processing Systems and Management, Institute of Control Systems and Information Technology, Yugra State University

Irina S. Dyubko

Yugra State University

Email: irishka_dyubko@mail.ru

Russian Federation, 16, Chehova street, Khanty-Mansiysk, 628012

Post-graduate student of the Department of Theory and Methodology of Physical Education, Institute of Humanities, Yugra State University

References

  1. Головко, В. А. Нейронные сети: обучение, организация и применение : учеб. пособие для вузов [Текст] / В. А. Головко ; под общ. ред. А. И. Галушкина. – Кн. 10. – М. : ИПРЖР, 2000.
  2. База изображений рукописных цифр MNIST [Электронный ресурс]. – Режим доступа : http://yann.lecun.com/exdb/mnist/ (дата обращения: 13.01.2015).
  3. Татьянкин, В. М. Модифицированный алгоритм обратного распространения ошибки [Текст] / В. М. Татьянкин // Приоритетные направления развития науки и образования : материалы III междунар. науч. – практ. конф. (Чебоксары, 04 декабря 2014 г.). – Чебоксары : ЦНС «Интерактив плюс», 2014 ; [Электронный ресурс]. – Режим доступа : http://interactive-plus.ru/e-articles/collection-20141204/collection-20141204-5263.pdf (дата обращения 01.06.2015).

Supplementary files

Supplementary Files Action
1.
Figure 1 - Image of the figure one

Download (2KB) Indexing metadata
2.
Figure 2 - Neural network architecture

Download (52KB) Indexing metadata
3.
Figure 3 - Error graph of neural network training

Download (49KB) Indexing metadata
4.
Figure 4 - Error graph of learning neural network

Download (43KB) Indexing metadata
5.
Figure 5 - Error graph of neural network training

Download (31KB) Indexing metadata
6.
Figure 6 - Error graph of neural network training

Download (34KB) Indexing metadata

Statistics

Views

Abstract - 359

PDF (Russian) - 146

Cited-By


Article Metrics

Metrics Loading ...

PlumX


Copyright (c) 2015 Tatyankin V.M., Dyubko I.S.

Creative Commons License
This work is licensed under a Creative Commons Attribution-ShareAlike 4.0 International License.

This website uses cookies

You consent to our cookies if you continue to use our website.

About Cookies