Neural networks are a deep confidence in comparison with the multilayer perceptron

Abstract

The article discusses the results of learning neural networks are deeply trust and training of multilayer perceptron. As a learning and test sample database is used MNIST.

Full Text

Введение

В настоящее время нейронные сети глубокого доверия входят в список 10 наиболее перспективных высоких технологий, которые в ближайшее время изменят человеческую жизнь. Большинство современных систем интеллектуальной обработки данных, разрабатываемых такими компаниями как Google, Microsoft, используют нейронные сети глубокого доверия, что подтверждает их высокий потенциал развития [1].

В России данная технология малоизвестна, поэтому в статье будет показаны значительные преимущества нейронных сетей глубокого доверия по сравнению с классическим подходом [2].

Постановка задачи

Обучить многослойный персептрон и нейронную сеть глубокого доверия. После обучений сетей, проверит качество работы на тестовой выборке.

Обучения нейронных сетей

В качестве обучающей и тестовой выборки выступает база изображений рукописных цифр MNIST [3]. Размер обучающей выборки – 60000 изображений, а тестовой – 10000 изображений. Данные изображения представляют собой картинку размером 28 на 28 пикселей, сам образ (цифра) на картинке не превышает размеров 20 на 20 пикселей. После отбора изображений, где образ соответствует размеру 20 на 20 пикселей, размер обучающей выборки составит 9700 изображений, а тестовой 1500 изображений.

Для обучений многослойного персептрона выберем архитектуру сети, представленную на рисунке 1.

Рисунок 1 – Архитектура многослойного персептрона

Входной слой представленного на рисунке 1 многослойного персептрона имеет 400 нейронов, то есть каждый нейрон отвечает за каждый пиксель изображения. Обрабатывающий слой содержит 1000 нейронов, это значение получено при использовании алгоритма описанного в [4]. Выходной слой содержит 10 нейронов, которые соответствуют цифрам от нуля до девяти. При обучении весовых коэффициентов будет использоваться модифицированный алгоритм обратного распространения ошибки, описанный в [5].

График ошибки обучения многослойного персептрона представлен на рисунке 2.

Рисунок 2 – Ошибка обучения персептрона

Используя архитектуру нейронной сети, соответствующей минимальной ошибке, определим количество верно идентифицированных образов: для обучающей выборки это 92 %, для тестовой 82 %. Эти результаты являются хорошими, если учитывать, что идентифицируются рукописные цифры, которые даже человеку затруднительно распознать. Пример таких цифр приведён на рисунке 3, которые взяты из тестовой выборки.

Рисунок 3 – Рукописные цифры

Для обучения нейронных сетей глубокого доверия с архитектурой 400-300-200-10, используется алгоритм, описанный в [1]:

1. Предобучаем нейронные сети методом послойного обучения, используя автоэкодерный подход: обучаем каждый нейронный слой как авто ассоциативную нейронную сеть с целью минимизации суммарной ошибки реконструкции информации. Для обучения используется алгоритм обратного распространения ошибки.
2. Осуществляется точная настройка с использованием алгоритма обратного распространения ошибки:

• Конструируется авто ассоциативная сеть с входным слоем X, скрытым слоем Y и выходным слоем X.

3. Обучается автоассоциативная сеть, например, при помощи алгоритма обратного распространения ошибки (как правило не более 100 эпох) и фиксируются синаптические связи первого слоя W
4. Берется следующий слой и формируется автоассоциативная сеть аналогичным образом.
5. Используя настроенные синаптические связи предыдущего слоя W1, подаем входные данные на вторую автоассоциативную сеть и обучаем ее аналогичным образом. В результате получаются весовые коэффициенты второго слоя W
6. Процесс продолжается до последнего слоя нейронной сети.
7. Берется последний слой нейронной сети и обучается с учителем.
8. Обучается вся сеть для точной настройки параметров при помощи алгоритма обратного распространения ошибки.

Обрабатывающие слои нейронной сети глубокого доверия выбраны случайным образом. После обучения нейронная сеть глубокого доверия верно идентифицировала 99 % обучающей выборки и 90 % тестовой выборки.

Заключение

Как показал численный эксперимент, нейронная сеть глубокого доверия способна запоминать почти всю обучающую выборку, при этом сохраняя обобщающие свойства, которые позволили верно идентифицировать 90 % неизвестных изображений. В то же время у многослойного персептрона результаты ниже, в среднем на 10 %. В связи с этим, подтверждается преимущество нейронных сетей глубокого доверия в сравнении с многослойным персептроном.