PARAMETRIC OPTIMIZATION METHOD FOR WIDE NEURAL NETWORKS USING GENETIC ALGORITHMS

Full Text

ВВЕДЕНИЕ Проблема параметрической оптимизации возникает в ходе решения многих прикладных технических задач, в том числе решаемых с использованием нейросетевых методов. В сложных практических задачах количество доступных параметров часто может достигать нескольких тысяч, а в ряде случаев десятков тысяч. Поэтому прежде чем перейти к непосредственному решению задачи, выделяют подмножество ключевых параметров, исключив параметры, которые не влияют или оказывают несущественное влияние на качество решения задачи. На первом шаге обычно используется экспертный подход, когда специалист в соответствующей предметной области самостоятельно исключает ряд несущественных, по его мнению, параметров. Этот шаг иногда пропускается, чтобы исключить человеческий фактор, особенно, если количество параметров не столь велико, чтобы перейти к следующему шагу. Второй шаг состоит в применении эвристических методов оптимизации, поскольку формальные методы обычно требуют слишком больших вычислительных затрат, которые чаще всего не достижимы. Нейросетевые модели часто имеют существенные ограничения на возможность применения методов параметрической оптимизации по двум причинам. Во-первых, изменение количества параметров требует изменить топологию нейронной сети, что является не всегда возможным, например, в случае аппаратной реализации нейросетевой модели. Во-вторых, максимально возможное количество параметров обычно ограничено доступными вычислительными ресурсами, как следствие, оптимизации подвергается только состав параметров, но не их количество, что делает такую оптимизацию недостаточно гибкой. Для решения обозначенных проблем в работе предлагается использовать метод представления данных в широких нейронных сетях с использованием алгебры гиперразмерных двоичных векторов. Применение данного метода обеспечит более гибкое представление параметров в нейросетевых моделях, что в свою очередь позволит использовать генетические алгоритмы для параметрической оптимизации, в ходе которой будет изменяться не только состав, но количество используемых параметров целевой задачи. ПРЕДСТАВЛЕНИЕ ДАННЫХ В ШИРОКИХ НЕЙРОННЫХ СЕТЯХ С ИСПОЛЬЗОВАНИЕМ АЛГЕБРЫ ГИПЕРРАЗМЕРНЫХ ДВОИЧНЫХ ВЕКТОРОВ Как было сказано выше, для обеспечения параметрической оптимизации в нейросетевых моделях предлагается использовать описанный автором в работе [1], метод представления данных в широких нейронных сетях с использованием алгебры гиперразмерных двоичных векторов, который позволяет нивелировать зависимость между размерностями параметрической и математической моделей. Проблема изменения не только состава, но числа параметров, решается в силу одного из свойств гиперразмерных векторов, а именно при константной длине гиперразмерного вектора наблюдается прямая зависимость количества хранимых элементов (количества бит исходного вектора) и вероятности возникновения ошибки при извлечении значения целевого бита исходного вектора. Таким образом, в ходе оптимизации решается проблема, которую можно кратко сформулировать как «что лучше больше или точнее?». Здесь речь идет о том, что при неизменной физической топологии нейронной сети (и, как следствие, константной длине гиперразмерного вектора параметров нейросетевой модели), чем больше параметров задачи использует нейросетевая модель, тем выше шанс возникновения ошибки в одном или нескольких параметрах, то есть ниже точность. Обратное также верно, чем больше точности требуется достичь при передаче параметров, тем меньшее количество параметров должно быть использовано в нейросетевой модели. Рассмотрим кратко, как именно планируется использовать данный метод, для представления значений динамически изменяемого подмножества параметров. Пусть значение каждого параметра целевой задачи представляет собой двоичный вектор константной длины. Тогда значения всех параметров в заданный момент времени будут представлять множество таких векторов. В ходе оптимизации требуется найти подмножество параметров, значения которых следует использовать для решения целевой задачи классификации или прогнозирования. При этом на вход нейронной сети подается вектор константной длины, который содержит в закодированном виде значения всех параметров искомого подмножества. В ходе кодирования предлагается использовать операции умножения и сложения алгебры гиперразмерных двоичных векторов [2] и следующие основные этапы кодирования: Синтезируем для всех разрядов вектора каждого параметра целевой задачи пару гиперразмерных двоичных векторов, соответствующих единичному и нулевому значению этого разряда. Формируем множество гиперразмерных двоичных векторов, соответствующих значению каждого из выбранных параметров. Для этого выбираем для значения каждого параметра один из двух гиперразмерных векторов (пар, полученных на первом этапе) в зависимости от значения соответствующего разряда параметра, а затем находим произведение выбранных векторов. Следует отметить, что здесь используется произведение из алгебры гиперразмерных векторов, которое определено, как поразрядное сложение по модулю два множителей. В результате получаем для каждого значения параметра свой гиперразмерный вектор. Находим гиперразмерный вектор, представляющий обобщенное значение всех значений выбранных параметров целевой задачи. Для этого находим сумму всех гиперразмерных векторов, полученных на предыдущем этапе. Сумма гиперразмерных векторов представляет собой поразрядную операцию, в ходе которой определяется наиболее часто встречающиеся значение в каждом разряде для всех слагаемых. В итоге получаем гиперразмерный вектор, представляющий собой закодированное представление всех значений выбранных параметров целевой задачи. Предложенный подход к кодированию значений параметров позволяет эффективно использовать эволюционные, генетические и другие эвристические алгоритмы для параметрической оптимизации нейросетевых моделей, поскольку в ходе такого кодирования формируется вектор значений параметров константной длины. Важно еще раз отметить, что в данном случае эти алгоритмы используются не для обучения, как в большинстве работ [3], [4], а для оптимизации параметров нейросетевых моделей. ИСПОЛЬЗОВАНИЕ ГЕНЕТИЧЕСКИХ АЛГОРИТМОВ ДЛЯ ПАРАМЕТРИЧЕСКОЙ ОПТИМИЗАЦИИ Представим искомое параметрическое подмножество представить в виде двоичного вектора - хромосомы или особи в терминах генетических алгоритмов [5], каждый разряд (ген) которого показывает включать (если равен единице) или не включать (если равен нулю) параметр в целевое подмножество. Схематично это можно изобразить следующим образом (рис. 1). Отображение множества параметров решаемой задачи на множество генов является биективным [6], поскольку каждому параметру соответствует ровно один ген, значение которого, в хромосоме показывает, включается ли параметр, соответствующий данному гену, в целевое подмножество параметров нейросетевой модели. Таким образом, каждая особь представляет параметрическую модель нейронной сети. В ходе работы генетического алгоритма происходит поиск наиболее приспособленной особи. Для этого вводят так называемую функцию приспособленности (аналог целевой функции из теории оптимизации [7]). При этом каждая особь выступает в качестве аргумента функции. Особь, для которой значение функции приспособленности максимально, считается наиболее приспособленной. Необходимо отметить, что функция приспособленности очень часто задается в виде алгоритма, однако формально это не вызывает проблем, поскольку любой алгоритм, согласно тезису Чёрча - Тьюринга, может быть вычислен на машине Тьюринга, а она в свою очередь может быть представлена в виде частично рекурсивной функции. В задаче параметрической оптимизации нейросетевой модели, решаемой в данной работе, в качестве значения функции приспособленности для заданной особи, которой является параметрическая модель, предлагается использовать долю успешно классифицированных/спрогнозированных образцов из тестовой выборки [8-10], после выполнения константного числа обучающих итераций нейронной сети (эпох обучения). Такой выбор функции приспособленности покажет насколько эффективно можно обучить нейронную сеть, использующую оцениваемую параметрическую модель, при константных вычислительных затратах на обучение. Таким образом, в очередной итерации генетического алгоритма примут участие только те параметрические модели, использование которых демонстрирует низкую долю ошибок классификации/прогнозирования, выполненной нейронной сетью. Теперь, когда определен способ представления параметрической модели в терминах генетических алгоритмов и выбрана функция приспособленности [11-12], необходимо определиться, как именно будут синтезироваться новые особи. Для этих целей обычно используют операции скрещивания, мутации и инверсии [13], в ряде случаев применяют более «экзотические» операции. В данной работе предлагается остановиться на классических реализациях указанных операций. Рассмотрим кратко выполнение каждой операции генетического алгоритма для его лучшего понимания. Операция скрещивания выполняется путем разделения хромосомы особи на две части (в ряде случаев на несколько частей - многоточечное скрещивание), в результате формируются два набора генов, один из которых с 50% вероятностью выбирается для особи-потомка [14-15]. Данная операция является основным механизмом сохранения генов наиболее приспособленных особей за счет того, что вероятность особи поучаствовать в скрещивании (размножении) прямо пропорциональна значению функции приспособленности, другими словами размножаются преимущественно более приспособленные особи. Операция мутации выполняется путем инверсии значений генов в хромосоме с определенной вероятностью [16]. При этом вероятность мутации выбирается в зависти от имеющихся вычислительных ресурсов, а точнее времени, за которое необходимо найти решение при имеющихся вычислительных ресурсах. Чем больше вероятность мутации, тем быстрее генетический алгоритм находит решение и тем ниже точность найденного решения. Данная операция является основным механизмом модификации генов существующих особей, именно она обеспечивает генетическое разнообразие нового поколения, в то время как операция скрещивания направлена на сохранение лучших генов потомков. Операция инверсии выполняется путем выбора двух случайных точек (аллель) хромосомы и изменения порядка генов между ними (используется обратный порядок, отсюда название - инверсия) [17-19]. При этом важно понимать, что в отличие от операции мутации никакой модификации ген не происходит, меняется лишь их порядок, то есть отображение множества параметров модели на множество генов. Данная операция позволяет переупорядочить гены, что обеспечивает существенное повышение эффективности операции скрещивания. Генетический алгоритм, обобщающий применение описанных выше операций применительно к задаче параметрической оптимизации представлен на (Рис. 2). На первом шаге алгоритма выполняется синтез случайных параметрических моделей [20], которые являются особями в терминах генетических алгоритмов. Далее происходит определение значений функций приспособленности. Это наиболее трудоемкий шаг, поскольку на нем происходит обучение нейросетевых моделей для новых параметрических моделей. После чего проверяется, не достигнуто ли требуемое значение функции приспособленности (в зависимости от специфики прикладной задачи точность классификации или прогнозирования, достигаемая с использованием полученных нейросетевых моделей). Последующие шаги представляют собой цикл из ряда классических операций генетического алгоритма, описанных ранее, в ходе которых формируется новое поколение особей, после чего основной цикл генетического алгоритма повторяется [21]. Предложенный алгоритм позволяет без участия эксперта в предметной области, соответствующей решаемой прикладной задаче, определить подмножество параметров, которое необходимо использовать при построении нейросетевой модели для решения целевой задачи. Применение генетических алгоритмов для параметрической оптимизации нейросетевых моделей стало возможным благодаря переходу от активно используемых в настоящее время глубоких нейронных сетей к широким нейросетевым моделям. Это в свою очередь позволило применить алгебру гиперразмерных двоичных векторов для представления переменного количества параметров целевой задачи в двоичном векторе константной длины. Таким образом, отпала необходимость изменения топологии нейросетевой модели в ходе параметрической оптимизации. При этом следует учитывать, что константное количество входов нейронной сети ведет к необходимости поиска баланса между количеством и составом используемых параметров целевой задачи и их точностью. Предложенный в данной работе метод параметрической оптимизации позволяет эффективно решать обозначенную проблему, обеспечивая выделение подмножества ключевых параметров в ходе решения целевой задачи. ЗАКЛЮЧЕНИЕ В работе был предложен метод параметрической оптимизации для широких нейронных сетей с использованием генетических алгоритмов, который позволяет определить подмножество ключевых параметров, используемых при решении сложных технических задач с использованием нейронных сетей. В основе данного метода лежит идея использования эволюционных методов оптимизации, в частности генетических алгоритмов, совместно с методом инвариантного представления данных в широких нейронных сетях с использованием алгебры гиперразмерных двоичных векторов, позволившим нивелировать зависимость между размерностями параметрической и математической моделей. Это позволило при неизменной топологии нейросетевой модели модифицировать количество ее параметров в ходе оптимизации, а эвристическая природа генетических алгоритмов устранила необходимость в привлечении экспертов предметной области решаемой технической задачи к процессу оптимизации. Таким образом, предложенный метод может использоваться для автоматизации процесса параметрической оптимизации для нейросетевых моделей без изменения их топологии и привлечения экспертов соответствующей предметной области.

About the authors

D. A Trokoz

Penza State Technological University

Email: trokoz@penzgtu.ru
Penza, Russia

References

Supplementary files