In many complex technical problems, the number of parameters available for analysis is in the thousands. At the same time, depending on the specifics of the problem being solved, usually the number of key parameters, that is, parameters that have a significant impact on the processes associated with the target problem, does not exceed several tens. However, determining a subset of these parameters from those available in itself is a difficult task, which in most cases is solved with the assistance of experts in the relevant subject area. This paper proposes a parametric optimization method that can be used for wide neural networks, that is, neural networks with a large number of neurons in a layer. This method uses evolutionary optimization methods, namely, genetic algorithms, together with the method of invariant data representation in wide neural networks, using the algebra of hyperdimensional binary vectors, due to which, when the number of parameters of a neural network model changes during optimization, its topology does not change. At the same time, the more parameters are included in the model, the less accurately their values are transmitted, thus, in the course of optimization, a balance is achieved between the composition, number and accuracy of the parameters of the target problem. The proposed method does not require the participation of an expert corresponding to the subject area, allowing the process of parametric optimization to be fully automated.
Во многих сложных технических задачах количество доступных для анализа параметров исчисляется тысячами. При этом в зависимости от специфики решаемой задачи обычно количество ключевых параметров, то есть параметров, оказывающих существенное влияние на процессы, связанные с целевой задачей, не превышает нескольких десятков. Однако определение подмножества этих параметров из доступных само по себе является сложной задачей, которое в большинстве случаев решается с привлечением экспертов соответствующей предметной области. В данной работе предлагается метод параметрической оптимизации, который может использоваться для широких нейронных сетей, то есть нейронных сетей с большим количеством нейронов в слое. Указанный метод использует эволюционные методы оптимизации, а именно генетические алгоритмы, совместно с методом инвариантного представления данных в широких нейронных сетях, использующим алгебру гиперразмерных двоичных векторов, благодаря которому при изменении количества параметров нейросетевой модели в ходе оптимизации не меняется ее топология. При этом, чем больше параметров включается в модель, тем менее точно передаются их значения, таким образом, в ходе оптимизации достигается баланс между составом, количеством и точностью параметров целевой задачи. Предлагаемый метод не требует участия эксперта, соответствующей предметной области, позволяя полностью автоматизировать процесс параметрической оптимизации.