Middle Engineer
ст. инженер
Associate Professor
доц.
The paper considers the problem of efficient hardware implementation of nonlinear activation functions of neural networks under low-bit computing conditions. Standard activations, such as sigmoid and hyperbolic tangent, require resource-intensive floating-point operations, which limits their use on microcontrollers, FPGAs and other peripheral platforms. As a solution, an approach based on precomputed integer substitution tables (LUTs) is proposed to reduce computational complexity and power consumption. Using the example of the SiLU activation function widely used in popular object detection networks (e.g., YOLO), the quantisation procedure is demonstrated, the principles of constructing and using LUTs are formulated, and a practical algorithm for computing activations using them is described.
Рассматривается проблема эффективной аппаратной реализации нелинейных функций активации нейронных сетей в условиях низкоразрядных вычислений. Стандартные функции активации, такие как сигмоида и гиперболический тангенс, требуют ресурсоемких операций с плавающей запятой, что ограничивает их использование на микроконтроллерах, FPGA и других периферийных платформах. В качестве решения предложен подход на основе предварительно рассчитанных целочисленных таблиц подстановки (LUT), позволяющий сократить вычислительную сложность и потребление энергии. На примере функции активации SiLU, широко применяемой в популярных сетях детектирования объектов (например, YOLO), продемонстрирована процедура квантизации, сформулированы принципы построения и использования LUT, а также описан практический алгоритм вычисления функций активаций с их помощью.