Artificial neural network with modulation of synaptic coefficients

Abstract

The model of neural network based on artificial neuron with dynamic synaptic weights was constructed. As main model processes for changing the synaptic weights were chosen: weakening of a synaptic weight in the absence of synapse stimulation, and modulation of synapse with synchronous irritation of some other synaptic junction.

Full Text

Введение. Искусственные нейронные сети имеют исключительно широкую область применения. Они используются для решения таких задач, как распознавание образов и классификация, прогнозирование, кластеризация, аппроксимация функций, фильтрация шумов, автоматизированное управление и оптимизация, а также сжатие данных и построение ассоциативной памяти [1]. В рамках данной статьи основное внимание уделено задаче кластеризации: разбиению множества входных раздражений на кластеры, для которых в общем случае может быть неизвестно ни их количество, ни какие-либо характерные особенности отдельных кластеров. Эти два факта принципиально отличают задачу кластеризации от задачи классификации образов, поскольку для классификации заранее известно количество классов, а также к какому классу следует отнести каждый образ из обучающей выборки. Работу искусственного нейрона можно описать с помощью стандартного набора: N = (x(t), ω(t), R, y(t)). Раздражения на входах нейрона N формализуются в виде вектора x[N ](t) = (x1 (t), . . . , xn (t)), а значение на выходе нейрона y[N ](t) вычисляется с помощью весовых коэффициентов синапсов ω[N ](t) = (ω1 (t), . . . , ωn (t)) и функции R как y[N ](t) = R ( ωi (t) xi (t)). На практике искусственные нейроны обычно не рассматриваются в изоляции, а объединяются в сети {N1 , . . . , Nk } путём связывания входов и выходов разных нейронов. К примеру, наличие связи между выходом нейрона Nl и входом номер i нейрона Nj можно записать символьно: xi [Nj ](t + 1) = y[Nl ](t). Веса ω(t) являются ключевыми параметрами, отвечающими за работу искусственного нейрона. Если весовые коэффициенты могут меняться со временем (ω(t) = const) в модели, то соответствующий нейрон будет называться нейроном с динамическими связями, а в противном случае (ω(t) = const) — нейроном со статическими связями. 58 Искусственная нейронная сеть с модуляцией коэффициентов синапсов Обучение нейронной сети на решение конкретной задачи сводится к поиску оптимальных весовых коэффициентов ω для всех нейронов, которые входят в данную сеть. К примеру, для задачи классификации образов, когда заранее известны классы Cl1 , . . . , Clk и принадлежность объектов из обучающей выборки к классам x1 → Cl1 , . . . , xk → Clk , оптимальными будут такие веса ω, которые минимизируют погрешность ε = max |y(xi ) − Cli | классификации входных раздражений из выборки. Если же рассматривать задачу кластеризации, то оптимальными будут такие веса ω(t), которые дают максимальное разделение кластеров из обучающей выборки в смысле нормы выходного раздражения |y(xi ) − y(xj )|, то есть все объекты из обучающей выборки в оптимальном случае должны попасть в различные и достаточно удалённые друг от друга кластеры. В случае сетей со статическими связями поиск весовых коэффициентов ω(t) производится «извне» по отношению к самой модели. Примером может послужить алгоритм обратного распространения ошибки для обучения многослойной сети на решение задачи классификации образов (см. [1, 2]). Для сетей с динамическими связями процесс обучения сводится к повторной подаче данных на входы сети, а настройка коэффициентов ω(t) реализуется самой моделью. Примером правил для изменения ω(t) является так называемое обучение по Хеббу (см. [1]). Примерами подобных моделей являются самоорганизующиеся карты Кохонена (см. [3]). Отдельно от моделей искусственных нейронов стоят биологические модели нейрона. В отличие от моделей искусственных нейронов модели биологические строятся не для решения задач цифровой обработки информации, а для максимально точного воспроизведения процессов, протекающих в нервных клетках. Вход биологического нейрона обычно описывается как ток ионов Ij (t) через клеточную мембрану, возникающий при активации нейротрансмиттерами ионных каналов. Данные нейротрансмиттеры — это специальные сигнальные молекулы, которые выступают посредниками для передачи информации между нервными клетками через синаптическое пространство между нейронами. При этом сама передача осуществляется за счёт присоединения данных сигнальных молекул к специальным рецепторам на дендритах нейрона-приёмника. Если ставится задача провести некоторое соответствие между параметрами искусственных нейронов и биологических, то тогда величинам xj (t) в биологических моделях можно, к примеру, поставить в соответствие потоки нейротрансмиттеров в синапсе от аксона нейрона возбудителя, а весам ωj — чувствительность нейрона-приёмника к нейротрансмиттерам (количество активных рецепторов на мембране). При таком подходе, если известен ток ионов I, который вызывает один отдельный нейротрансмиттер (xj = 1), можно посчитать величину силы тока ионов в простейшем случае как Ij (t) = I · min(xj (t), ωj (t)). Биологический нейрон ограничен изолирующей клеточной мембраной как диэлектриком, внутри и вне которой сконцентрированы заряженные ионы, что позволяет рассматривать мембрану как конденсатор и ввести значение ёмкости Cm . Также нейрон реагирует на входной сигнал изменениями напряжения или разности потенциалов между аксоном нейрона и окружением, наблюдаемыми как периодические скачки. Величина напряжения представлена как Vm (t) и является искомым выходом нейрона y(t). Итоговую рабо59 М. Н. Н а з а р о в ту биологического нейрона можно описать дифференциальным уравнением, связывающим все вышеупомянутые величины. Примером такого уравнения может послужить Модель Ходжкина—Хаксли (см. [4]): Cm dVm (t) =− dt Ij (t). j Более сложные примеры моделей биологического направления представлены в работах [5–7]. Как это уже было отмечено, биологические модели нейронов строятся отнюдь не для решения задач цифровой обработки информации. Однако некоторые механизмы, которые изначально описывались и исследовались с помощью моделей биологических, при условии адаптации и упрощения могут быть использованы и для построения искусственных нейронных сетей. В рамках данной работы избран именно такой подход, и рассматриваться будут только классические искусственные нейроны с динамическими коэффициентами N = (x(t), ω(t), R, y(t)). При этом для описания динамики коэффициентов ω(t) были выбраны два биологических процесса, которые до этого рассматривались преимущественно только в биологических моделях. Это — ослабление синаптической связи при длительном отсутствии раздражения, а также модуляция синаптической связи синхронным раздражением со стороны модулирующего нейрона. Для формирования памяти на основе эффекта модуляции достаточно участия как минимум трех нейронов: сенсорного, модулирующего1 и реагирующего, изображённых на рис. 1. 1 2 1 2 1 synchronous impulse 3 3 2 modulated synapse 3 Рис. 1. Формирования памяти на основе эффекта модуляции: нейрон 1 — сенсорный, нейрон 2 — модулирующий, нейрон 3 — реагирующий 1 Модулирующий нейрон считается подключенным к аксону сенсорного нейрона в области, близкой к синапсу реагирующего нейрона. 60 Искусственная нейронная сеть с модуляцией коэффициентов синапсов До начала модуляции реагирующий нейрон не раздражался при получении сигнала от сенсорного нейрона (левая часть рис. 1). Модуляция связи между сенсорным и реагирующим нейронами происходит при одновременном поступлении раздражающих сигналов от сенсорного и модулирующего нейронов (центральная часть рис. 1). Эффект от модуляции заключается в увеличении активности синаптической связи между нейронами 1 и 3, что в результате позволяет нейрону 3 устойчиво реагировать на раздражение нейрона 1 (правая часть рис. 1). Если модуляция проводилась в течении короткого времени, то формируется кратковременная память, которая постепенно будет разрушаться без повторения модуляции. Однако, если модуляция проводилась достаточно долго, то она приводит к разрастанию связи между нейроном 1 и 3 и формированию долговременной памяти (подробности о данном механизме см. [8, 9]). 1. Описание модели нейрона. При построении модели искусственного нейрона для описания изменения весовых коэффициентов ω(t) были выбраны пять процессов: 1) положительная модуляция связи синхронным раздражением; 2) гипотетическая отрицательная модуляция; 3) ослабление связи при длительном отсутствии раздражения; 4) долговременное усиление связи (LTP) при длительном сильном входном раздражении; 5) долговременное ослабление связи (LTD) при длительном малом входном раздражении. Механизмы долговременного усиления и ослабления связи, известные также как Long Term Potentiation и Long Term Depression, являются классическими механизмами обучения по Хеббу (к примеру, см. [1, 9]). Полный список переменных и констант, необходимых для определения динамики искомого нейрона, представлен ниже. Константы модели: – n — количество входов нейрона; – k — количество уровней активности синапсов; – α+ , α− — коэффициенты чувствительности синапсов к модуляции; ω ω – βω — скорость разрушения кратковременной памяти; – Lω — порог чувствительности синапсов к модуляции (Lω > 0); – τ1 , . . . , τn — типы2 связей, где τi ∈ {+, −}; 1 k – ωm , . . . , ωm — коэффициенты долговременной памяти, расположенные в k 2 1 порядке возрастания ωm < ωm < · · · < ωm . Модельные переменные: – x(t) = (x1 (t), . . . , xn (t)) — значения на входах нейрона (xi (t) 0); – ω(t) = (ω1 (t), . . . , ωn (t)) — значения синаптических коэффициентов; – y(t) — значение на выходе нейрона. Модель нейрона строится для случая дискретного времени, и поэтому отклик y(t) нейрона на входные раздражения x(t) задаётся с использованием 2 Дополнительно к положительной модуляции вводится гипотетическая отрицательная модуляция, а синаптические связи разбиваются на два типа в зависимости от того, в какой модуляции они участвуют. 61 М. Н. Н а з а р о в классической формулы: i=n y(t + 1) = R ωi (t)xi (t) . (1) i=1 В этом выражении в качестве выходной функции R может быть использована любая из стандартных выходных функций (см. примеры [2]). При этом коэффициенты синапсов ω(t) также полагаются модельными переменными, а их значения будут изменяться3 с учётом текущего входного раздражения x(t) по формуле ωi (t+1) = ωi (t)+LT Pi (ωi , x)+Mi (ωi , x)−LT Di (ωi , x)−Fi (ωi , x)−Cli (x). (2) В уравнении (2) величины LT Pi (ωi , x) и LT Di (ωi , x) описывают долговременное усиление и ослабление связи, соответственно, коэффициент Fi (ωi , x) задаёт ослабление связи в синапсе в отсутствии повторной стимуляции, величина Mi (x, ωi ) описывает положительную модуляцию, а Cli (x) задаёт уменьшение ωi (t) в ходе модуляции связями отрицательного типа. Для отрицательной модуляции, ввиду её гипотетического характера, применяется упрощенная схема: элементарное модулирующее воздействие со стороны связи j уменьшает все коэффициенты нейрона ωi на величину, прямо пропорциональную раздражению модулирующей связи xj (t). Дополнительно постулируется, что общее воздействие ∆Cli является суммой элементарных, 1 а итоговая модуляция Cli не может сделать коэффициент ωi меньшим ωm : ∆Cli (x) = α− ω xj (t), (3) j:τj =(−) Cli (x) = 1 ∆Cli (x), если ωi (t) − ∆Cli (x) > ωm , 1 1 ωi (t) − ωm , если ωi (t) − ∆Cli (x) ωm . Замечание. Поскольку отрицательная модуляция носит гипотетический характер, для неё вводится собственный коэффициент чувствительности α− в ω формуле (3), так как использование для неё коэффициента чувствительности α+ от положительной модуляции было бы никак не обосновано. ω Для положительной модуляции используется схема, ориентированная на совместимость с биологическим прототипом (ориентация на работу [8]). В первую очередь, для получения эффекта на ωi суммарное модулирующее воздействие Si (x) должно превысить порог чувствительности (|ωi |Lω ): Mi (ωi , x) = α+ · ξ (Si (x) − Lω |ωi |) . ω (4) В этом выражении функция ξ(x) = xσ(x), где σ(x) — функция Хевисайда. Замечание. Отметим, что без введения порога Lω |ωi | в уравнение (4) даже самое слабое модулирующее воздействие могло бы увеличивать ωi до 3 Как альтернативу, вместо дискретного времени и разностных уравнений можно использовать непрерывное время и дифференциальные уравнения для ωi (t). 62 Искусственная нейронная сеть с модуляцией коэффициентов синапсов бесконечности, что противоречит данным о динамике модельного прототипа (см. [8]). Для вычисления суммарного воздействия Si (x) воспользуемся упрощенной схемой, полагая4 его равным сумме элементарных. В свою очередь, отдельное элементарное воздействие со стороны связи j положительного типа (τj = (+)) на произвольную связь i будем считать равным xi (t)xj (t). Итоговая формула для Si (x) с учётом всех упрощений будет предельно простой: Si (x) = xi (t)xj (t). j:τj =(+) i=j В отсутствии повторной стимуляции (при xi (t) = 0 и Cli (x) = 0) коэффициент ωi (t) должен постепенно уменьшаться, моделируя потерю кратковременной памяти, и в пределе стремиться к ближайшему уровню долговременной j j памяти wm : wm < ωi (t). Из этих требований получаем выражение для Fi : ∆Fi (x) = βω (1 − σ(xi (t))) (1 − σ(Cli (x))) , (5)  j j j+1 ∆Fi (x), если ∃j : ωm ωi < ωm ∧ ωi − ∆Fi > ωm ,     j j j j+1 ∧ ωi − ∆Fi ωm , (6) Fi (ωi , x) = ωi − ωm , если ∃j : ωm ωi < ωm ∆F (x), если ω k k  i ωi ∧ ωi − ∆Fi > ωm ,  m   k k k ωi − ωm , если ωm ωi ∧ ωi − ∆Fi ωm . Использование линейной зависимости в формуле (5), так же как и исключение из неё ωi , носит технический характер и не имеет под собой строгих оснований. Для описания процессов долговременного усиления связи воспользуемся следующей упрощённой схемой: будем считать, что усиление происходит только при достаточно сильном входном раздражении xi (t) > Lω |ωi (t)| и стре1 k мится поднять значение ωi не выше, чем арифметическое среднее (ωm +ωm )/2 крайних значений уровней долговременной памяти: ∆LT Pi (ωi , x) = α+ ξ (xi (t) − Lω |ωi |) (1 − σ(Cli (x))) , ω  k 1  ∆LT Pi (ωi , x), если ωi + ∆Fi < ωm + ωm , 2 LT Pi (ωi , x) = k 1 k 1 ωm + ωm  ωm + ωm  − ωi , если ωi + ∆Fi . 2 2 Долговременное ослабление связи будет происходить в том случае, если связь подвергается слабому, но при этом отличному от нуля воздействию. При этом нужно учесть, что значение ωi в результате ослабления не должно становить1 ся меньше уровня долговременной памяти ωm : ∆LT Di (ωi , x) = βω xi (t)σ (Lω |ωi | − xi (t)) (1 − σ(Cli (x))) , LT Di (ωi , x) = 1 ∆LT Di (ωi , x), если ωi (t) − ∆LT Di (ωi , x) > ωm , 1 . 1 , если ωi (t) − ∆LT Di (ωi , x) ωm ωi (t) − ωm 4 Применительно к биологическому прототипу подобный выбор Si (x) и элементарного воздействия можно считать верным в первом приближении. 63 М. Н. Н а з а р о в 2. Выбор параметров и обучение нейрона. Перед тем как переходить к вопросам о построении нейронных сетей на основе модели (1)–(6), рассмотрим работу отдельного изолированного нейрона. Замечание. Отметим, что основная задача, на решение которой можно потенциально «настроить» отдельный изолированный искусственный нейрон с динамическими коэффициентами, — это задача кластеризации образов. Существует два варианта определения данной задачи. Кластеризация в сильном смысле заключается в разделении обучающей выборки x1 , . . . , xl на фиксированное количество уровней квантования, каждому из которых будет соответствовать свой кластер y 1 , . . . , y l . Для проведения кластеризации в сильном смысле в качестве передаточной функции R можно использовать ступенчатую функцию (основные параметры функции — ступени s1 , . . . , sl ):  0, если x < s1 ,  Rs1 ,...,sl (x) = si , если si x < si+1 (i < l),  s , если s x. l l Кластеризация в слабом смысле сводится к простому разделению обучающей выборки x1 , . . . , xl на обязательно различные кластеры y 1 , . . . , y l . Однако никаких условий на конечное количество уровней квантования в данном случае не накладывается, и поэтому другое раздражение x не обязано на выходе давать один из данных откликов y 1 , . . . , y l , а может дать новый y. При этом близость x к соответствующему элементу обучающей выборки xj определяется по норме выходного раздражения |y−y j |. Данная кластеризация позволяет оценить, какие раздражения нейрон с динамическими коэффициентами способен в принципе отличить друг от друга. Для проведения кластеризации в слабом смысле в качестве передаточной функции R можно выбрать положительную линейную функцию R(x) = ξ(x − s0 ) = (x − s0 )σ(x − s0 ), где σ — это функция Хевисайда, а s0 — порог чувствительности нейрона. Поскольку модель (1)–(6) включает процессы перестройки коэффициентов синапсов ωi (t), алгоритм обучения нейрона может быть сведён к повторной стимуляции входов обучающими сигналами. Как следствие, до начала обучения нужно определить только значения параметров нейрона и временной режим для реализации обучения. Для выбора значений параметров нейрона в первую очередь требуется указать, на какой диапазон входных значений будет рассчитан итоговый нейрон. Чтобы одни и те же параметры нейрона могли быть использованы для разных диапазонов входных значений xj (t), необходимо и достаточно ввести норму для входных значений, зафиксировать максимальную норму N нейрона и нормировать раздражения xj (t) на N . Поскольку для значений на входах нейронов xi (t) в модели допускаются только неотрицательные значения ∀ixi (t) 0, для всего набора x(t) можно ввести норму по формуле x(t) = n xi (t). i=1 После того как максимальная норма входного воздействия N для модели нейрона была выбрана, для произвольной выборки входных воздействий x1 , . . . , xl можно осуществить нормирование как xi = xi N 1/max xj N j 64 . Искусственная нейронная сеть с модуляцией коэффициентов синапсов Не имея подробных данных о выборке, найти оптимальные значения параметров в общем случае непросто. Однако, если зафиксировать максимальную норму N , число входов n и средний размер выборок l, то можно примерно оценить порядки величин для параметров нейрона по нижеследующему алгоритму. Шаг 1. Для среднего размера обучающих выборок l можно взять количество отсчетов долговременной памяти k ∼ [l/n] + 2, где [x] — целая часть x. Шаг 2. Выбор порога Lω влияет на масштаб модулирующих воздействий относительно значений коэффициентов ωi . На практике вполне допустимо выбирать их одного масштаба: Lω = 1. k Шаг 3. Максимальный уровень долговременной памяти ωm выбираем с расчётом на раздражение максимальной нормы. Рассматривая случай предельного распределения x1 (t) = . . . = xn (t) = N /n максимальной нор2 k мы между всеми входами, получаем ωm = (n − 1) N/n . Шаг 4. Если допускаются отрицательные коэффициенты, то минимальный 1 k 1 1 уровень ωm установим5 в ωm = −0.3ωm , а иначе ωm = 0. 1 < ω 2 < . . . < ω k уровней долговременной Шаг 5. Остальные значения ωm m m k 1 памяти возьмём равномерно распределенными на отрезке ωm , ωm . Шаг 6. Если известна минимальная норма входных сигналов N , то можно выбрать βω ∼ 0.1(N /n), а в противном случае βω ∼ 0.001(N /n). К примеру, если используется βω ∼ 0.1(N /n), то получится, что время на нейтрализацию одной итерации слабого воздействия будет занимать примерно 10 итераций. Деление на n в обоих выражениях позволяет учесть предельный случай распределения общей нормы между всеми входами: x1 (t) = . . . = xn (t) = N /n. Шаг 7. Ввиду гипотетического характера отрицательной модуляции подбор оптимального коэффициента α− может быть весьма затруднителен. ω На практике для него были чаще всего использованы значения α− ∈ 0.001N , 0.1N . ω Шаг 8. Выбор коэффициента α+ будет однозначно задавать время tα , за коω торое постоянное раздражение на входах окажет максимальный эффект на нейрон. Для предотвращения переобучения нейрона коэффициент пластичности следует брать в диапазоне: 0.05 α+ 1. ω Шаг 9. Связи отрицательного типа актуальны только для задач построения нейронных сетей. Для отдельного изолированного нейрона все связи можно взять положительного типа τi = (+)∀i = 1, n. Как вариант, можно зарезервировать одну отрицательную связь τn = (−), чтобы с её помощью осуществлять сброс коэффициентов нейрона при необходимости. Замечание. Отметим, что если ставится задача подготовить модель нейрона для кластеризации в сильном смысле, то потребуется дополнительно оговорить выбор передаточной функции6 R. После шага 9 искусственный нейрон будет подготовлен для обучения ре5 Данное значение не имеет строгого обоснования, и было выработано на основании экс1 периментов со значениями для ωm . 6 Обычно это сводится к выбору ступеней s1 , . . . , sl , если используется ступенчатая функция. 65 М. Н. Н а з а р о в шению задачи кластеризации в слабом смысле. Пусть для обучения была зафиксирована выборка x1 , . . . , xl раздражающих стимулов (xi = (xi , . . . , xi )). n 1 В случае кластеризации в слабом смысле задача распознания состоит в получении гарантированно отличающихся откликов y1 , . . . , yl на все входные стимулы от обучаемого нейрона. Для определённости будем считать, что для решения задачи был выбран нейрон с максимальной нормой входного раздражения N , а входные раздражения x1 , . . . , xl нормированы на N . Дополнительно оговорим, что на шаге 2 для этого нейрона минимальный уровень долговременной памяти должен 1 быть установлен в ωm = 0. В этом случае обучение нейрона распознанию 1 , . . . , xl при фиксированном максимальном времени на обучении выборки x tmax можно разбить на несколько этапов. Этап 1. Устанавливаются начальные значения ω(0) = 0 для всех весов. Этап 2. По очереди подаём раздражения x(0) = x1 , . . . , x(l − 1) = xl и регистрируем значения на выходе нейрона y(0), . . . , y(l − 1). Этап 3. Осуществляем сравнение y(0), . . . , y(l − 1) между собой. Если все они различны, то можно считать что задача была решена. В противном случае возвращаемся к этапу 2 и подаём каждое раздражение два раза подряд x(l) = x(l + 1) = x1 . . ., x(2l) = x(2l + 1) = xl . Будем продолжать данный процесс, увеличивая длительность раздражения на каждой итерации вплоть до предельного значения tα = [1/α+ ], до тех ω пор, пока не добъёмся успешного обучения либо пока число итераций не превысит tmax . Рассмотренный алгоритм обучения можно легко обобщить на случай распознания видеорядов x1 (t), . . . , xl (t) ∀t ∈ [0, tl ], где tl — длительность7 отдельного xj (t). Для предотвращения переобучения нейрона после подачи каждого из видеорядов xj (t) целесообразно дать время нейрону на сброс коэффициентов до ближайших уровней долговременной памяти. Этот сброс можно реализовать, если подавать на входы нейрона нейтральный импульс x0 = (0, . . . ,0) k в течение времени tβ ∼ ωm /(βω k) . Для наглядной демонстрации возможностей искусственного нейрона рассмотрим задачу кластеризации видеоизображений на конкретных примерах. Постановка эксперимента. Отдельный кадр изображения будем описывать матрицей из нулей и единиц размера 10 на 10. На рис. 2 единицы представлены чёрными ячейками, а нули серыми и белыми. Для распознания видеоизображений x1 (t) и x2 (t) из примера на рис. 2 мы выберем искусственный нейрон с числом входов n = 100 и максимальной нормой N = 20. Собственно сами видеоизображения x1 (t) и x2 (t) представляют собой перемещение соответственно квадрата и креста из левого верхнего в правый нижний угол со скоростью v = 1/2 клеток в единицу времени относительно двух неподвижных квадратов (см. рис. 2). Результаты эксперимента. Видеоизображения x1 (t) и x2 (t) в ходе базовой части эксперименты были кластеризованы как различные. Затем к выборке были добавлены видеоизображения x3 (t) и x4 (t), которые представляют собой перемещение квадрата и креста в обратную сторону (из нижнего угла в верхний). Было установлено, что нейрон не будет различать x1 (t) и x3 (t), 7 66 Подача на вход элемента выборки xj (t) будет занимать tl тактов времени. Искусственная нейронная сеть с модуляцией коэффициентов синапсов t=0 t=2 t = 20 ... x1(t) : ... ... ... x2(t) : ... ... Рис. 2. Пример обучения искусственного нейрона на распознание видеорядов а также x2 (t) и x4 (t). Это означает, что в данной постановке задачи нейрон нечувствителен к направлению перемещения. Вторая модификация исходной задачи заключалась в рассмотрении перемещения x5 (t) и x6 (t) тех же объектов по тем же траекториям, но с большей скоростью v = 1. Для этого примера x5 (t) и x6 (t) нейрон выдал новые зна´ чения на выходе, которые не совпали с предыдущими, и таким образом он оказался чувствительным к скорости перемещения объектов. Последняя модификация исходного эксперимента заключалась в перемещении деформированного квадрата по той же траектории (см. рис. 3). Для последнего примера x7 (t) нейрон также выдал новое значение на выходе, и тем самым оказался чувствительным к форме перемещаемого объекта, а не только к его размеру. t=0 t=2 t = 20 ... x7(t) : ... ... Рис. 3. Пример видеоряда с перемещением деформированного квадрата Замечание. Отметим, что возможность анализа видеоизображений является важной особенностью данной модели искусственного нейрона. Для классических моделей отдельный нейрон в принципе не способен анализировать видеоизображения, и подобную задачу способны решать лишь нейронные сети из классических нейронов с динамическими коэффициентами. В первую очередь это связано с тем, что механизмы кратковременной и долговременной памяти в таких сетях не моделируются на уровне отдельного нейрона. 3. Описание модели нейронной сети. При построении сетей из искусственных нейронов возникают два ключевых вопроса, на которые классическая теория не даёт ответа: сколько нужно взять нейронов, как распределить их 67 М. Н. Н а з а р о в по слоям и по какому принципу вводить связи между нейронами. В рамках данной работы был предложен вариант модели нейронной сети с адаптивными связями, чьё количество настраивается самой сетью на протяжении её работы. Принцип, который положен в основу этого адаптивного механизма, — это подстройка возбудимости нейронов из сети: если возбудимость меньше пороговой, то увеличивать её, а если ниже, то уменьшать. В дополнение к уже определенным параметрам отдельного нейрона для описания нейронной сети добавим константы нейронной сети: – p — количество входов нейронной сети; – l — количество слоёв нейронной сети; – n1 , . . . , nl — количество нейронов в отдельных слоях; – Rn1 , . . . , Rnl — выходные функции для отдельных слоёв; – P+ — вероятность добавления рекуррентной связи; m – P− — вероятность удаления отрицательной или слабой связи (ω < ω2 ); 8 для отдельного нейрона; – (ymax , tmax ) — максимальная возбудимость – (ymin , tmin ) — минимальная возбудимость для отдельного нейрона; переменные нейронной сети: – In1 (t), . . . , Inp (t) — значения на внешних входах нейронной сети; i – Nj (t) = (c(i,j) (t), τ (i,j) (t), x(i,j) (t), ω (i,j) (t), y (i,j) (t)) — состояние нейрона номера j в слое i, где i = 1, l; j = 1, ni . При этом для отдельного нейрона N допускается использование обозначений c[N ](t), τ [N ](t), x[N ](t), ω[N ](t), y[N ](t) как обращение исходной записи. Ключевым отличием описания нейрона N в рамках сети от модели отдельного нейрона является введение переменных c(t) = (c1 (t), . . . , cn (t)) для описания соединений нейрона N . Для каждого ci [N ] возможны три варианта: 1) ci [N ](t) = (0, 0), тогда xi [N ](t) = 0, и на входе i обрыв связи; 2) ci [N ](t) = (0, j), тогда xi [N ](t) = Inj (t); a 3) ci [N ](t) = (a, b), тогда xi [N ](t) = y[Nb ](t − 1). На рис. 4 для наглядной демонстрации всех возможных типов соединений 2 представлен пример нейронной сети. Для N1 случая обрыва связи зарезервирован инIn1 декс (0, 0). На рис. 4 изображены обрывы: 1 In2 N1 2 2 2 c2 (N1 ) = c2 (N2 ) = c2 (N3 ) = (0, 0). Вто1 In3 рой нейрон из первого слоя N2 на рис. 4 2 3 N2 N1 подключён к третьему входу второго нейIn4 2 рона из второго слоя N2 . Сокращённо 1 In5 2 ) = (1, 2). В нейN2 можно записать: c3 (N2 In6 ронных сетях в общем случае могут быть 2 определены и рекуррентные связи, такие N3 2 2 как c1 (N1 ) = (3, 1) и c3 (N3 ) = (3, 1). Внешние входы In1 (t), . . . , Inp (t) в Рис. 4. Пример нейронной сети нейронной сети подключаются с помощью специально зарезервированных индексов (0, 1), . . . , (0, p). Обращаясь вновь 8 Пара (y, t) позволяет описать желаемую возбудимость за счёт фиксации суммарного значения y на выходе нейрона за время t. 68 Искусственная нейронная сеть с модуляцией коэффициентов синапсов 1 1 к примеру на рис. 2, имеем c2 (N2 ) = (0, 5), что означает x2 (N2 )(t) = In5 (t). Помимо уравнений (1)–(6) для пересчёта состояния каждого отдельного i входящего в сеть нейрона Nj (t) будут также использованы два набора правил для адаптивной перестройки соединений между нейронами. Правила для максимального раздражения. Если суммарное значение i i на выходе нейрона Nj за время tmax становится tmax y[Nj ](t − h) > ymax , то h=0 i+1 1) выбираем любой нейрон Na из слоя i + 1, который не связан прямой i : ∀b c [N i+1 ] = (i, j) и у которого есть хотя бы одна пустая связью с Nj b a i+1 i+1 i связь ch [Na ](t) = (0, 0); между нейронами Na и Nj (t) создаём ноi+1 i+1 вую положительную связь: ch [Na ](t + 1) = (i, j), τh [Na ](t + 1) = (+) i+1 ](t + 1) = 0; и ωh [Na i i 2) если у Nj нейрона есть хотя бы одна пустая связь ch [Nj ](t) = (0,0), то с вероятностью P+ мы однократно выполняем следующие действия: i+a i выбираем любой нейрон Nb , где a > 0 и с которым Nj (t) не имеет i+1 отрицательрекуррентных связей, и устанавливаем с нейроном Na i i ную связь ch [Nj ](t + 1) = (i + a, b) и τh [Nj ](t + 1) = (−); i 3) если у нейрона Nj есть хотя бы одна слабая связь положительного i i m a типа с другим нейроном Nb , т. е. ch [Nj ](t) = (a, b), ωh [Nj ](t) < ω2 и i τh [Nj ](t) = (+), то с вероятностью P− удаляем любую из этих связей, i i полагая ch [Nj ](t + 1) = (0, 0) и ωh [Nj ](t + 1) = 0. Правила для минимального раздражения. Если суммарное значение на i i выходе нейрона Nj за время tmin становится tmin y[Nj ](t − h) < ymin , то h=0 i нейрона есть хотя бы одна пустая связь c [N i ](t) = (0, 0), то 1) если у Nj h j с вероятностью P+ мы выполняем однократно следующие действия: i+a i+a выбираем любой активный нейрон Nb , где a > 0, y[Nb ](t) > 0 и с i (t) не имеет рекуррентных связей, и устанавливаем с ним которым Nj i i положительную связь ch [Nj ](t + 1) = (i + a, b) и τh [Nj ](t + 1) = (+); i 2) если у нейрона Nj есть хотя бы одна связь отрицательного типа с друa , т. е. c [N i ](t) = (a, b) и τ [N i ](t) = (−), то с вероятгим нейроном Nb h h j j i ностью P− удаляем любую из этих связей, полагая ch [Nj ](t+1) = (0,0). Данным формальным правилам можно дать следующую интерпретацию. i Если нейрон Nj длительное время подвергается регулярному и достаточно сильному раздражению, то он «проращивает» новую связь с j + 1 слоем для более эффективной передачи актуального раздражения, а также пытается понизить свою возбудимость либо за счёт удаления с вероятностью P− слабых положительных связей, либо за счёт добавления с вероятностью P+ отрицательных рекуррентных связей. i Если нейрон Nj длительное время покоится и практически не подвергается раздражению, то он пытается повысить свою возбудимость либо за счёт удаления с вероятностью P− любой отрицательной связи, либо за счёт создания с вероятностью P+ новой рекуррентной положительной связи. Замечание. Для разных слоёв нейронов допускаются разные выходные функции Rn1 , . . . , Rnl , но только положительно определённые: ∀i, j, t y (i,j) (t) 0. 69 М. Н. Н а з а р о в Заключение. Основной вопрос при использовании сетевой модели на практике заключается в выборе параметров (ymax , tmax ) и (ymin , tmin ). Не имея подробных данных по обучающей выборке, можно взять tmin = tmax = tα = = [1/α+ ] и примерно оценить ymin ∼ 0.01 min max Rni (x)tmin , а ymax ∼ 50 ymin . ω i x Вероятности добавления и удаления связей не следует выбирать очень большими, так как это может приводить к переобучению и деградации системы. К примеру, для обучающих выборок из менее чем 1000 значений можно взять следующие величины этих вероятностей: P+ = 0.4 и P− = 0.2. При этом алгоритм обучения нейронной сети на задачи распознания образов или видеорядов практически ничем не будет отличаться от аналогичного алгоритма для обучения отдельного нейрона. При сравнении нейронов и нейронных τ =+ сетей из данной работы с классическими Cl ω = 1 в первую очередь важно отметить, что + N с помощью данных нейронов можно реR(x) = ξ(x) шать и другие классические задачи исω = −1 . . кусственных нейронных сетей. В частноx . N сти, можно адаптировать нейронную сеть . ω=1 для решения задачи классификации об− R(x) = ξ(x) разов, если ввести для нейронов специN Cl альные обучающие контуры (см. рис. 5). ω = −1 τ =− Так, для обучения одного нейрона N вырабатывать заранее определённые отРис. 5. Пример нейронной сети клики Cl на элементы обучающей выборки x1 → Cl1 , . . . , xk → Clk потребуется добавить два дополнительных обучающих нейрона N + и N − и установить с ними статические связи, чьи коэффициенты показаны на рис. 5. На второй вход обучавших нейронов нужно будет подавать эталонные значения Cl, которые требуется получить на выходе от нейрона N , а в качестве выходных функций этих нейронов использовать R(x) = ξ(x) = xσ(x). При этом на выходе нейрона N + будет величина ξ(Cl − y(N )), а его рекуррентную связь с нейроном N выбираем положительно модулирующей (τ = +). На выходе нейрона N − соответственно получим ξ(y(N )−Cl), а его рекуррентную связь с нейроном N выбираем отрицательно модулирующей (τ = −). Таким образом, построенные в рамках данной статьи модели нейрона, а также нейронной сети могут быть использованы для решения основных классических задач искусственных нейронов. При этом отдельный нейрон помимо анализа статических данных может быть использован также для анализа видеоизображений, что отличает его от обычных искусственных нейронов.