Solving the classification problem by using neural fuzzy production based network models of Mamdani-Zadeh

Full Text

При решении задачи распознавания объектов, принадлежащих пересекающимся классам, успешно применяются нейронные нечёткие продукционные сети, соединяющие возможности систем нечёткого вывода и нейронных сетей. Базовой моделью нечёткого вывода является модель Мамдани-Заде [1, 2], ISSN: 2310-7081 (online), 1991-8615 (print); doi: http://dx.doi.org/10.14498/vsgtu1266 © 2014 Самарский государственный технический университет. Образец цитирования: О. П. С о л д а т о в а, И. А. Л ё з и н, “Решение задачи классификации с использованием нейронных неч¨тких продукционных сетей на основе модели вывода е Мамдани-Заде” // Вестн. Сам. гос. техн. ун-та. Сер. Физ.-мат. науки, 2014. № 2 (35). С. 136-148. 136 Решение задачи классификации с использованием нейронных нечётких продукционных сетей . . . однако широкое распространение получила только одна нечёткая продукционная нейронная сеть - сеть Ванга-Менделя [3-5], которая была создана на её основе. Применение сети Ванга-Менделя для решения задачи классификации вызывает определённые трудности. Во-первых, традиционная архитектура сети предполагает один выходной нейрон, что приводит к увеличению погрешности классификации при увеличении числа распознаваемых классов. Во-вторых, в сети Ванга-Менделя не предусмотрена модификация интерпретаций нечётких логических операций, реализующих нечёткие продукционные правила вывода. В [6] описана и исследована предложенная авторами многовыходовая модификация сети Ванга-Менделя. В данной статье предлагается новая архитектура нейронной нечёткой продукционной сети, основанной на модели Мамдани-Заде, и исследуется решение задачи классификации для предложенной нечёткой сети и сети Ванга-Менделя с несколькими выходами при интерпретациях нечётких логических операций в соответствии в алгебрами Гёделя, Гогена и Лукашевича. Типовая структура системы нечёткого вывода включает в себя блок фаззификации, базу нечётких правил вывода, модуль вывода решения и блок дефаззификации. Фаззификатор преобразует чёткое множество входных данных x = (x1 , x2 , . . . , xN ) ∈ X в нечёткое множество A ⊆ X, определённое с помощью конкретной функции принадлежности µA (x); здесь A = A1 × A2 × . . . × AN . Дефаззификатор преобразует несколько нечётких множеств B k , k = 1, 2, . . . , M , или единственное нечёткое множество B в конкретное значение выходной переменной y ∈ Y на основании нечётких выводов, вырабатываемых модулем вывода решений, и в соответствии с выбранным методом дефаззификации (символами X и Y обозначаются пространства входных и выходных переменных). Подобная система также может быть представлена в несколько ином виде, в частности на рис. 1 [5]. Выходной сигнал модуля вывода решений может иметь вид M нечётких множеств, определяющих диапазон изменения выходной переменной. Агрегатор преобразует M нечётких множеств в одно нечёткое множество, а дефаззификатор преобразует это множество в одно конкретное значение, принимаемое в качестве выходного сигнала всей системы. В модели вывода Мамдани-Заде присутствуют следующие операции [5]: - операция логического или арифметического произведения для определения значения функции принадлежности условий правил, в которой учитываются все компоненты вектора условия; - операция логического или арифметического произведения для определения значения функции принадлежности для всей импликации Ak →B k ; - операция логической суммы для агрегации равнозначных результатов импликации многих правил; - оператор дефаззификации, трансформирующий нечёткий результат 137 О. П. С о л д а т о в а, И. А. Л ё з и н µB (y) в чёткое значение y. Считается, что все M правил связаны между собой логической операцией «ИЛИ», а выходы правил y 1 , y 2 , . . . , y M взаимно независимы. Следовательно, можно использовать правила вида: R1 : IF x1 is A1 AND x1 is A1 AND . . . AND x1 is AN , THEN y 1 is B 1 ; 1 1 2 2 N Rk : IF xk is Ak AND xk is Ak AND . . . AND xk is AN , THEN y k is B k ; 1 1 2 2 N RM : IF xM is AM AND xM is AM AND . . . AND xM is AN , 1 1 2 2 N THEN y M is B M . (1) Переменные (xk , xk , . . . , xk ) образуют N -мерный входной вектор xk , со1 2 N ставляющий аргумент условия, в котором Ak , Ak , . . . , Ak и B k обознача1 2 N ют нечёткие множества, а X1 , X2 , . . . , XN , Y - чёткие множества, причём Ak ⊆ X1 , Ak ⊆ X2 , . . ., Ak ⊆ XN , а B k ⊆ Y . Если обозначить декартово 1 2 N произведение множеств Ak , Ak , . . . , Ak как Ak = Ak × Ak × . . . × Ak , то соот1 2 1 2 N N ветствующие значения коэффициентов принадлежности условия и заключения правила вывода - µAk (xk ) и µB k (y k ) соответственно. Тогда правило типа (1) можно представить в виде нечёткой импликации: Rk : Ak → B k , k = 1, 2, . . . , M. В то же время правило типа (1) может быть интерпретировано как нечёткое отношение, определённое на множестве X×Y , где X - декартово произведение чётких множеств и X = X1 ×X2 ×. . .×XN , причём xk , xk , . . . , xk ∈ X, 1 2 N xk ∈ X1 , xk ∈ X2 , . . ., xk ∈ XN , а y k ∈ Y , то есть Rk ⊆ X × Y - нечёткое 1 2 N множество с функцией принадлежности [7]: µRk (xk , y k ) = µAk →B k (xk , y k ). Если на выходе модуля вывода решения получается M нечётких множеств Рис. 1. Структура системы нечёткого вывода при M правилах вывода [Figure 1. Architecture of fuzzy output by using M rules] 138 Решение задачи классификации с использованием нейронных нечётких продукционных сетей . . . B k ⊆ Y , то нечёткое множество B k с функцией принадлежности µB k (y k ) = sup µAk (xk ) T µAk →B k (xk , y k ) ∗ x∈X определяется как комбинация нечёткого множества Ak и отношения Rk : B k = Ak ◦ R k , k = 1, 2, . . . , M. Здесь T - обобщённое понятие оператора T -нормы [7]. Таким образом, кон∗ кретная форма µB k (y k ) зависит от применяемой T -нормы, определения нечёткой импликации Rk и от способа определения декартова произведения нечётких множеств [7]. Если на выходе модуля вывода решения получается одно нечёткое множество B ⊆ Y (в системе есть агрегатор), то M Rk = A ◦ R, B =A◦ k=1 где M A = A1 × A2 × . . . × AN , Rk . R= k=1 В этом случае µB (y) = sup µA (x) T ∗ x∈X Здесь S ( · ) - обобщённое ∗ 1 k M S ∗ 1 k M µRk (xk , y) . понятие оператора S-нормы над вектором операндов в круглых скобках [7]. Таким образом, конкретная форма µB (y) зависит ещё и от применяемой в агрегаторе операции S-нормы. Так как доказано, что любая непрерывная T -норма изоморфна либо произведению, либо конъюнкции Лукашевича, либо эквивалентна минимуму, или в смысле порядковой суммы является их «смесью», то основными T нормами являются: минимум, произведение и конъюнкция Лукашевича. Данный результат упрощает выбор интерпретации нечётких логических операций. Двойственными для данных T -норм соответственно являются следующие S-нормы: максимум, вероятностная сумма и дизъюнкция Лукашевича. При этом операциями деления, соответствующим базовым T -нормам, являются импликация Гёделя, импликация Гогена и импликация Лукашевича [8]. Таким образом, в модели нечёткого вывода Мамдани-Заде имеет смысл рассматривать интерпретации логических операций, заданныx соответственно алгебрами Гёделя, Гогена и Лукашевича. Если обозначить T -норму как «⊗», S-норму как «⊕», а импликацию как «→», то нижеследующие формулы (2) определяют операции в соответствии с алгеброй Гёделя (Godel’s algebra), (3) - в соответствии с алгеброй Гогена (Goguen’s algebra), а форму139 О. П. С о л д а т о в а, И. А. Л ё з и н лы (4) - в соответствии с алгеброй Лукашевича (Lukasiewicz’s algebra):  µA (x) ⊗ µB (y) = min {µA (x), µB (y)} ;    1, если µA (x) µB (y), µA→B (x, y) =  µB (y), если µA (x) > µB (y);    µA (x) ⊕ µB (y) = max {µA (x), µB (y)} ;  µA (x) ⊗ µB (y) = µA (x)µB (y);    1, если µA (x) µB (y), µA→B (x, y) =  µB (y)/µA (x), если µA (x) > µB (y);    µA (x) ⊕ µB (y) = µA (x) + µB (y) - µA (x)µB (y);  µA (x) ⊗ µB (y) = max{0, µA (x) + µB (y) - 1};   µ (x, y) = min{1, 1 - µA (x) + µB (y)};  A→B   µA (x) ⊕ µB (y) = min{1, µA (x) + µB (y)}. (2) (3) (4) Системы нечёткого вывода можно представить в виде многослойных нейронных сетей с прямым распространением сигнала, которые получили название нейронных нечётких продукционных сетей [9]. Для обучения подобных сетей, как правило, используются градиентные алгоритмы и метод обратного распространения ошибки. Условие дифференцируемости функций активации нейронов обусловило применение в подобных моделях следующих интерпретаций нечётких логических операций: - в качестве операции T -нормы и импликации используется алгебраическое произведение; - в качестве декартова произведения используется алгебраическое произведение или минимум; - аккумулирование заключений правил вывода не проводится или в качестве операции S-нормы используется алгебраическая или взвешенная сумма; - в качестве функций фаззификации используется функция Гаусса или сигмоидальные функции; - дефаззификация выполняется по методу центра тяжести или по методу среднего центра. В частности, в сети Ванга-Менделя - самой известной реализации модели нечёткого вывода Мамдани-Заде используются следующие ограничения [9]: - входные переменные являются чёткими; - функции фаззификации - функции Гаусса; - декартово произведение - в форме минимума; - нечёткая импликация - произведение; - T -норма - произведение; - аккумулирование заключений правил не проводится; - метод дефаззификации - метод среднего центра. В нейроимитаторе «Нейрокомбайн», описанном в [6], предложена и реализована другая архитектура сети Ванга-Менделя, в которой предусмотрено 140 Решение задачи классификации с использованием нейронных нечётких продукционных сетей . . . несколько выходных нейронов. Структура сети с двумя входами, тремя правилами вывода и двумя выходами приведена на рис. 2. В отличие от стандартной четырёхслойной конфигурации сети Ванга-Менделя, данная модель состоит из пяти слоёв нейронов. Первый и второй слои предложенной модели не отличаются от стандартной сети Ванга-Менделя и реализуют фаззификацию по функции Гаусса N -мерного входного вектора x, а также агрегацию условий правил вывода в соответствии с операцией T -нормы в форме произведения. Величины µk (xj ) A задают функции принадлежности входных переменных xj к нечёткому множеству A в соответствии с правилом k. Величины wk обозначают степень принадлежности условия k-того правила, полученную в результате агрегации. Третий слой реализует операцию импликации в форме произведения (это параметрический слой). В процессе обучения подбираются параметры vks , k соответствующие степени принадлежности µB k (ys ), где k - номер правила вывода, а s - индекс выходного нейрона, соответствующий номеру класса, к которому принадлежит входной вектор. Величины vks соответствуют весам связей нейронов третьего и четвёртого слоёв. Величины zks означают результаты операции нечёткой импликации, которая интерпретируется в данной модели в форме произведения. Рис. 2. Структура нейронной нечёткой сети Ванга-Менделя с двумя выходами [Figure 2. Architecture of Wang-Mendel’s neural fuzzy network with two outputs] 141 О. П. С о л д а т о в а, И. А. Л ё з и н Четвёртый слой осуществляет агрегирование M правил вывода (первый и второй нейрон) и генерацию нормализующего сигнала (третий нейрон). Результаты агрегации обозначены для первого и второго нейрона как f11 и f12 соответственно. Нормализующие сигналы обозначены как f21 и f22 соответственно. Число агрегирующих нейронов в данном слое равно числу выходов сети. В отличие от стандартной модели - непараметрический слой. Пятый слой состоит из двух выходных нейронов и выполняет нормализацию, формируя выходной сигнал ys для каждого класса. Это непараметрический слой. На рис. 2 знаки ×, +, / соответствуют алгебраическим операциям умножения, сложения и деления. Предложенная структура нейронной сети легко модифицируется на случай с числом выходов, большим, чем два. Таким образом, нейронная сеть реализует функции, которые можно записать в виде ys (x) = 1 M k=1 N k j=1 µA (xj ) M · N µk (xj ) A vks · k=1 = j=1 = 1 M k=1 wk M · zks . k=1 Слой дефаззификации в приведённой выше модели нейронной сети позволяет сформировать на выходе сети чёткое значение, что необходимо при решении задачи прогнозирования или задачи аппроксимации функций. Для решения задач классификации, идентификации или распознавания чёткое значение на выходе сети не является обязательным, а при пересекающихся классах объектов вообще не имеет смысла, так как на выходе сети требуется получить степень принадлежности предъявленного входного вектора к конкретному классу. В этой связи авторами предлагается новая модификация модели нейронной нечёткой продукционной сети Мамдани-Заде, исследованная на примере решения задачи классификации. Структура сети с двумя входами, четырьмя правилами вывода и двумя выходами представлена на рис. 3. Для данной сети используются следующие ограничения: - входные переменные являются чёткими; - функции фаззификации - функции Гаусса; - декартово произведение - в форме минимума; - нечёткая импликация - произведение, минимум или импликация Лукашевича; - T -норма - произведение, минимум или конъюнкция Лукашевича; - аккумулирование заключений правил проводится в соответствии с операцией S-нормы - вероятностной суммы, максимума или дизъюнкции Лукашевича; - дефаззификация не проводится. Первый и второй слои предложенной модели не отличаются по функциональности от модели, представленной на рис. 2, за исключением знака крупного × для обозначения операции T -нормы, которая имеет приведённые 142 Решение задачи классификации с использованием нейронных нечётких продукционных сетей . . . Рис. 3. Структура нейронной нечёткой продукционной сети Мамдани-Заде двумя выходами [Figure 3. Architecture of Mamdani-Zadeh’s neural fuzzy network with two outputs] выше интерпретации. Третий слой реализует операцию нечёткой импликации (знак →) в соответствии с приведёнными выше интерпретациями (это параметрический слой). В процессе обучения подбираются параметры vk , соответствующие степени принадлежности µB k (y k ), где k - номер правила вывода. Величины zk означают результаты операции нечёткой импликации. Четвёртый слой осуществляет агрегирование M правил вывода (первый и второй нейрон) для каждого класса входных векторов в соответствии с интерпретациями нечёткой дизъюнкции (знак крупный +) и формирует выходной сигнал ys для каждого класса. Это непараметрический слой. Исследования проводились на данных репозитория UCI (Machine Learning Repository; http://archive.ics.uci.edu/ml), который представляет собой набор реальных и модельных задач машинного обучения, используемых для эмпирического анализа алгоритмов машинного обучения. Репозиторий содер143 О. П. С о л д а т о в а, И. А. Л ё з и н жит реальные данные по прикладным задачам, которые применяются для оценки точности классификаторов, в том числе и на основе нечётких продукционных баз знаний и нейронных сетей [10, 11]. В настоящей работе использовались данные для решения задач классификации ирисов Фишера и итальянских вин. В исследовании сравниваются нейронные сети, структуры которых представлены на рис. 2 и 3. Ирисы Фишера - набор данных, на примере которого Рональд Фишер в 1936 году продемонстрировал разработанный им метод дискриминантного анализа. Ирисы Фишера состоят из данных о 150 экземплярах ирисов, по 50 экземпляров трёх видов - ирис щетинистый (англ. Iris setosa), ирис виргинский (англ. Iris virginica) и ирис разноцветный (англ. Iris versicolor ). Для каждого экземпляра измерялись четыре характеристики. Один из классов (Iris setosa) линейно отделим от двух остальных. Для обучения использовались 90 образцов (≈ 60 %), а оставшиеся 60 образцов использовались для тестирования качества решения задачи. Набор данных задачи классификации итальянских вин представляет собой результаты химического анализа вин, принадлежащих трём различным сортам. В ходе анализа было выделено процентное содержание 13 признаков, присутствующих в каждом из трёх сортов вин. Общий объём данных - 178 образцов. Из них на 142 (≈ 80 %) образцах проводилось обучение, а на 36 - тестирование качества решения задачи. Все классы пересекаются. В ходе экспериментальных исследований при решении задачи классификации ирисов была определена зависимость относительной погрешности обучения от количества правил и используемой алгебры, а также относительная погрешность классификации при следующих параметрах сети: число нейронов во входном слое - 4, число нейронов в выходном слое - 3, число итераций обучения - 2500. Результаты исследования представлены в табл. 1 и 2. В качестве алгоритма обучения использовался алгоритм обратного распространения ошибки. Ввиду недифференцируемости операций минимума и максимума в интерпретациях нечётких логических операций конъюнкции и дизъюнкции в алгебре Гёделя и нечётких логических операций конъюнкции, дизъюнкции и импликации в алгебре Лукашевича был применён метод корректировки весов сети только для синаптических связей, соответствующих минимуму или максимуму значений, описанный в [7]. Однако указанный подход не может быть применён для операций нечёткой импликации в алгебрах Гёделя и Гогена, вследствие чего обучение сети Мамдани-Заде с алгебрами Гёделя и Гогена реализовать невозможно. Как видно из таблиц, в среднем лучшие результаты обучения показывает сеть Ванга-Менделя с использованием алгебры Гогена или Лукашевича, но при этом более ровную погрешность классификации на тестовой выборке демонстрирует сеть Мамдани-Заде, что характеризует лучшую сходимость обучения. В ходе экспериментальных исследований при решении задачи классификации вин была определена зависимость относительной погрешности обучения от количества правил и используемой алгебры, а также относительная погрешность классификации при следующих параметрах сети: число нейронов во входном слое - 13, число нейронов в выходном слое - 3, число итера144 3 4 5 6 7 8 9 0.056 0.056 0.056 0.044 0.056 0.056 0.044 [Godel’s algebra] 0.044 0.033 0.022 0.044 0.022 0.011 0.044 [Goguen’s algebra] 0.011 0.044 0.044 0.022 0.033 0.044 0.044 [Lukasiewicz’s algebra] 0.044 0.056 0.056 0.044 0.044 0.044 0.044 Алгебра Лукашевича [Lukasiewicz’s algebra] Сеть Мамдани-Заде [Mamdani-Zadeh’s network] hhh Правило [Rule] hhhh 3 4 5 6 7 8 9 0.082 0,102 0.082 0.082 0.082 0.082 0.082 [Godel’s algebra] 0.061 0.061 0.041 0.041 0.082 0.041 0.041 Алгебра Гогена [Goguen’s algebra] 0.082 0.061 0,102 0.041 0.020 0.041 0.061 Алгебра Лукашевича [Lukasiewicz’s algebra] Многовыходовая сеть Ванга-Менделя [Multi-output Wang-Mendel’s networks] hhhh hhh hh Алгебра Гёделя h Алгебра [Algebra] 0.041 0.061 0.041 0.041 0.041 0.061 0.041 Алгебра Лукашевича [Lukasiewicz’s algebra] Сеть Мамдани-Заде [Mamdani-Zadeh’s network] Таблица 2 Зависимость относительной погрешности классификации от количества правил и используемой алгебры для задачи классификации ирисов при проверке на тестовой выборке [Dependence of the classification relative error on the number of rules and algebra used for classification of the irises on the testing set] hhhh hhhh Алгебра [Algebra] [Multi-output Wang-Mendel’s networks] hhh hhhh Правило [Rule] Алгебра Гогена Алгебра Лукашевича h Алгебра Гёделя h Многовыходовая сеть Ванга-Менделя Таблица 1 Зависимость относительной погрешности обучения от количества правил и используемой алгебры для задачи классификации ирисов [Dependence of the learning relative error on the number of rules and algebra used for classification of the irises] Решение задачи классификации с использованием нейронных нечётких продукционных сетей . . . 145 146 3 4 5 6 7 8 9 0.056 0.035 0.049 0.063 0.028 0.049 0.028 [Godel’s algebra] 0 0 0 0 0 0 0 [Goguen’s algebra] 0.021 0.028 0.007 0.028 0.021 0.028 0.021 [Lukasiewicz’s algebra] 0.028 0.014 0.021 0.028 0.007 0.021 0.021 Алгебра Лукашевича [Lukasiewicz’s algebra] Сеть Мамдани-Заде [Mamdani-Zadeh’s network] hhh Правило [Rule] hhhh 3 4 5 6 7 8 9 0,111 0.028 0.056 0.056 0.056 0.056 0.056 [Godel’s algebra] 0.028 0.028 0.056 0.056 0.056 0.056 0.083 Алгебра Гогена [Goguen’s algebra] 0.056 0.056 0.083 0.111 0.083 0.028 0.111 Алгебра Лукашевича [Lukasiewicz’s algebra] Многовыходовая сеть Ванга-Менделя [Multi-output Wang-Mendel’s networks] hhhh hhh hh Алгебра Гёделя h Алгебра [Algebra] 0.083 0.056 0.083 0.056 0.083 0.056 0.028 Алгебра Лукашевича [Lukasiewicz’s algebra] Сеть Мамдани-Заде [Mamdani-Zadeh’s network] Таблица 4 Зависимость относительной погрешности классификации от количества правил и используемой алгебры для задачи классификации вин при проверке на тестовой выборке [Dependence of the classification relative error on the number of rules and algebra used for classification of the wines on the testing set] hhhh hhhh Алгебра [Algebra] [Multi-output Wang-Mendel’s networks] hhh hhhh Правило [Rule] Алгебра Гогена Алгебра Лукашевича h Алгебра Гёделя h Многовыходовая сеть Ванга-Менделя Таблица 3 Зависимость относительной погрешности обучения от количества правил и используемой алгебры для задачи классификации вин [Dependence of the learning relative error on the number of rules and algebra used for classification of the wines] О. П. С о л д а т о в а, И. А. Л ё з и н Решение задачи классификации с использованием нейронных нечётких продукционных сетей . . . ций обучения - 2500. Результаты исследования представлены в табл. 3 и 4. Как видно из таблиц, лучшие результаты обучения демонстрирует сеть Ванга-Менделя, использующая алгебру Гогена, но при этом обе сети на тестовых выборках показывают в среднем аналогичные результаты с использованием алгебры Лукашевича, что согласуется с теоретическими исследованиями, представленными в [8]. Алгебра Лукашевича в модифицированной сети Мамдани-Заде, в частности, проявляет большую способность к выделению общих признаков, а не адаптацию к обучающей выборке, что характеризуется более точной работой на тестовых выборках. Более высокая погрешность сети Ванга-Менделя объясняется тем, что в данной сети можно модифицировать только операцию нечёткой конъюнкции, в то время как операции нечёткой импликации и нечёткой дизъюнкции не используются вообще. В свою очередь, модифицированная сеть применяет интерпретации всех трёх операций.

About the authors

Ol'ga P Soldatova

S. P. Korolyov Samara State Aerospace University (National Research University)

Email: op-soldatova@yandex.ru
(Cand. Techn. Sci.), Associate Professor, Dept. Information Systems and Technolog 34, Moskovskoe sh., Samara, 443086, Russian Federation

Il'ya A Lyozin

S. P. Korolyov Samara State Aerospace University (National Research University)

Email: ilyozin@yandex.ru
(Cand. Techn. Sci.), Associate Professor, Dept. Information Systems and Technolog 34, Moskovskoe sh., Samara, 443086, Russian Federation

References

Supplementary files