DECISION MAKING WITH INTELLIGENT INFORMATION TECHNOLOGY ENSEMBLE

Texto integral

При математическом моделировании сложных томатического генерирования математических вырасистем и процессов часто используются так называе- жений [3]. мые интеллектуальные информационные технологии Проектирование интеллектуальных информацион- (ИИТ) - генетические алгоритмы (ГА) как метод оп- ных технологий само по себе является достаточно тимизации [1], искусственные нейронные сети (НС) сложной интеллектуальной процедурой, включаюкак метод аппроксимации или классификации [2], щей, кроме всего прочего, выбор их эффективных генетическое программирование (ГП) как метод ав- структур. * Работа выполнена при поддержке Министерства образования и науки Российкой Федерации (ГК № 11.519.11.4002 и ГК № 16.740.11.0742). 95 Математика, механика, информатика Так, при проектировании ГА необходимо производить выбор его оптимальных настроек, при создании НС - выбирать структуру нейросети (количество слоев, количество нейронов на слое, типы функций активации, наличие связей между нейронами), для построения математических моделей в ГП - выбирать структуру функциональной зависимости. Сложность проектирования ИИТ препятствует действительно массовому их внедрению в производство и другие сферы деятельности человека. Автоматизация проектирования ИИТ смогла бы решить часть трудностей, возникающих при их разработке. Но для автоматизации проектирования ИИТ должны использоваться оптимизационные процедуры, позволяющие осуществлять комбинаторный поиск на сложных структурах. Так как обычные методы математического программирования здесь не работают, применяют методы эволюционного поиска. Известно, что эволюционные алгоритмы требуют значительных вычислительных ресурсов, особенно при их использовании для решения вычислительно сложных задач, т. е. задач, требующих большого количества ресурсов независимо от алгоритма, используемого для их решения. Однако в большинстве практических случаев эта проблема может быть решена за счет использования параллельных и распределенных вычислительных систем [4; 5]. Имея возможность автоматически генерировать алгоритмическое ядро ИИТ, можно расширить класс используемых подходов, в частности - перейти к автоматическому формированию коллективов, состоящих из различных ИИТ, что позволит повысить эффективность получаемых систем анализа данных. Повышение эффективности разработки и использования ГП, ИНС и ГА даст возможность решать более сложные практические задачи интеллектуального анализа данных. В этой связи разработка и исследование новых алгоритмических схем для автоматизации проектирования ИИТ является актуальной научной задачей. Алгоритм генетического программирования для автоматического генерирования искусственных нейросетей. Стандартный алгоритм ГП применяется для задач символьной регрессии, т. е. задач одновременного определения точной функциональной зависимости и соответствующих численных ко эффициентов. Такие задачи отличаются от обычных регрессионных задач, в которых форма функциональной зависимости (линейная, квадратичная, колоколообразная, ряд Фурье и т. п.) определяется заранее. Модификация стандартного алгоритма ГП позволяет применить его для проектирования произвольных структур нейронных сетей. При решении задачи символьной регрессии методом генетического программирования обычно используется набор из элементарных математических функций и логических выражений. Для настройки структуры НС при помощи алгоритма ГП в терминальное множество были включены 16 функций активации, а также входные нейроны. При генерации нейросетей алгоритм ГП имеет дело не с числами, а с нейронами, поэтому и допустимые операции из функционального множества специфические: - постановка нейронов (блоков нейронов) в один слой, являющаяся ассоциативной (обозначим «+»); - постановка нейронов (блоков нейронов) в последовательные слои, так что нейрон (блок нейронов), пришедший из левой ветви дерева, предшествует нейрону (блоку нейронов), пришедшему из правой ветви дерева; такая постановка не является ассоциативной (обозначим «<»). При выполнении первой операции новых связей между нейронами не появляется, при выполнении второй операции выходы нейронов из левой ветви подаются на вход нейронам из правой ветви. Важно учитывать, что входные нейроны не должны принимать на вход результаты вычисления сети или ее части, но хотя бы один из них должен подавать сигнал на вход. Поэтому было принято следующее решение: в левой ветви могут присутствовать только входные нейроны и первая операция, а в вершине дерева должна находиться вторая операция. Сборка дерева начинается справа. Пример преобразования дерева в нейронную сеть см. на рис. 1. Операции рекомбинации и мутации были модифицированы в соответствии с ограничениями, наложенными на вид дерева. Для настройки весовых коэффициентов полученной нейронной сети применялся модифицированный генетический алгоритм [6] с последующим локальным спуском. 96 Вестник Сибирского государственного аэрокосмического университета имени академика М. Ф. Решетнева Работоспособность предложенного подхода проверялась на репрезентативном наборе тестовых задач (аппроксимация, прогнозирование временных рядов). Проводилось усреднение стандартной среднеквадратической ошибки нейронной сети по 20 прогонам. Терминальное множество включало в себя 16 функций активации и входные переменные. Результаты тестирования показали, что нейронные сети, созданные алгоритмом генетического программирования, имеют небольшое количество нейронов по сравнению с нейросетями, получаемыми посредством нейроиммитаторов, и не являются полносвязными (связей между нейронами мало). При этом данные НС обладают достаточно малой среднеквадратической ошибкой. Процедура принятия решений коллективом интеллектуальных информационных технологий. Для повышения эффективности применения интеллектуальных информационных технологий предлагается при решении задачи формировать коллектив из нескольких ИИТ. Например, из трех нейронных сетей, полученных алгоритмом генетического программирования для автоматического генерирования нейросете-вых моделей, и четырех символьных выражений, полученных алгоритмом генетического программирования для решения задач символьной регрессии. Для формирования решения коллективом ИИТ возможны несколько подходов. Наиболее часто применяемыми являются метод усреднения [7] и его модификация, учитывающая ошибки каждого из членов коллектива [8]. Решения формируются по следующим схемам. Схема 1. Выходные значения ИИТ складываются и делятся на число членов коллектива. Схема 2. Метод, основанный на «оценке компетентности» ИИТ. Для каждого члена коллектива на основании его ошибки, полученной на обучающей выборке, назначается весовой коэффициент, обратно пропорциональный ошибке [9]. Выходное значение ИИТ умножается на весовой коэффициент ИИТ, после чего все полученные значения складываются и делятся на их число. Заметим, что в данных подходах мнение наиболее компетентного члена коллектива «разбавляется» мнением менее компетентных, что дает повод к сомнению в эффективности этих подходов в конкретных задачах. Предлагается новая схема учета мнений членов коллектива ИИТ, гарантирующая ошибку не больше той, которую имеет лучшая из ИИТ, участвующих в принятии решений. Схема 3. Полученный коллектив принимает решение относительно каждой точки, в которой запрашивается решение задачи (выходное значение, вычисленное членами коллектива), следующим образом: - производится поиск точки из обучающей выборки, которая находится ближе остальных к точке, в которой необходимо получить значение; - в найденной точке обучающей выборки определяется ИИТ с наименьшей среднеквадратической ошибкой; - выбранной ИИТ предоставляется право принятия решения относительно значения в интересующей нас точке. Предложенная процедура была реализована в виде программной системы и проверена на репрезентативном множестве тестовых задач. Было также проведено сравнение трех описанных схем. Выбор состава коллектива (количество ИИТ каждого вида) остается на усмотрение пользователя. Апробация на практических задачах. Для апробации предложенного подхода были использованы следующие практические задачи: - моделирование прожиточного минимума в регионах Российской Федерации (3 входа, 1 выход, обучающая выборка - 80 единиц, контрольная - 9); - моделирование вибрационных характеристик гидротурбины (12 входов, 11 выходов, обучающая выборка - 906 единиц, контрольная - 93 точки); - моделирование системы подавления шума (1 вход, 1 выход, данные сильно зашумлены, обучающая выборка - 250 единиц, контрольная - 250 точек). При решении задачи моделирования прожиточного минимума регионов Российской Федерации коллективом интеллектуальных информационных технологий, коллектив состоял из двух нейронных сетей со среднеквадратическими ошибками, равными 0,008 725 7 и 0,008 967, и двух символьных выражений со среднеквадратическими ошибками 0,086 и 0,0305. Коллектив, работающий по первой схеме, допустил среднеквадратическую ошибку, равную 0,016 466, работающий по второй схеме - 0,024 143 1, работающий по третьей схеме - 0,007 748. Только третья схема обеспечила ошибку не ниже, чем у лучшей из ИИТ в отдельности. В этом коллективе худшие нейронная сеть и символьное выражение не внесли вклад в решение задачи. Коллектив, составленный из двух нейронных сетей, работающий по третьей схеме, имеет ту же среднеквадратическую ошибку, что и лучшая из них. Коллектив, составленный только из двух символьных выражений, работающий по третьей схеме, имеет ошибку, равную 0,029 9. Можно сказать, что при решении данной задачи имело бы смысл включить в коллектив только лучшую нейронную сеть и лучшее символьное выражение. Для апробации на задаче моделирования вибрационных характеристик гидротурбины коллектив интеллектуальных информационных технологий состоял из двух нейронных сетей с ошибками 0,012 917 (рис. 2) и 0,013 444 и двух символьных выражений со среднеквадратическими ошибками 0,017 04 и 0,019 84. Коллектив, работающий по первой схеме, допустил ошибку 0,013 45, работающий по второй схеме -0,013 643, работающий по третьей схеме - 0,010 034. Коллектив, составленный из двух нейронных сетей, работающий по третьей схеме, имеет среднеквадратическую ошибку 0,011 746. Коллектив, составленный из лучших символьного выражения и нейросети, работающий по третьей схеме, имеет ошибку, равную 0,010 819. 97 Математика, механика, информатика Рис. 2. Нейронная сеть, полученная при решении задачи моделирования вибрационных характеристик гидротурбины Рис. 3. Нейронная сеть, полученная при решении задачи моделирования системы подавления шума Коллектив, состоящий из обеих нейросетей и лучшего символьного выражения, имеет ошибку ту же, что и коллектив, состоящий из всех четырех ИИТ. Можно сказать, что при решении данной задачи имело бы смысл включить в коллектив только лучшее символьное выражение и обе нейронные сети. При решении задачи моделирования системы подавления шума коллективом интеллектуальных информационных технологий, коллектив состоял из двух нейронных сетей с ошибками 0,684 407 (рис. 3) и 0,686 113 соответственно, и двух символьных выражений со среднеквадратическими ошибками 0,493 897 и 0,493 553 соответственно. Коллектив, работающий по первой схеме, допустил ошибку 0,532 637, работающий по второй схеме - 0,551 447, работающий по третьей схеме - 0,407 085. Коллектив, составленный только из этих двух нейронных сетей, работающий по третьей схеме, имеет среднеквадратическую ошибку 0,662 504. Коллектив, составленный только из лучших символьного выражения и нейросети, работающий по третьей схеме, имеет ошибку, равную 0,420 15. Коллектив, состоящий из обеих нейросетей и лучшего символьного выражения, имеет ошибку 0,481 581. Можно сказать, что при решении данной задачи имело бы смысл включить в коллектив все четыре ИИТ. Таким образом, разработанная программная система позволяет формировать коллективы автоматически генерируемых интеллектуальных информационных технологий, т. е. дает возможность решать сложные задачи анализа данных. Создание коллектива увеличивает эффективность и надежность применения ИИТ. Работоспособность данного подхода была проверена не только на тестовых, но и на реальных практических задачах из различных областей человеческой деятельности, что позволяет рекомендовать их конечным пользователям в качестве удобного и эф фективного инструмента интеллектуального анализа данных.

Sobre autores

E. Popov

Email: epopov@bmail.ru

M. Semenkina

Email: semenkina88@mail.ru

L. Lipinskiy

Email: lipinskiyl@mail.ru

Bibliografia

Arquivos suplementares