ЗАПОЛНЕНИЕ ПРОПУСКОВ ВО ВХОДНЫХ И ВЫХОДНЫХ ДАННЫХ С ПОМОЩЬЮ АЛГОРИТМА НЕПАРАМЕТРИЧЕСКОЙ ИДЕНТИФИКАЦИИ

Полный текст

Введение. В теории автоматического управления принципы построения системы управления разраба- тывались на основе заданной модели. Со временем оказалось, что во многих случаях модель, выбранная при проектировании, значительно отличается от ре- ального объекта, что существенно уменьшало эффек- тивность разработанной системы. В связи с этим воз- никло новое направление в науке, связанное с по- строением модели на основании наблюдений, полу- ченных в условиях функционирования объекта по его входным и выходным переменным. Это направление известно сегодня как идентификация систем. Теории и методам идентификации посвящено большое коли- чество работ в отечественной и зарубежной литерату- ре, и в этом направлении разработаны свои принци- пы, подходы и методы [1-6]. Эти подходы нашли ши- рокое применение в различных областях науки и тех- ники, в том числе в биологии, медицине, аэронавтике, экономике, промышленности. Я. З. Цыпкин отмечает, что задача идентификации систем (определение структуры и параметров систем по наблюдениям) является одной из основных задач повышается, особенно когда плотность пропусков высока, их расположение нерегулярно, а данных не- достаточно (крайне мало). В данной работе реализован один из алгоритмов заполнения пропусков в данных. На сегодняшний день разработано множество методов заполнения пропусков в данных. В работах [2-7] приводятся ре- зультаты работы этих методов в различных условиях. Методы заполнения пропусков реализованы в некото- рых пакетах прикладных математических программ (например, SPSS Statistic). Задача оценки влияния применения этих методов на точность решения задачи идентификации является актуальной. Постановка задачи. На рис. 1 представлена об- щая схема исследуемого процесса, принятая в теории идентификации. Представленная схема состоит из двух блоков: m «Объект», «Модель». На рис. 1 используются сле- дующие обозначения: А - неизвестный оператор объ- екта; u(t) = (u1 (t), u2 (t), ..., um (t)) ÎW(u) Ì R - вектор- ное входное воздействие объекта размерностью m; современной теории и техники автоматического x(t) = (x (t), x (t), ..., x (t)) ÎW(x) Ì Rn - векторная 1 2 n управления. Эта задача возникает при изучении свойств и особенностей объектов с целью последую- щего управления ими либо при создании адаптивных систем, в которых на основе идентификации объекта вырабатываются оптимальные управляющие воздей- ствия [5]. выходная переменная объекта размерностью n; выполняется условие m ≥ n; (t) - непрерывное время; ∆t - дискретность контроля входных-выходных пере- менных процесса; x(t) - векторная случайная помеха; t блоки контроля переменных H u , H x подвержены В книге Эйкхоффа [6] дано следующее определевоздействию случайных помех hu (t) и hx (t) ; u ние: «Задача идентификации формулируется следую- щим образом: по результатам наблюдений над вход- ными и выходными переменными системы должна быть построена оптимальная в некотором смысле модель, т. е. формализованное представление этой системы». В исходных данных часто возникают пропуски. Пробелы (пропуски) в данных возникают вследствие множества причин, таких как невозможность наблю- дения, отсутствие необходимых инструментов и т. п. Самый простой метод работы с такими данными - исключение из таблицы показателя (столбец) или объекта (строки) с пробелом. При большом количест- ве пропусков в данных этот подход приводит к уменьшению точности модели из-за сокращения объема выборки. Важно отметить, что в описанном случае сложность решения задачи идентификации и xt - измерения переменных u(t) и x(t) в дискрет- ные моменты времени. Выборка измерений входных- выходных переменных процесса {ui , xi , i = 1, s}, где s - объем выборки. Измерения входных-выходных переменных объекта поступают на блок «Модель», где на основании заданного алгоритма находятся значения выхода модели xst . Все случайные факторы, действующие в каналах измерения и на процесс, имеют нулевые математические ожидания и ограни- ченные дисперсии. Рассматриваемый процесс относится к классу дис- кретно-непрерывных, т. е. по своей природе процесс является непрерывным, однако входные-выходные переменные процесса контролируются через дискрет- ные моменты времени. Рис. 1. Общая схема исследуемого процесса Fig. 1. General scheme of the explored process При построении модели с помощью методов иден- тификации используются экспериментальные данные. Ведется регистрация входных и выходных сигналов системы, и модель формируется в результате обра- ботки соответствующих данных. Формирование модели по наблюдениям включает: 1) данные; это применение непараметрической оценки кривой регрессии. Вид такой оценки в многомерном случае имеет вид [12] i å Õ u u s m æ j - j ö xi Фç ÷ s m s x^ (u ) = i =1 j =1 è Cs ø , (1) åÕ æ u j - u j ö Подпись: i 2) множество моделей-кандидатов; i =1 Фç ÷ j =1 è Cs ø 3) правило оценки степени соответствия испыты- ваемой модели данным наблюдений. где u = (u1, u2, ..., u3 ) - m-мерный вектор входных воз- Для построения модели важно иметь полные экс- периментальные данные (наблюдения), но на практи- ке это встречается крайне редко, т. е. такие данные имеют пропуски. Точность решения задачи иденти- фикации зависит от качества данных. Если удалять строки из в матрицы наблюдений, которые имеют пропуски, очевидно, что число строк будет меньше, действий объекта; x - выходная величина; Ф(C -1(u j - u j)) - ядерная колоколообразная функция; s i Cs - коэффициент размытости ядра. Ядерная функ- ция Ф(.) и коэффициент размытости ядра Cs удовле- творяют следующим условиям сходимости: s s i C > 0; Þ Ф (C -1(u j - u j )) < ¥; соответственно, точность модели снизится. Поэтому существует задача заполнения таких пробелов в матlim C s s s i s®¥ = 0; Þ C -1 ò Ф (C -1(u j - u j )) dx = 1; (2) рице наблюдений. Непараметрический алгоритм оценки кривой регрессии. Существуют параметрические и непара- метрические методы идентификации. Методы пара- метрической идентификации требуют большого объ- ема априорной информации. Часто возникают случаи, когда априорная информация об объекте очень бедна, поэтому структуру объекта нельзя определить с тре- буемой точностью. Непараметрические методы не ориентированы на указанные параметрические семей- ства, имеют более универсальную структуру и более широкую область применения [7; 8]. В условиях малой априорной информации целесообразно использовать W(u ) s s s i i lim sCm = ¥; Þ lim C -1Ф (C -1(u j - u j )) = d(u j - u j ), s®¥ s®¥ i где d(u j - u j) - дельта-функция Дирака [13]. Ядерная функция имеет различные формы: треугольное ядро, параболическое ядро, кубическое ядро и др. Важно отметить, точность восстановления функции регрессии по наблюдениям с пропусками несущественно зависит от формы ядра и определяется практическими соображениями исследователя. В данных вычисли- тельных экспериментах используется треугольное ядро, которое имеет вид методы непараметрической идентификации [9; 10]. æ x - x ö ïì1- C -1(x - x ) , C -1(x - x ) £ 1 Фç i ÷ = í s i s i . (3) s î s i С другой стороны, необходимо решать большое количество дополнительных задач: выбор структуры системы, задание класса моделей, оценивание степени и формы влияния входных переменных на выход- ные и др. [11]. Один из вариантов построения модели в условиях непараметрической неопределенности - è C ø ï 0, C -1(x - x ) > 1 Для вычислительных экспериментов был выбран объект, описываемый следующей структурой: 1 2 3 2 xi = 0, 5× u + 2 × u2 + u 3 . (4) Следует отметить, что данный вид зависимости (4) известен только в рамках данных вычислительных экспериментов. Сразу отметим, что ошибка модели- рования W считается по формуле s å i i 1 æ s ^ ö Этап I. Найдены значения оценки ^ при запол- ненной матрице наблюдений. x i Этап II. Удалены строчки с пробелами из матрицы наблюдений. В результате выборка уменьшилась в 3 раза. Снова находим значения оценки x^ . W = ç x - x ÷. è i =1 ø (5) i Этап III. Восстановлены пропущенные значения в Проведенные эксперименты по заполнению про- пусков в данных разделены на три этапа. Этап 1. На данном этапе имеем полностью запол- ненную матрицу наблюдений с входными перемен- ными u1, u2 , u3 и выходом xi. C помощью формулы (1) x i находим значения оценки ^ и настраиваем коэффициент размытости Cs, т. е. значение, при котором ошибка W минимальна. То есть параметр размытости Cs определяется путем решения задачи минимизации квадратичного показателя соответствия выхода объ- екта и выхода модели, основанного на методе «сколь- зящего экзамена», когда в модели (1) исключается i-я переменная, предъявляемая для экзамена: s s k s k s R(c ) = å( x - x (u , c ))2 = min, k ¹ i. (6) k =1 cs Важно отметить, что Cs был взят в промежутке от 0,1 до 5 с шагом 0,1. Этап II. Добавляем пропуски по определенному правилу. Удаляем из матрицы наблюдений строчки с пробелами. Далее выполняем то же самое, что на первом этапе. Этап III. На данном этапе восстанавливаем значе- ния пропущенных данных в первом эксперименте по формуле (1), а во втором - по формуле s Фæ x - x ö m æ u jk - u ji ö матрице наблюдений. Результаты данного вычислительного эксперимен- та представлены в табл. 1. После изучения табл. 1 следуют следующие выво- ды: 1. При увеличении выборки S уменьшается ошиб- ка моделирования (5). Это говорит о том, что чем больше текущая информация, тем точнее модель. 2. Результаты 2 этапа во всех случаях хуже итогов 1 и 3 этапов. Очевидно, что выборка на 2 этапе меньше остальных, поэтому ошибка (5) больше (W1s < W2s, W3s < W2s; Cs1 < C2s, Cs3 < Cs2). 3. Результаты на 3 этапе во всех случаях лучше итогов 1 этапа (W3s < W1s < W2s). В большинстве слу- чаев Cs1 = Cs3, в остальных случаях - отличие в одну десятую, это говорит о правильности реализации алгоритма. На рис. 2 представлен график зависимости ошиб- ки W от объема выборки S. Важно отметить, что с увеличением выборки уменьшается ошибка моделирования (5). Поэтому чем больше данных, тем точнее будет результат. Вышеописанные выводы доказывают эффектив- ность применения непараметрического метода для заполнения пропусков и построения модели при ма- лой априорной информации. Второй вычислительный эксперимент. В отличие от первого эксперимента, теперь пропуск находится åu1i ç ÷ÕФ ç ÷ k i i =1 è Cs ø j =1 è Cs ø во входных данных, а именно, в каждой 5-й строке u = k ¹i k ¹i . (7) в случайной переменной u или u , или u . m s æ x - x ö m æ u - u ö 1 2 3 åФç k i ÷ÕФ ç jk ji ÷ i =1 è Cs ø j =1 è Cs ø k ¹i k ¹i Значения пробелов заполнены, матрица наблюде- ний снова становится полной. Далее выполняем то же самое, что на первом этапе. Рассмотренные этапы были реализованы на вы- борках S = 300; 600; 900; 1200; 1500; 1800; 2100. Далее рассмотрим результаты вычислительных экспериментов. Первый вычислительный эксперимент. В рас- сматриваемом эксперименте пропуски находятся в выходных данных (во всех значениях xi, кроме каж- дого третьего). Дискретность таких пропусков объяс- няется особенностью контроля выхода. Это означает, что одни переменные процесса измеряются в один промежуток времени, другие - в другой. На практике часто встречаются данные с различной дискретно- стью контроля выхода, например в процессах сжигания угля в котлоагрегате энергоблока, кислородно- конвертерной плавки стали. Значения входных переменных сгенерированы случайным образом в промежутке от 0 до 3 с точно- стью 0,00001. Рассматриваемый эксперимент будет проведен с разными входными данными. В первом случае меж- ду входами есть некоторые зависимости: u2 = 0, 5 × u1 + 0,1× g , (8) u3 = 0, 5 × u1 + 0, 3 × u2 + 0, 05 × g , (9) где g - случайным образом сгенерированное число в промежутке от 0 до 3 с точностью 0,001. Коэффициент корреляции на всех выборках составляет примерно 0,97. Во втором случае данные сгенерированы случайным образом в промежутке от 0 до 3. x i Этап I. Найдены значения оценки ^ при запол- ненной матрице наблюдений. Этап II. Удалены строчки с пробелами из матриi цы наблюдений. Тем самым выборка сокращается на 20 %. Снова находим значения оценки x^ . Этап III. Восстановлены пропущенные значения в матрице наблюдений. Результаты данного вычислительного эксперимен- та представлены в табл. 2. Подведем некоторые выводы по табл. 2. В данном эксперименте от общего объема выборки пропусков не так много, поэтому процедура удаления строк с пробелами не дает существенного отличия от результатов 1-го этапа (в пределах пяти сотых). Интересно следующее: по результатам 3-го этапа ошибка (5) увеличивается даже в сравнении со 2-м этапом. Таблица 1 Результаты вычислительного эксперимента 2 Структура модели: x1 = a u + a u 2 + a u 3 1 1 2 2 3 3 S 300 0,5249346 0,6 0,86835486 0,8 0,34579805 0,6 600 0,40851948 0,5 0,6613773 0,6 0,2906845 0,5 900 0,32048658 0,4 0,52412224 0,6 0,25944132 0,5 1200 0,27469125 0,4 0,43487462 0,5 0,20380524 0,4 1500 0,25636882 0,4 0,40102375 0,5 0,19891156 0,4 1800 0,2437991 0,4 0,37384215 0,5 0,19284262 0,4 2100 0,22616474 0,3 0,3535294 0,5 0,18599847 0,4 1 этап W1 Cs1 W2 2 этап Cs2 W3 3 этап Cs3 Рис. 2. График зависимости относительной ошибки (5) от объема выборки на разных этапах экспериментов Fig. 2. The graph of dependence of the relative error (5) on the sample size at different stages of the experiments Результаты вычислительного эксперимента с зависимыми между собой входами с пропусками в каждой 5-й строке матрицы наблюдений Таблица 2 2 Структура модели: x1 = a u + a u 2 + a u 3 1 1 2 2 3 3 S 300 0,10365894 0,2 0,107344694 0,2 0,17787787 0,3 600 0,09081579 0,2 0,093733266 0,2 0,1875585 0,3 900 0,045822605 0,1 0,04874478 0,1 0,12278164 0,2 1200 0,03565259 0,1 0,040589087 0,1 0,12119869 0,2 1 этап W1 Cs1 W2 2 этап Cs2 W3 3 этап Cs3 Результаты вычислительного эксперимента 3-го и 4-го этапа с пропуском во входных переменных в каждой пятой строке Таблица 3 2 Структура модели: x1 = a u + a u 2 + a u 3 1 1 2 2 3 3 S 300 0,17787787 0,3 1,3138921 0,9 600 0,1875585 0,3 1,2184308 0,9 900 0,12278164 0,2 1,1859775 0,85 1200 0,12119869 0,2 1,0735321 0,8 3 этап W1 Cs1 W2 4 этап Cs2 Рис. 3. График зависимости W от S в модели (4) при наличии пропуска в каждой пятой строке матрицы наблюдений на входе Fig. 3. The graph of the dependence of W on S in the model (4) with the presence of a gap in each 5 line of the observation matrix at the input Также был проведен этот же эксперимент, но с двумя входными переменными. Картина сохранилась, по результатам 3-го этапа ошибка (5) увеличивается даже в сравнении со 2-м этапом. Данные результаты говорят о том, что эффектив- ность применения этого алгоритма к данным, содержащим пропуски по входным переменным, значительно ниже, чем к данным с пропусками по выходам. Далее эксперимент был повторен с независимыми между собой входными данными. Пусть это будет 4-й этап. Результаты 3-го и 4-го этапа представлены в табл. 3. На рис. 3 представлен график зависимости W от S в модели (4), визуализирующий данные из табл. 3. По вышеописанным данным следует вывод, что при независимых между собой входах результаты в несколько раз хуже, чем при зависимых. Это говорит о том, что использование непараметрического алгоритма для восстановления пропусков на входах при независимых между собой значениях в матрице на- блюдений нецелесообразно использовать (или ис- пользовать, но в задачах, не требующих большой точ- ности). Предполагается, что в строках и столбцах имеется избыточность, т. е. между свойствами могут быть зависимости, а объекты могут быть похожи ме- жду собой. Если избыточность не наблюдается, то все строки и столбцы имеют одинаковый вес при прогно- зировании и смысл локальности алгоритма теряется, что и происходит при независимых данных [14]. Далее проведем исследование, аналогичное про- шлому эксперименту. Но теперь будет пропуск в каждой 3-й строке в случайной переменной u1 или u2, или u3. Результаты проведенного исследования представ- лены в табл. 4. Результат на 3-м этапе хуже, чем на первом и вто- ром (почти всегда), но разрыв между результатами относительно небольшой. На рис. 4 представлен график зависимости ошибки (5) от объема выборки текущего и прошлого экспери- мента с зависимыми между собой данными в матрице наблюдений для модели (4). В данном эксперименте по сравнению с прошлым пробелов в матрице наблюдений больше. По графи- кам очевидно, что ошибка (5) меньше в текущем экс- перименте, т. е. получается так, что при малой априорной информации непараметрические алгоритмы имеют высокую эффективность. Далее эксперимент был повторен с независимыми между собой входными данными. Пусть это будет 4-й этап. Результаты 3-го и 4-го этапа представлены в табл. 5. Визуализация результатов табл. 5 представлена на рис. 5. Результаты вычислительного эксперимента с зависимыми между собой входами с пропусками в каждой 3-й строке матрицы наблюдений Таблица 4 2 Структура модели: x1 = au + a u 2 + a u 3 1 1 2 2 3 3 S 300 0,10365894 0,2 0,11760777 0,2 0,10815763 0,2 600 0,09081579 0,2 0,09333572 0,2 0,09623865 0,2 900 0,045822605 0,1 0,056772906 0,1 0,08182337 0,2 1200 0,03565259 0,1 0,047689456 0,1 0,07308948 0,2 1 этап W1 Cs1 W2 2 этап Cs2 W3 3 этап Cs3 Рис. 4. График зависимости W от S проведенных экспериментов в модели (4) Fig. 4. The graph of the dependence of W on S of the experiments carried out in model (4) Результаты вычислительного эксперимента 3-го и 4-го этапа с пропуском во входных переменных в каждой третьей строке Таблица 5 2 Структура модели: x1 = au + a u 2 + a u 3 1 1 2 2 3 3 S 300 0,10815763 0,2 0,6380898 0,9 600 0,09623865 0,2 0,4356285 0,6 900 0,08182337 0,2 0,3983642 0,6 1200 0,07308948 0,2 0,3711715 0,6 3 этап W1 Cs1 W2 4 этап Cs2 Рис. 5. График зависимости ошибки (5) от объема выборки в модели (4) Fig. 5. The graph of the dependence of the error (5) on the sample size in the model (4) Анализируя графики и табл. 5, еще раз можно убе- диться в том, что при независимых между собой вхо- дах результаты в несколько раз хуже, чем при зави- симых. Использование непараметрического алгорит- ма для восстановления пропусков при случайных входных значениях в матрице наблюдений нецелесо- образно. Заключение. Вышеописанные выводы доказыва- ют эффективность применения непараметрического алгоритма для заполнения пропусков и построения модели при малой априорной информации. Ошибка моделирования (5) по заполненной матрице наблюде- ний с помощью рассматриваемого алгоритма оказа- лась меньше, чем по исходной. Эффективность применения непараметрического алгоритма к данным, содержащим пропуски по вход- ным переменным, значительно ниже, чем к данным с пропусками по выходам. Также важно отметить, что при зависимых входных данных результат работы алгоритма будет намного точнее, что описано в гипо- тезе избыточности [15]. В дальнейшем планируется исследование Zet- алгоритма, а именно, его применение в задаче заполнения пропусков в данных. Также будет прове- дено сравнение результатов работы Zet-алгоритма с алгоритмом непараметрической оценки кривой рег- рессии.

Об авторах

П. А. Осипов

Сибирский федеральный университет, Институт космических и информационных технологий

Email: uoo-ikit@mail.ru
Российская Федерация, 660074, г. Красноярск, ул. Академика Киренского, 26

Я. С. Осипова

Сибирский федеральный университет, Институт космических и информационных технологий

Российская Федерация, 660074, г. Красноярск, ул. Академика Киренского, 26

А. В. Хоркуш

Сибирский федеральный университет, Институт космических и информационных технологий

Российская Федерация, 660074, г. Красноярск, ул. Академика Киренского, 26

П. Е. Вдовых

Сибирский федеральный университет, Институт космических и информационных технологий

Российская Федерация, 660074, г. Красноярск, ул. Академика Киренского, 26

М. В. Верхотурова

Сибирский федеральный университет, Институт космических и информационных технологий

Российская Федерация, 660074, г. Красноярск, ул. Академика Киренского, 26

Список литературы

Дополнительные файлы