APPLICATION OF ENSEMBLE MACHINE LEARNING METHODS FOR PREDICTING THE TECHNICAL STATE OF AN OBJECT

Full Text

ВВЕДЕНИЕ Прогнозирование технического состояния объекта является неотъемлемой частью обеспечения его функциональной надёжности и направлено на предсказание его работоспособности, а также наступления предельного состояния [1-2]. Пусть техническое состояние объекта в определённый момент времени характеризуется набором параметров его функционирования X1, X2, …, Xp. Предполагается, что при определённых значениях этих параметров объект может находиться в исправном (Y = 1) или неисправном (Y = 0) состоянии. Известные результаты измерений параметров функционирования объекта X1, X2, …, Xp и соответствующих им состояний объекта Y образуют обучающую выборку. Задача сводится к поиску зависимости (модели) между параметрами объекта X1, X2, …, Xp и состояниями Y, способной с достаточно высокой точностью дать прогноз технического состояния объекта (исправен или неисправен) в предстоящий интервал времени. Для решения этой задачи могут быть использованы различные модели временных рядов [3-7], модели изображений [8-9], нечёткие модели [10-12], а также методы машинного обучения [13-20]. Однако при использовании методов машинного обучения нельзя заранее определить, какой из них обеспечит корректное решение задачи. Поэтому при решении конкретных задач проводят апробацию множества методов машинного обучения, что иногда бывает трудоёмко. В данной работе для решения поставленной задачи предлагается применение ансамблевых методов машинного обучения [15-20], а именно процедуры бэггинга [18-20], что позволит улучшить точность прогнозирования состояния объекта. Целью работы является исследование эффективности применения ансамблевых методов машинного обучения для прогнозирования технического состояния объекта. АНСАМБЛЕВЫЕ МЕТОДЫ МАШИННОГО ОБУЧЕНИЯ Для получения хороших результатов прогнозирования технического состояния объекта необходимо правильно выбрать модель обучения. Выбор модели может зависеть от многих факторов: количества исходных данных, значимости параметров функционирования объекта, наличия корреляционной зависимости между параметрами объекта и т.д. Базовые модели машинного обучения работают по отдельности не всегда хорошо, в связи с тем, что они либо имеют высокое смещение, либо слишком большой разброс, чтобы быть устойчивыми. Поэтому при выборе модели прогнозирования желательно, чтобы она имела слабое смещение и небольшой разброс. Идея ансамблевых методов машинного обучения состоит в том, чтобы попытаться уменьшить смещение и (или) разброс таких слабых моделей, объединяя несколько из них вместе, для получения лучших результатов прогнозирования, чем могли бы получить от каждой модели по отдельности. В ансамблевых методах обучения базовые модели используются в качестве строительных блоков для проектирования более сложных моделей путём объединения нескольких из них. Для реализации ансамблевых методов нужно отобрать базовые модели для агрегирования. Одним из ансамблевых методов является бэггинг [18-20]. Бэггинг - это один из первых и самых простых видов ансамблей. В методе бэггинга используется единственный базовый алгоритм обучения, то есть имеются однородные слабые модели, которые обучаются параллельно и независимо друг от друга, а затем объединяются, следуя некоторому детерминированному процессу усреднения. Получаемая таким образом модель ансамбля называется «однородной». В основном бэггинг направлен на получение ансамблевой модели с меньшим разбросом, чем её компоненты. Бэггинг основан на статистическом методе бутстрэпа, который позволяет оценивать многие статистики сложных распределений [19]. Бутстрэп - статистический метод, заключающийся в генерации выборок размера B из исходного множества наблюдений размера N путём случайного выбора элементов с повторениями. При некоторых допущениях эти выборки имеют довольно хорошие статистические свойства: в первом приближении их можно рассматривать как взятые непосредственно из истинного базового (и часто неизвестного) распределения данных, так и независимо друг от друга. Таким образом, их можно считать репрезентативными и независимыми выборками. При этом размер N исходной выборки данных должен быть достаточно большим, чтобы охватить большую часть сложности базового распределения, а также достаточно большим по сравнению с размером бутстрэп выборок B, чтобы выборки не слишком сильно коррелировали. Идея бэггинга в таком случае проста: необходимо подобрать несколько независимых моделей и «усреднить» их прогнозы, чтобы получить модель с меньшим разбросом. Пусть сформировано L бутстрэп выборок размера B. По каждой выборке обучено L базовых моделей и получены вероятности для каждого класса Y, предсказываемые всеми моделями: (1) где - прогнозируемая вероятность принадлежности объекта к классу Y. Затем полученные модели объединяются с помощью процедуры усреднения, чтобы получить модель ансамбля с меньшим разбросом, чем её отдельные компоненты: (2) Так как бутстрэп выборки являются примерно независимыми и одинаково распределенными, то и «усреднение» результатов базовых моделей не изменяет ожидаемый ответ, но уменьшает его разброс (так же, как усреднение независимых одинаково распределённых случайных величин сохраняет ожидаемое значение, но уменьшает разброс). Одним из больших преимуществ бэггинга является его параллелизм. Поскольку различные модели обучаются независимо друг от друга, при необходимости могут использоваться методы интенсивного распараллеливания. КРИТЕРИИ КАЧЕСТВА ПРОГНОЗИРОВАНИЯ Для оценки точности прогнозирования технического состояния объекта с помощью ансамблевых моделей машинного обучения можно использовать критерии качества бинарной классификации [14]. При несбалансированном распределении наблюдений за объектом на классы состояний (исправные и неисправные) используются такие метрики, как точность, полнота и F-мера. Точность показывает, какая доля наблюдений за объектом, отнесённых моделью к исправному состоянию, действительно принадлежат исправному состоянию: (3) где TP - количество правильно классифицированных исправных состояний; FP - количество неправильно классифицированных исправных состояний. Полнота - это доля найденных моделью наблюдений исправных состояний объекта относительно всех наблюдений, принадлежащих исправному состоянию, в обучающей выборке: (4) где TP - количество правильно классифицированных исправных состояний; FN - количество неправильно классифицированных неисправных состояний объекта. F-мера - это гармоническое среднее точности и полноты: . (5) Чем ближе значение F к единице, тем лучше результаты классификации. ЧИСЛЕННОЕ ИССЛЕДОВАНИЕ В качестве объекта исследования рассмотрим объект, техническое состояние которого определяется восемью параметрами его функционирования. Для оценки точности прогнозирования состояния объекта разделим исходную выборку на две части: обучающую (90% от объёма исходных наблюдений) и контрольную (оставшиеся 10% наблюдений). По обучающей выборке построим модели базовых методов машинного обучения (логистическая регрессия, байесовский классификатор, дискриминантный анализ, метод опорных векторов, деревья решений, нейронные сети), а также с помощью бэггинг-подхода. Рассчитаем значение F-меры, полученные результаты исследования представим в таблице 1. Из таблицы следует, что применение процедуры бэггинга позволяет повысить точность прогнозирования в среднем на 4%-9% по сравнению с базовыми моделями. При этом лучшие результаты дают бэггинг деревьев решений и бэггинг нейронных сетей. ЗАКЛЮЧЕНИЕ Для прогнозирования технического состояния объекта предложено использование ансамблевых методов машинного обучения, достоинствами которых является уменьшение разброса модели и получение более надёжных результатов прогнозирования. Эффективность бэггинг-подхода продемонстрирована на примере прогнозирования состояния технического объекта, которое описывается восемью параметрами его функционирования. Оказалось, что применение бэггинга позволяет повысить точность прогнозирования на 4%-9% по сравнению с базовыми методами машинного обучения. Одним из больших преимуществ бэггинга является его параллелизм, поскольку различные модели ансамбля обучаются независимо друг от друга. Описанный подход может быть использован специалистами для прогнозирования технического состояния объектов во многих технических приложениях, в частности, в авиации.

About the authors

Yu. E Kuvayskova

Ulyanovsk State Technical University

Email: u.kuvaiskova@mail.ru
Ulyanovsk, Russia

References

Supplementary files