Deep neural network for diagnostics of railway track components

Full Text

Введение

Современные скоростные железные дороги представляют собой киберфизические системы, состоящие из взаимодействующих подсистем: рельсового пути, подвижного состава, системы энергетики, информационно-измерительных и управляющих систем [1, 2].

Ключевыми критериями работы железных дорог являются надежность и рентабельность [3]. При этом наибольшие проблемы возникают в области интенсивного энергетического взаимодействия колесных пар транспортных средств и рельсового пути.

Рельсовый стык является местом соединения двух примыкающих концов рельсов при наличии специального скрепления. Рельсовый стык должен обеспечивать переход колеса с минимальной ударной нагрузкой. Представляя самую слабую часть пути, рельсовый стык постоянно изучается и совершенствуется. В процессе эксплуатации в нем могут возникать дефекты, приводящие к нежелательным, а порой и к катастрофическим последствиям [4].

Наиболее эффективными методами определения технических состояний элементов рельсового пути являются вибродиагностика и статистическая обработка сигналов [5–7], а также визуальное наблюдение [8, 9].

Кроме того, рельсовый стык участвует в образовании и функционировании рельсовой электрической цепи. Главное назначение рельсовой цепи – обнаружение присутствия поезда или подвижного состава на участке пути, образующем рельсовую цепь. Рельсовые цепи являются основным элементом автоматической блокировки и применяются для различных целей в устройствах диспетчерской централизации, при ограждении переездов, а также на механизированных сортировочных станциях [10].

Существует проблема оперативной обработки и анализа данных мониторинга рельсового пути. Визуальный контроль предполагает съемку на высокой скорости сотен километров рельсов за один проезд вагона-путеизмерителя. В результате получаются десятки тысяч изображений, которые операторы не могут обработать в реальном времени. Решение задачи предлагается выполнить с использованием интеллектуальных методов обработки больших массивов информации [11–13]. В связи с этим контроль и диагностика состояния рельсовых стыков с помощью искусственных нейронных сетей является актуальной задачей.

Классификация технических состояний рельсовых стыков

В работе [13] описан диагностический комплекс в составе вагона-путеизмерителя. В состав комплекса входят четыре видеокамеры для непрерывной регистрации визуального изображения обоих рельсов, блок препроцессинга изображений и подсистема принятия решений о состоянии рельсового пути (рис. 1). Диагностический комплекс использовался для контроля только рельсовых скреплений. В настоящей статье рассматривается построение глубокой нейронной сети для выявления дефектов рельсовых стыков.

 

Рис. 1. Система мониторинга рельсового пути: ВК 1 – ВК 4 – видеокамеры видимого спектра; АРМ – автоматизированное рабочее место оператора; БД – база данных видеосъемки; СППР – система поддержки принятия решений

 

Формирование изображений рельсовых стыков происходит следующим образом. Поезд с вагоном-путеизмерителем движется равномерно со скоростью 30 м/с (108 км/ч). Съемка производится с частотой 60 снимков в секунду с градациями серого (Grayscale). Все сделанные снимки имеют размеры $1024\times 500$ пикселей и склеиваются в единое полотно для каждой камеры. При получении нового кадра осуществляется его склеивание с концом полотна практически без «перехлеста». В итоге образуется файл с данными как единое изображение размером $1024k\times 500$, где $k$ – число кадров в файле полотна. Файл содержит в названии номера вагона, камеры и проезда, дату и время съемки.

Затем из данных в файле полотна вырезаются кадры $300\times 300$ со стыками. Для этого используются существующие алгоритмы, обеспечивающие детекцию стыка в кадре; центрирование стыка и масштабирование.

На российских железных дорогах используются три основных типа рельсовых стыков [14]: обычный стык; изолирующий стык; сварной стык.

Первый тип соответствует соединению рельсов при помощи накладки и болтов. Зазор в таком стыке может быть нулевым. Накладка обычно крепится при помощи четырех или шести болтов.

Различают два варианта обычного стыка: без соединителя и с соединителем. Соединитель в виде жгута проводов служит для образования надежной эклектической цепи. На рис. 2, а и рис. 2, б показаны примеры обычных рельсовых стыков. Изображение изолирующего стыка приведено на рис. 2, в, а изображение сварного стыка – на рис. 2, г.

 

Рис. 2. Типы рельсовых стыков: а – обычный стык без соединителя; б – обычный стык с соединителем; в – изолирующий стык; г – сварной стык

 

В данной работе рассматриваются два основных типа дефектов, которые могут возникать в обычном стыке с соединителем: соединитель оторван с одного конца; соединитель оторван полностью.

Примеры этих дефектов приведены на рис. 3, а и рис. 3, б соответственно. На рис. 3, а один из концов соединителя не закреплен и висит в воздухе, а на рельсе видны следы от него. На рис. 3, б полностью отсутствуют любые элементы соединителя. При этом хотя бы на одном рельсе должны присутствовать следы оторванного конца соединителя. Стоит отметить, что наличие таких следов на изолирующем или сварном стыке не является дефектом, так в этих стыках соединители не используются.

 

Рис. 3. Дефектные стыки: а – обычный стык с соединителем, оторванным с одного конца; б – обычный стык с полностью оторванным соединителем

 

Для полного описания возможных классов изображений рельсовых стыков предлагается добавить два дополнительных типа изображений: «Рельс без стыка» и «Отсутствующий рельс». Примеры таких ситуаций показаны на рис. 4. В первом случае был заснят участок дороги, где на рельсе нет стыка. Такие кадры могу быть иметь место, так как видеосъемка ведется непрерывно, а расстояния между стыками рельсов могут отличаться. Второй вариант связан с вероятностью попадания в кадр участка рельсового пути с поворотом. В этом случае на рельсах может не быть стыка либо в кадр могут попасть сразу несколько рельсов (рис. 4, а).

 

Рис. 4. Дополнительные классы изображений: а – участок рельса без стыка; б – изображение без рельса

 

Отсутствовать рельс может в случае сбоев, произошедших в камере. Она может быть изначально неправильно настроена либо сбита во время движения вагона-путеизмерителя. Часто в такие кадры попадают накладки, шпалы, скрепления, камни и другие посторонние предметы (рис. 4, б).

Для идентификации типа и технического состояния рельсового стыка предложены восемь классов. Каждый из таких классов описывает определенные характеристики места соединения рельсов. Названия классов изображений и их соответствие типам и состояниям стыков приведены в табл. 1.

 

Таблица 1. Классы изображений и типы состояний рельсовых стыков

Обозначение класса	Тип и состояние рельсового стыка	Количество исходных изображений в классе
conn	Обычный стык с соединителем	7010
cut	Обычный стык с соединителем. Соединитель оторван с одного конца	1446
fake	Изображение, на котором нет рельса	7004
fake_rail	Изображение, на котором нет стыка	1010
iso	Изолирующий стык	5024
missing	Обычный стык с соединителем. Соединитель полностью оторван	5024
no_conn	Обычный стык без соединителя	5010
weld	Сварной стык	5008

 

Классы fake_rail (рельс без стыка) и fake (отсутствующий рельс) образуют дополнительные изображения, которые могут быть получены при съемке. Они описаны ранее и представлены соответственно на рис. 4.

Структура конволюционной нейронной сети VGG16 для классификации состояний рельсовых стыков

В качестве входных данных системы классификации рельсовых стыков используются изображения размером $300\times 300$ пикселей в оттенках серого. Затем изображение уменьшается в 2 раза для получения кадра с размерностью $150\times 150\times 1$. Каждый элемент массива пикселей в кадре делится на 255, что позволяет свести значения яркости пикселей к диапазону от 0 до 1.

Разработка нейронной сети проводилась с использованием библиотек Tensorflow и Keras [15].

Для решения задачи классификации состояний рельсовых стыков была спроектирована предварительно обученная конволюционная сеть VGG16 [16]. Сеть была обучена на массиве изображений с сайта ImageNet: животных и растений, домов, автомобилей и других объектов.

На рис. 5 представлена архитектура нейронной сети, используемой для классификации рельсовых стыков. Модель сети содержит слои InputLayer (входной слой), Conv2D (конволюционный (сверточный) слой), MaxPolling2D (слой максимального объединения), BatchNormalization (нормализация, защита от переобучения), Flatten (спрямляющий), Dense (полносвязный), а также Activation (активационный). Стрелками указан порядок следования слоев. Каждый блок на рисунке содержит информацию о названии и типе слоя. Правое верхнее поле блока содержит размерности входных массивов, правое нижнее поле – размерности выходных массивов.

 

Рис. 5. Структура классификатора рельсовых стыков на базе нейронной сети VGG16

 

Исходная модель VGG16 обучена на изображениях размером $224\times 224\times 3$. Для классификации стыков необходимо обучить модель на имеющихся изображениях размером $150\times 150\times 1$. В исходной модели можно поменять размеры кадров, если загрузить ее без полносвязных слоев, то есть использовать только feature extractor самой модели.

Загрузка самого feature extractor модели производится не с целью его обучения, а с целью получения весов с его слоев. Так как модель VGG16 использует RGB-вход, а обучение будет проводиться на grayscale-кадрах, то копия архитектуры feature extractor для VGG16 переопределяется путем задания в качестве входного слоя с размерами $150\times 150\times 1$ (слой 0). Далее в эту сформированную структуру загружаются веса оригинальной сети VGG16 для слоев, начиная со второго. Для слоя 1 выполняется усреднение по всем трем каналам (RGB) исходных весов VGG16, и результат добавляется в новую версию модели. После этого добавляется классификатор собственной разработки.

Таким образом, классификатор в исходной сети VGG16 полностью заменен классификатором собственной разработки (последние четыре блока на рис. 5). Это связано с используемым способом обучения, который описан далее. Классификатор содержит два полносвязных слоя, активационный и слой нормализации. Исходные веса в предобученной VGG16 в этом участке конволюционной сети не сохраняются, так как классификатор собственной разработки подготовлен для новой решаемой задачи и его веса необходимо получить, проводя обучение заново.

Каждое изображение с некоторой вероятностью принадлежит к определенному классу. Выходной слой нейронной сети содержит 8 нейронов, при этом каждый из нейронов соответствует определенному классу в табл. 1. Выходной сигнал нейрона равен вероятности принадлежности изображения к заданному классу после прохождения через нейронную сеть.

В рамках разработки глубокой нейронной сети была использована одна из разновидностей градиентного спуска – Adam (Adaptive Moment Estimation) [17]. Метод, в частности, вычисляет экспоненциальное скользящее среднее градиента и квадратичный градиент.

Формирование обучающих выборок и обучение нейронной сети

Для тренировки разработанной нейронной сети используется режим обучения с учителем. Для этого 90 % изображений помещаются в обучающий набор и 10 % изображений – в тестовый набор. В связи с тем, что имеется небольшое количество исходных изображений (менее 10 000 для наиболее часто встречающегося класса), необходима генерация дополнительных изображений. Это в первую очередь касается классов fake rail и cut.

Новые кадры создаются следующими аффинными преобразованиями: вертикальный поворот исходного кадра (поворот на 180 градусов); уменьшение и увеличение яркости кадра (максимум на 70 %); поворот на 2 градуса в случайном направлении относительно центра кадра; приближение изображения (максимум на 10 %). Эти изображения генерируются только для обучающей выборки.

Табл. 2 содержит данные о количестве изображений в каждом классе после аугментации данных.

 

Таблица 2. Объем обучающей выборки после дополнения кадров

Классы
conn	no_conn	iso	weld	cut	missing	fake	fake_rail
378553	78121	378254	54542	271327	271326	270552	270487

 

Общий объем выборки для обучения нейронной сети составил 1 973 162 кадра.

Оценка потерь выполняется категориальной перекрестной энтропией. Для повышения скорости обучения выбрано значение 10-5. В процессе обучения отслеживается изменение точности классификации и потерь относительно номера шага. Максимальный период обучения нейронной сети ограничивался значением 100 эпох. Если в течение пяти шагов на каждой эпохе точность классификации модели улучшилась менее чем на 0.001, то тренировка сети останавливается. Это помогает предотвратить переобучение.

Для обучения нейронной сети использовался метод переноса обучения [18]. Он предполагает использование исходного сверточного участка предобученной сети и собственного классификатора. Веса сверточного участка берутся из VGG16 и «замораживаются» (остаются неизменными в процессе обучения). Тогда процесс обучения не влияет на сверточный участок сети. Напротив, для классификатора происходит настройка весов в ходе тренировки сети.

Точность классификатора после обучения оценивается с использованием двух метрик Precision и Recall. Метрика Precision или PPV показывает долю рельсовых стыков, отнесенных классификатором к заданному классу и при этом действительно принадлежащих этому классу:

$PP{V}_K=\frac{TP}{T{P}_K+F{P}_K}$,

где $K=\overline{\mathrm{1,8}}$ – количество классов рельсовых стыков; $T{P}_K$ – истинно-положительные предсказания; $F{P}_K$ – ложноположительные, то есть тестовые результаты, ошибочно классифицирующие стык как принадлежащий классу $K$.

Метрика Recall или TPR демонстрирует способность классификатора обнаруживать данный класс рельсовых стыков вообще во множестве всех анализируемых изображений:

$TP{R}_K=\frac{T{P}_K}{T{P}_K+F{N}_K}$,

где $F{N}_K$ – ложноотрицательные результаты, то есть тесты, которые ошибочно классифицируют стыки как не принадлежащие классу $K$.

Иногда имеет смысл оценить обе метрики с помощью агрегированного критерия качества в виде F1-меры, которая представляет собой среднее гармоническое значение двух величин.

Полученные результаты тренировки нейронной сети для каждого из классов рельсовых стыков показаны в табл. 3. В табл. 4. приведены средние значения метрик разработанного классификатора рельсовых стыков на глубокой нейронной сети.

 

Таблица 3. Метрики классификации рельсовых стыков

Метрики	Классы
	conn	no_conn	iso	weld	cut	missing	fake	fake_rail
PPV	0.96	0.98	0.91	0.98	0.97	0.95	1.00	0.99
TPR	0.98	0.90	1.00	1.00	0.93	0.95	0.98	0.95
F1 score	0.97	0.94	0.95	0.99	0.95	0.95	0.99	0.97

 

Таблица 4. Общая статистика нейросетевого классификатора

Метрики
Accuracy	Loss	Precision	Recall
0.963	0.199	0.964	0.962

 

Таким образом, разработанная нейронная сеть может эффективно выполнять классификацию состояний рельсовых стыков в целом с точностью 96 %.

Заключение

В работе представлена глубокая нейронная сеть VGG16, предназначенная для классификации рельсовых стыков и выявления их дефектов. Нейронная сеть работает в составе диагностического комплекса рельсового пути, обеспечивающего получение изображений рельсов при движении вагона-путеизмерителя.

Предложена модифицированная архитектура предобученной глубокой сети, что позволило повысить скорость и точность классификации рельсовых стыков. Разработана методика обучения и тестирования нейронной сети. Экспериментальные исследования сети при прохождении вагона-путеизмерителя на участке железной дороги показали достижение точности классификации стыков не менее 96 %.

Дальнейшее развитие интеллектуальной диагностической системы предполагается выполнять в направлении совершенствования архитектуры глубокой конволюционной сети. В частности, перспективным является использование архитектуры RetinaNet с базовой частью (backbone), построенной на нейронной сети типа ResNet или EfficientNet [19, 20].

About the authors

Sergey P. Orlov

Samara State Technical University

Email: orlovsp1946@gmail.com
ORCID iD: 0000-0002-0009-9456
SPIN-code: 6986-7706
Scopus Author ID: 57143799400
ResearcherId: D-5485-2014

Dr. Sci. (Techn.), Professor

Russian Federation, 244, Molodogvardeyskaya st., Samara, 443100

Nikolai A. Efimushkin

Samara State Technical University

Email: efimushkin1999@mail.ru
ORCID iD: 0000-0002-5183-0034

student

Russian Federation, 244, Molodogvardeyskaya st., Samara, 443100

Natalia V. Efimushkina

Samara State Technical University

Author for correspondence.
Email: nvefimushkina@mail.ru
ORCID iD: 0000-0002-2140-3736

PhD (Techn.), Associate Professor

Russian Federation, 244, Molodogvardeyskaya st., Samara, 443100

References

Supplementary files