Deep neural network for diagnostics of railway track components
- Authors: Orlov S.P.1, Efimushkin N.A.1, Efimushkina N.V.1
-
Affiliations:
- Samara State Technical University
- Issue: Vol 30, No 1 (2022)
- Pages: 63-74
- Section: Informatics, Computer Science and Control
- URL: https://journals.eco-vector.com/1991-8542/article/view/104563
- DOI: https://doi.org/10.14498/tech.2022.1.4
Cite item
Full Text
Abstract
The problem of increasing the speed of railway transportation and ensuring reliability is associated with constant monitoring of the condition of the railway tracks. The modern track measuring cars are equipped with video cameras and computer equipment for processing the received information. However, manual processing of data by operators in real-time is not possible. The article proposes a deep convolutional neural network for automatically recognizing and classifying defects in rail joints on rail track images. The rail video observation forms the image array during the passage of the track recording car. The formation of classes of rail joints is described. Regular rail joints with connectors, insulating joints, and welded joints are considered. Additional classes are identified, corresponding to various anomalous configurations of rail joints in the images. A modified structure of a pre-trained deep convolutional network is constructed. When preparing training samples, the actual images of rail joints were supplemented with artificial images obtained by affine transformations. The process of training and testing the classifier based on the developed convolutional network is described. The Transfer Learning is used to train the neural network. As a result of the experiments, the accuracy of classifying rail joints and detecting defects was at least 96%.
Full Text
Введение
Современные скоростные железные дороги представляют собой киберфизические системы, состоящие из взаимодействующих подсистем: рельсового пути, подвижного состава, системы энергетики, информационно-измерительных и управляющих систем [1, 2].
Ключевыми критериями работы железных дорог являются надежность и рентабельность [3]. При этом наибольшие проблемы возникают в области интенсивного энергетического взаимодействия колесных пар транспортных средств и рельсового пути.
Рельсовый стык является местом соединения двух примыкающих концов рельсов при наличии специального скрепления. Рельсовый стык должен обеспечивать переход колеса с минимальной ударной нагрузкой. Представляя самую слабую часть пути, рельсовый стык постоянно изучается и совершенствуется. В процессе эксплуатации в нем могут возникать дефекты, приводящие к нежелательным, а порой и к катастрофическим последствиям [4].
Наиболее эффективными методами определения технических состояний элементов рельсового пути являются вибродиагностика и статистическая обработка сигналов [5–7], а также визуальное наблюдение [8, 9].
Кроме того, рельсовый стык участвует в образовании и функционировании рельсовой электрической цепи. Главное назначение рельсовой цепи – обнаружение присутствия поезда или подвижного состава на участке пути, образующем рельсовую цепь. Рельсовые цепи являются основным элементом автоматической блокировки и применяются для различных целей в устройствах диспетчерской централизации, при ограждении переездов, а также на механизированных сортировочных станциях [10].
Существует проблема оперативной обработки и анализа данных мониторинга рельсового пути. Визуальный контроль предполагает съемку на высокой скорости сотен километров рельсов за один проезд вагона-путеизмерителя. В результате получаются десятки тысяч изображений, которые операторы не могут обработать в реальном времени. Решение задачи предлагается выполнить с использованием интеллектуальных методов обработки больших массивов информации [11–13]. В связи с этим контроль и диагностика состояния рельсовых стыков с помощью искусственных нейронных сетей является актуальной задачей.
Классификация технических состояний рельсовых стыков
В работе [13] описан диагностический комплекс в составе вагона-путеизмерителя. В состав комплекса входят четыре видеокамеры для непрерывной регистрации визуального изображения обоих рельсов, блок препроцессинга изображений и подсистема принятия решений о состоянии рельсового пути (рис. 1). Диагностический комплекс использовался для контроля только рельсовых скреплений. В настоящей статье рассматривается построение глубокой нейронной сети для выявления дефектов рельсовых стыков.
Рис. 1. Система мониторинга рельсового пути: ВК 1 – ВК 4 – видеокамеры видимого спектра; АРМ – автоматизированное рабочее место оператора; БД – база данных видеосъемки; СППР – система поддержки принятия решений
Формирование изображений рельсовых стыков происходит следующим образом. Поезд с вагоном-путеизмерителем движется равномерно со скоростью 30 м/с (108 км/ч). Съемка производится с частотой 60 снимков в секунду с градациями серого (Grayscale). Все сделанные снимки имеют размеры пикселей и склеиваются в единое полотно для каждой камеры. При получении нового кадра осуществляется его склеивание с концом полотна практически без «перехлеста». В итоге образуется файл с данными как единое изображение размером , где – число кадров в файле полотна. Файл содержит в названии номера вагона, камеры и проезда, дату и время съемки.
Затем из данных в файле полотна вырезаются кадры со стыками. Для этого используются существующие алгоритмы, обеспечивающие детекцию стыка в кадре; центрирование стыка и масштабирование.
На российских железных дорогах используются три основных типа рельсовых стыков [14]: обычный стык; изолирующий стык; сварной стык.
Первый тип соответствует соединению рельсов при помощи накладки и болтов. Зазор в таком стыке может быть нулевым. Накладка обычно крепится при помощи четырех или шести болтов.
Различают два варианта обычного стыка: без соединителя и с соединителем. Соединитель в виде жгута проводов служит для образования надежной эклектической цепи. На рис. 2, а и рис. 2, б показаны примеры обычных рельсовых стыков. Изображение изолирующего стыка приведено на рис. 2, в, а изображение сварного стыка – на рис. 2, г.
Рис. 2. Типы рельсовых стыков: а – обычный стык без соединителя; б – обычный стык с соединителем; в – изолирующий стык; г – сварной стык
В данной работе рассматриваются два основных типа дефектов, которые могут возникать в обычном стыке с соединителем: соединитель оторван с одного конца; соединитель оторван полностью.
Примеры этих дефектов приведены на рис. 3, а и рис. 3, б соответственно. На рис. 3, а один из концов соединителя не закреплен и висит в воздухе, а на рельсе видны следы от него. На рис. 3, б полностью отсутствуют любые элементы соединителя. При этом хотя бы на одном рельсе должны присутствовать следы оторванного конца соединителя. Стоит отметить, что наличие таких следов на изолирующем или сварном стыке не является дефектом, так в этих стыках соединители не используются.
Рис. 3. Дефектные стыки: а – обычный стык с соединителем, оторванным с одного конца; б – обычный стык с полностью оторванным соединителем
Для полного описания возможных классов изображений рельсовых стыков предлагается добавить два дополнительных типа изображений: «Рельс без стыка» и «Отсутствующий рельс». Примеры таких ситуаций показаны на рис. 4. В первом случае был заснят участок дороги, где на рельсе нет стыка. Такие кадры могу быть иметь место, так как видеосъемка ведется непрерывно, а расстояния между стыками рельсов могут отличаться. Второй вариант связан с вероятностью попадания в кадр участка рельсового пути с поворотом. В этом случае на рельсах может не быть стыка либо в кадр могут попасть сразу несколько рельсов (рис. 4, а).
Рис. 4. Дополнительные классы изображений: а – участок рельса без стыка; б – изображение без рельса
Отсутствовать рельс может в случае сбоев, произошедших в камере. Она может быть изначально неправильно настроена либо сбита во время движения вагона-путеизмерителя. Часто в такие кадры попадают накладки, шпалы, скрепления, камни и другие посторонние предметы (рис. 4, б).
Для идентификации типа и технического состояния рельсового стыка предложены восемь классов. Каждый из таких классов описывает определенные характеристики места соединения рельсов. Названия классов изображений и их соответствие типам и состояниям стыков приведены в табл. 1.
Таблица 1. Классы изображений и типы состояний рельсовых стыков
Обозначение класса | Тип и состояние рельсового стыка | Количество исходных изображений в классе |
conn | Обычный стык с соединителем | 7010 |
cut | Обычный стык с соединителем. Соединитель оторван с одного конца | 1446 |
fake | Изображение, на котором нет рельса | 7004 |
fake_rail | Изображение, на котором нет стыка | 1010 |
iso | Изолирующий стык | 5024 |
missing | Обычный стык с соединителем. Соединитель полностью оторван | 5024 |
no_conn | Обычный стык без соединителя | 5010 |
weld | Сварной стык | 5008 |
Классы fake_rail (рельс без стыка) и fake (отсутствующий рельс) образуют дополнительные изображения, которые могут быть получены при съемке. Они описаны ранее и представлены соответственно на рис. 4.
Структура конволюционной нейронной сети VGG16 для классификации состояний рельсовых стыков
В качестве входных данных системы классификации рельсовых стыков используются изображения размером пикселей в оттенках серого. Затем изображение уменьшается в 2 раза для получения кадра с размерностью . Каждый элемент массива пикселей в кадре делится на 255, что позволяет свести значения яркости пикселей к диапазону от 0 до 1.
Разработка нейронной сети проводилась с использованием библиотек Tensorflow и Keras [15].
Для решения задачи классификации состояний рельсовых стыков была спроектирована предварительно обученная конволюционная сеть VGG16 [16]. Сеть была обучена на массиве изображений с сайта ImageNet: животных и растений, домов, автомобилей и других объектов.
На рис. 5 представлена архитектура нейронной сети, используемой для классификации рельсовых стыков. Модель сети содержит слои InputLayer (входной слой), Conv2D (конволюционный (сверточный) слой), MaxPolling2D (слой максимального объединения), BatchNormalization (нормализация, защита от переобучения), Flatten (спрямляющий), Dense (полносвязный), а также Activation (активационный). Стрелками указан порядок следования слоев. Каждый блок на рисунке содержит информацию о названии и типе слоя. Правое верхнее поле блока содержит размерности входных массивов, правое нижнее поле – размерности выходных массивов.
Рис. 5. Структура классификатора рельсовых стыков на базе нейронной сети VGG16
Исходная модель VGG16 обучена на изображениях размером . Для классификации стыков необходимо обучить модель на имеющихся изображениях размером . В исходной модели можно поменять размеры кадров, если загрузить ее без полносвязных слоев, то есть использовать только feature extractor самой модели.
Загрузка самого feature extractor модели производится не с целью его обучения, а с целью получения весов с его слоев. Так как модель VGG16 использует RGB-вход, а обучение будет проводиться на grayscale-кадрах, то копия архитектуры feature extractor для VGG16 переопределяется путем задания в качестве входного слоя с размерами (слой 0). Далее в эту сформированную структуру загружаются веса оригинальной сети VGG16 для слоев, начиная со второго. Для слоя 1 выполняется усреднение по всем трем каналам (RGB) исходных весов VGG16, и результат добавляется в новую версию модели. После этого добавляется классификатор собственной разработки.
Таким образом, классификатор в исходной сети VGG16 полностью заменен классификатором собственной разработки (последние четыре блока на рис. 5). Это связано с используемым способом обучения, который описан далее. Классификатор содержит два полносвязных слоя, активационный и слой нормализации. Исходные веса в предобученной VGG16 в этом участке конволюционной сети не сохраняются, так как классификатор собственной разработки подготовлен для новой решаемой задачи и его веса необходимо получить, проводя обучение заново.
Каждое изображение с некоторой вероятностью принадлежит к определенному классу. Выходной слой нейронной сети содержит 8 нейронов, при этом каждый из нейронов соответствует определенному классу в табл. 1. Выходной сигнал нейрона равен вероятности принадлежности изображения к заданному классу после прохождения через нейронную сеть.
В рамках разработки глубокой нейронной сети была использована одна из разновидностей градиентного спуска – Adam (Adaptive Moment Estimation) [17]. Метод, в частности, вычисляет экспоненциальное скользящее среднее градиента и квадратичный градиент.
Формирование обучающих выборок и обучение нейронной сети
Для тренировки разработанной нейронной сети используется режим обучения с учителем. Для этого 90 % изображений помещаются в обучающий набор и 10 % изображений – в тестовый набор. В связи с тем, что имеется небольшое количество исходных изображений (менее 10 000 для наиболее часто встречающегося класса), необходима генерация дополнительных изображений. Это в первую очередь касается классов fake rail и cut.
Новые кадры создаются следующими аффинными преобразованиями: вертикальный поворот исходного кадра (поворот на 180 градусов); уменьшение и увеличение яркости кадра (максимум на 70 %); поворот на 2 градуса в случайном направлении относительно центра кадра; приближение изображения (максимум на 10 %). Эти изображения генерируются только для обучающей выборки.
Табл. 2 содержит данные о количестве изображений в каждом классе после аугментации данных.
Таблица 2. Объем обучающей выборки после дополнения кадров
Классы | |||||||
conn | no_conn | iso | weld | cut | missing | fake | fake_rail |
378553 | 78121 | 378254 | 54542 | 271327 | 271326 | 270552 | 270487 |
Общий объем выборки для обучения нейронной сети составил 1 973 162 кадра.
Оценка потерь выполняется категориальной перекрестной энтропией. Для повышения скорости обучения выбрано значение 10-5. В процессе обучения отслеживается изменение точности классификации и потерь относительно номера шага. Максимальный период обучения нейронной сети ограничивался значением 100 эпох. Если в течение пяти шагов на каждой эпохе точность классификации модели улучшилась менее чем на 0.001, то тренировка сети останавливается. Это помогает предотвратить переобучение.
Для обучения нейронной сети использовался метод переноса обучения [18]. Он предполагает использование исходного сверточного участка предобученной сети и собственного классификатора. Веса сверточного участка берутся из VGG16 и «замораживаются» (остаются неизменными в процессе обучения). Тогда процесс обучения не влияет на сверточный участок сети. Напротив, для классификатора происходит настройка весов в ходе тренировки сети.
Точность классификатора после обучения оценивается с использованием двух метрик Precision и Recall. Метрика Precision или PPV показывает долю рельсовых стыков, отнесенных классификатором к заданному классу и при этом действительно принадлежащих этому классу:
,
где – количество классов рельсовых стыков; – истинно-положительные предсказания; – ложноположительные, то есть тестовые результаты, ошибочно классифицирующие стык как принадлежащий классу .
Метрика Recall или TPR демонстрирует способность классификатора обнаруживать данный класс рельсовых стыков вообще во множестве всех анализируемых изображений:
,
где – ложноотрицательные результаты, то есть тесты, которые ошибочно классифицируют стыки как не принадлежащие классу .
Иногда имеет смысл оценить обе метрики с помощью агрегированного критерия качества в виде F1-меры, которая представляет собой среднее гармоническое значение двух величин.
Полученные результаты тренировки нейронной сети для каждого из классов рельсовых стыков показаны в табл. 3. В табл. 4. приведены средние значения метрик разработанного классификатора рельсовых стыков на глубокой нейронной сети.
Таблица 3. Метрики классификации рельсовых стыков
Метрики | Классы | |||||||
conn | no_conn | iso | weld | cut | missing | fake | fake_rail | |
PPV | 0.96 | 0.98 | 0.91 | 0.98 | 0.97 | 0.95 | 1.00 | 0.99 |
TPR | 0.98 | 0.90 | 1.00 | 1.00 | 0.93 | 0.95 | 0.98 | 0.95 |
F1 score | 0.97 | 0.94 | 0.95 | 0.99 | 0.95 | 0.95 | 0.99 | 0.97 |
Таблица 4. Общая статистика нейросетевого классификатора
Метрики | |||
Accuracy | Loss | Precision | Recall |
0.963 | 0.199 | 0.964 | 0.962 |
Таким образом, разработанная нейронная сеть может эффективно выполнять классификацию состояний рельсовых стыков в целом с точностью 96 %.
Заключение
В работе представлена глубокая нейронная сеть VGG16, предназначенная для классификации рельсовых стыков и выявления их дефектов. Нейронная сеть работает в составе диагностического комплекса рельсового пути, обеспечивающего получение изображений рельсов при движении вагона-путеизмерителя.
Предложена модифицированная архитектура предобученной глубокой сети, что позволило повысить скорость и точность классификации рельсовых стыков. Разработана методика обучения и тестирования нейронной сети. Экспериментальные исследования сети при прохождении вагона-путеизмерителя на участке железной дороги показали достижение точности классификации стыков не менее 96 %.
Дальнейшее развитие интеллектуальной диагностической системы предполагается выполнять в направлении совершенствования архитектуры глубокой конволюционной сети. В частности, перспективным является использование архитектуры RetinaNet с базовой частью (backbone), построенной на нейронной сети типа ResNet или EfficientNet [19, 20].
About the authors
Sergey P. Orlov
Samara State Technical University
Email: orlovsp1946@gmail.com
ORCID iD: 0000-0002-0009-9456
SPIN-code: 6986-7706
Scopus Author ID: 57143799400
ResearcherId: D-5485-2014
Dr. Sci. (Techn.), Professor
Russian Federation, 244, Molodogvardeyskaya st., Samara, 443100Nikolai A. Efimushkin
Samara State Technical University
Email: efimushkin1999@mail.ru
ORCID iD: 0000-0002-5183-0034
student
Russian Federation, 244, Molodogvardeyskaya st., Samara, 443100Natalia V. Efimushkina
Samara State Technical University
Author for correspondence.
Email: nvefimushkina@mail.ru
ORCID iD: 0000-0002-2140-3736
PhD (Techn.), Associate Professor
Russian Federation, 244, Molodogvardeyskaya st., Samara, 443100References
- Zhang L. Specification of Railway Cyber-Physical Systems Using AADL // Advanced Technologies, Embedded and Multimedia for Human-centric Computing. Lecture Notes in Electrical Engineering. Springer. 2013. Vol. 260. P. 377.
- Lee E.A., Seshia S.A. Introduction to embedded systems, A Cyber-Physical Systems approach. 2nd edn. The MIT Press, USA. 2017.
- Kontseptsiia razvitiia sistem diagnostiki i monitoringa obiektov putevogo khoziaistva na period do 2025 goda [The concept of development of systems for diagnostics and monitoring of track facilities for the period up to 2025]. https://docs.cntd.ru/document/420365526?marker= 6540IN (accessed July 29, 2021).
- Pavlenko V.V. A system for determining the pre-failure state of a continuous welded track to ensure the safety of train traffic// Transport Rossiiskoi Federatsii. 2011. No. 5(36). P. 31–33.
- Yi H., Kai L. Inspection and monitoring technologies of transmission lines with remote sensing. Academic Press. 2017. P. 530.
- Wei J., Liu C., Ren T., Liu H., Zhou W. Online condition monitoring of a rail fastening system on high-speed railways based on wavelet packet analysis// Sensors. 2017. Vol. 17 (2). P. 318.
- Bombarda D., Vitetta G.M., Ferrante G. Rail Diagnostics Based on Ultrasonic Guided Waves: An Overview // Appl. Sci. 2021. Vol. 11(3), 1071.
- Feng H., Jiang Z., Xie F., Yang P., Shi J., Chen L. Automatic fastener classification and defect detection in vision-based railway inspection systems // IEEE Trans. on Instrumentation and Measurement. 2014. Vol. 63(4). P. 877–888.
- Karakose M., Yaman O., Akin E., Baygin M., Murat K. A new computer vision based method for rail track detection and fault diagnosis in railways // Int. Journal of Mechanical Engineering and Robotics Research. 2017. Vol. 6(1). P. 22–27.
- Andronchev I.K., Tarasov E.M., Bulatov A.A. et al. A Technique for Diagnosis of the Resistance of Conductive Rail Track Joints // Russian Electrical Engineering. 2020. Vol. 91. P. 149–152.
- Faghih-Roohi S., Hajizadeh S., Nunez A., Babuska R., De Schutter B. Deep convolutional neural networks for detection of rail surface defects // Proc. of the 2016 International Joint Conference on Neural Networks (IJCNN). 2016. P. 2584–2589.
- Orlov S.P., Girin R.A., Piletskaya A.V. Intelligent information processing system for monitoring rail tracks // Proceedings of International Conference on control problems in technical systems (СTS 2019), St. Petersburg, Russia. 2019. P. 302–305.
- Orlov S.P., Piletskaya A.V., Kusakina N.M., Tyugashev A.A. Machine learning diagnostic neural network for railway track monitoring // Mathematical methods in engineering and technology: International Conference. St. Petersburg, Politechnical University, 2020. Vol. 3. P. 94–99.
- Relsovye styki. Lokomo. Zheleznodorozhnyi put. [Rail joints. Lokomo. Railway track]. URL: https://lokomo.ru/zheleznodorozhnyy-put/relsovye-styki.html (accessed December 27, 2021).
- Keras: The Python Deep Learning library. URL: https://keras.io/applications/ (accessed January 10, 2022).
- Simonyan K., Zisserman A. Very deep convolution networks for large-scale image recognition // 2014. arXiv:1409.1556.
- Kingma D.P., Ba J.L. Adam: a method for stochastic optimization // 2017. arXiv:1412.6980v9 [cs.LG].
- Gupta V., Murzova A. Keras Tutorial: Transfer Learning using pre-trained models // Learn OpenCV. 2021. URL: https://learnopencv.com/keras-tutorial-transfer-learning-using-pre-trained-models (accessed December 20, 2021).
- Zeng N. RetinaNet Explained and Demystified. 2018. URL: https://blog.zenggyu.com/ en/post/2018-12-05/retinanet-explained-and-demystified (accessed December 25, 2021).
- Mingxing Tan, Quoc V. Le. EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks//2019. arXiv:1905.11946v5 [cs.LG].
Supplementary files
