TSN ETHERNET - TIME-SENSITIVE NETWORKING

Full Text

Введение В последние годы бурное развитие инфоком- муникаций (сети промышленной автоматизации Индустрии 4.0, киберфизические системы, бес- пилотный транспорт, сложные бортовые сети, Интернет вещей IoT, тактильный Интернет и др.) привело к созданию и активному использо- ванию на практике разнообразных систем реаль- ного масштаба времени (РМВ). Такие системы реагируют на внешние события, обрабатывают входные данные и обеспечивают вывод данных в определенный временной интервал в соответ- ствии с заданными временными ограничениями. Правильность результата работы системы РМВ зависит не только от правильности преоб- разования входной информации в выходную, но и от соблюдения интервала времени отклика. По- этому такие системы должны быть реактивными и корректными по времени, их поведение должно быть предсказуемым. Следовательно, сквозная задержка в системе РМВ должна быть небольшой и детерминированной, наихудшее время отклика должно быть ограничено, в случае конфликтов должно быть передано сообщение с наивысшим приоритетом, должна быть высокая надежность доставки информации. В настоящее время для построения большин- ства локальных и региональных коммутируемых сетей с пакетной передачей данных использует- ся технология второго уровня Ethernet, которой посвящена группа стандартов IEEE 802. Она имеет много преимуществ - высокую пропуск- ную способность, простота, масштабируемость, совместимость и др. Но, с другой стороны, в се- тях Ethernet отсутствует предсказуемость в до- ставке данных, что ограничивает их применение в системах РМВ, особенно для промышленных приложений. Поэтому для промышленных се- тей автоматизации были разработаны различные модификации технологии Ethernet, такие как EtherCAT, EtherNet/IP, Ethernet POWERLINK и др. Все указанные решения используют коммути- руемую сеть Ethernet для представления полно- дуплексной связи, которая обеспечивает режим реального времени, поэтому их еще называют Ethernet реального времени (Real-Time Ethernet) [1]. Однако основной их недостаток - они не мо- гут обеспечить строго детерминированную по времени доставку изохронного трафика, несо- вместимы между собой и не позволяют строить масштабируемые универсальные сети. Поэтому институтом IEEE была разработана специальная модификация технологии Ethernet - чувстви- тельные ко времени сети TSN (Time-Sensitive Networking) [2]. Технология TSN базируется на стандартах IEEE 802.1 и IEEE 802.3 и поэтому полностью совместима с классической техноло- гией Ethernet, но в то же время обеспечивает ми- нимальный и прогнозируемый уровень задержки пакетов данных. Таким образом, использование «Infokommunikacionnye tehnologii» 2021, Vol. 19, No. 2, pp. 187-201 Рисунок 1. Хронология стандартизации технологий AVB и TSN в сетях Ethernet технологии TSN позволяет соз- давать мультисервисные сети, совмещающие недетерминированную информационную ин- фраструктуру с детерминированной операцион- ной инфраструктурой, например отвечающей за управление промышленным оборудованием и функциональную безопасность. В последние годы технология TSN начинает активно внедряться не только в промышленные сети, например сети промышленного Интернета вещей IIoT [3], но и в традиционные сети связи, например для реализации переднего транспорт- ного сегмента fronthaul в сетях 5G [4]. Однако информация по сетям TSN практически не осве- щена и не обобщена на страницах отечественных изданий. Учитывая это, в статье представлен об- зор стандартов, технологий и принципов постро- ения чувствительных ко времени сетей TSN. Базовые принципы сетей TSN Ethernet Технологии TSN дополняют существующие возможности классического Ethernet средства- ми обеспечения качества обслуживания QoS, включая выделение необходимой полосы про- пускания, строгую синхронизацию по времени, гарантию низких значений задержки и даже ре- зервирование путей передачи данных. Оконечные устройства, подключаемые к сети TSN, извещают сеть о требуемом качестве сквоз- ных коммуникаций, и сеть гарантированно реа- лизует для них необходимый уровень QoS. Такие подключения представляют собой потоки данных реального времени, для которых резервируется полоса пропускания (временное окно в кадре Ethernet) сетевых коммутаторов на всем пути передачи данных между оконечными устройства- ми. Разные потоки инкапсулируются в один кадр Ethernet с различными правилами обслуживания, и в результате TSN позволяет запускать в од- ной сети несколько потоков разных протоколов, поддерживающих передачу данных в режиме реального времени. В этом и заключается прин- ципиальное отличие данной технологии от суще- ствующих сейчас протоколов реального времени на основе технологии Ethernet, работающих в сети только изолированно. В основе технологии TSN лежат следующие базовые принципы [5]. Синхронизация времени - все устройства в сети синхронизированы от общего эталонного источника времени. Фиксированная низкая задержка - сети TSN обеспечивают гарантированную и своевре- Таблица 1. Классификация принятых стандартов IEEE TSN Область технологии TSN Идентификатор IEEE Название Временная синхро- низация 802.1AS-2020 Точное время и синхронизация для приложений, чувствительных к задержкам 802.1CMde-2020 Усовершенствования профилей Fronthaul для поддержки нового интерфейса Fronthaul, стандартов синхронизации и синтонизации Надежность пере- дачи данных в сети 802.1CB-2017 Копирование и удаление кадров для надежности 802.1Qcx-2020 Модель данных YANG для управления повреждениями соединений 802.1Qat-2010 Протокол резервирования потока SRP 802.1Qca-2015 Управление путями и резервирование Планирование и формирование трафика 802.1Qbu-2016 Прерывание кадра 802.1Qbv-2015 Улучшения планирования трафика 802.1Qch-2017 Циклическая очередь и пересылка 802.1Qci-2017 Фильтрация и политики для отдельных потоков 802.1Qcr-2020 Профилирование асинхронного трафика 802.1Qav-2009 Пересылка и ожидание в очереди для чувствительных ко времени потоков FQTSS Конфигурирова- ние и управление сетью 802.1Qcc-2018 Улучшения протокола резервирования потока SRP и повышение производительности 802.1Qcp-2018 Модель данных YANG Профили TSN 802.1BA-2011 Профиль для сетей Audio Video Bridging (AVB) 802.1CM-2018 Профиль TSN для переднего сегмента (Fronthaul) транспортной сети менную доставку чувствительного к задержкам трафика за счет специальных механизмов прио- ритетного планирования передачи данных и пре- рывания передачи низкоприоритетных кадров. Надежность доставки информации - копии пакетов отправляются одновременно по несколь- ким путям в сети TSN, чтобы избежать потери данных, вызванных отказом оборудования. Управление сетевыми ресурсами - исполь- зуются централизованное или распределенное планирование и конфигурирование маршрутов передачи данных в сети. Реализация этих базовых принципов TSN в соответствующих стандартах IEEE рассмотрена далее. Стандарты TSN Ethernet В 2005 году в рамках рабочей группы IEEE 802.1 была создана целевая группа AVB (Audio Video Bridging) для разработки стандартов, по- зволяющих передавать несжатое потоковую ау- дио- и видеоинформацию профессионального качества через стандартные сети Ethernet без по- терь. Отличительной особенностью технологии AVB от стандартного Ethernet являются синхро- низация по времени и низкая задержка. В период 2005-2012 гг. целевая группа AVB разработала ряд стандартов (см. рисунок 1) [6]. Цель этих стандартов состояла в том, чтобы позволить пользователю создавать специальные самонастраиваемые (plug-and-play) сети, гаран- тирующие строго ограниченную задержку и низкий джиттер. При разработке стандартов было замечено, что возможности AVB могут быть по- лезны и в промышленных сетях. Однако такая технология недостаточно надежна, поэтому было решено сформировать вместо группы AVB но- вую группу, которая исправит данную проблему и добавит дополнительные функции. Эта новая группа получила название целевая группа се- тевых технологий, чувствительных ко времени TSN TG [2]. Разработка технологии TSN началась в 2012 г. и к настоящему времени основные механизмы функционирования таких сетей уже доступны в качестве стандартов. Большинство стандартов, разработанных целевой группой TSN, основы- ваются на стандартах IEEE 802.1 и IEEE 802.3 и являются расширениями виртуальных локаль- ных сетей IEEE 802.1Q (VLAN). Классификация опубликованных стандартов для TSN приведена в таблице 1 [2]. Проекты новых стандартов и поправок в су- ществующие (они имеют букву «Р» в обозначе- нии) приведены в таблицах 2 и 3 соответственно. Следует отметить, что целевая группа TSN TG кроме отдельных стандартов разрабатывает также так называемые профили, которые опре- деляют функции, параметры, протоколы и про- цедуры построения сетей TSN для конкретного применения, что упрощает их взаимодействие и развертывание. Так, уже разработаны профили для сетей AVB (IEEE 802.1BA) и переднего сег- мента (Fronthaul) транспортной сети 5G (IEEE Таблица 2. Проекты новых стандартов IEEE TSN Идентификатор IEEE Название IEC/IEEE 60802 Профиль TSN для промышленной автоматизации P802.1CS Протокол регистрации локального канала P802.1CQ Назначение вещательных и локальных адресов P802.1DC Качество предоставления услуг сетевыми системами P802.1DF Профиль TSN для сетей провайдеров услуг P802.1DG Профиль TSN для автомобильных бортовых сетей Ethernet Таблица 3. Проекты поправок в существующие стандарты IEEE TSN Идентификатор IEEE Название P802f Модель данных YANG для любых типов P8 02.1Qcj Автоматическое подключение к услугам провайдера магистрального моста (PBB) P802.1Qcw Модель данных YANG для планирования трафика, прерывания кадров, фильтрации и применения политик к потоку P802.1Qcz Изоляция перегрузки P802.1Qdd Протокол распределения ресурсов P802.1Qdj Улучшения конфигурирования для TSN P802.1ABcu Модель данных LLDP YANG P802.1ABdh Поддержка многокадровых протокольных блоков данных P802.1ASdm Горячий резерв P802.1ASdn Модель данных YANG P802.1CBcv Модель данных FRER YANG и модуль базы данных управляющей информации P802.1CBdb Расширенные функции идентификации потока FRER Рисунок 2. Кадр Ethernet с заголовком 802.1Q 802.1CM-2018) (см. таблицу 1). Планируется создание профилей TSN для промышленной ав- томатизации (IEC/IEEE 60802), бортовой сети Ethernet в автомобиле (P802.1DG) и сетей постав- щиков услуг (P802.1DF) (таблица 2). Отличительные особенности кадра TSN Ethernet Для реализации приоритизации и прерывания кадров стандарт 802.1Q добавил четырехбайто- вое поле заголовка 802.1Q между полем MAC- адрес источника и полем Тип кадра (размер ис- ходного кадра Ethernet, см. на рисунке 2) [7]. Два байта заголовка 802.1Q используются для идентификатора метки протокола TPID (Tag Proto- col IDentifier), а два других байта - для информации управления метками TCI (Tag Control Information) (см. рисунок 3). TPID используется для идентифи- кации кадра как кадра с меткой IEEE 802.1Q и уста- навливается в постоянное значение (0×8100). TCI состоит из трех подполей: значение кода приоритета PCP (Priority Сode Рoint) - трехбитное поле, определяющее уровень приоритета кадра; индикатор допустимости удаления кадра DEI (Drop Eligible Indicator) - однобитовое поле, может использоваться отдельно или совместно с PCP для указания кадров, которые могут быть от- брошены при наличии перегрузки; идентификатор виртуальной ЛВС VID (VLAN IDentifier) - двенадцатибитное поле, указывающее VLAN, к которой принадлежит кадр. Поскольку PCP - это трехбитное поле, можно определить до восьми различных классов трафи- ка в сетях TSN. В стандарте IEEE 802.1Q не опре- делено, как должен обрабатываться трафик после присвоения ему определенного уровня приорите- та, но есть рекомендации IEEE, которые приведе- ны в таблице 4 [8]. Рисунок 3. Формат заголовка 802.1Q PCP Приоритет Обозначение Тип трафика 0 0 (низший) BK Фоновый (Background) 1 1 (по умолчанию) BE Передаваемый с лучшими услилиями (Best Effort) 2 2 EE Передаваемый с наивысшими услилиями (Excellent Effort) 3 3 CA Критические приложения (Critical Applications) 4 4 VI Видео (задержка и джиттер <100 мс) (Video) 5 5 VO Голос (задержка и джиттер <10 мс) (Voice) 6 6 IC Межсетевое управление (Internetwork Control) 7 7 (высший) NC Сетевое управление (Network Control) Таблица 4. Присвоение уровней приоритетов различным типам трафика TSN по рекомендации IEEE Таблица 5. Распределение классов трафика TSN по очередям Число доступных очередей 1 2 3 4 5 6 7 8 Приоритет 0 0 0 0 0 0 1 1 1 1 0 0 0 0 0 0 0 0 2 0 0 0 1 1 2 2 2 3 0 0 0 1 1 2 3 3 4 0 1 1 2 2 3 4 4 5 0 1 1 2 2 3 4 5 6 0 1 2 3 3 4 5 6 7 0 1 2 3 4 5 6 7 Таким образом, максимально возможно реали- зовать 8 очередей, при этом каждому классу тра- фика будет соответствовать своя очередь. В слу- чае реализации менее восьми очередей каждая очередь может использоваться разными типами классов трафика. Существует определенный спо- соб сопоставления класса трафика на основе его приоритета с доступными очередями, который приведен в таблице 5. Например, если использу- ются только две очереди, то очередь 0 доступна классам трафика 0-3, а очередь 1 - классам 4-7. Базовые технологии TSN Ethernet Синхронизация сети (IEEE 802.1AS). Син- хронизация времени в сети TSN осуществляется путем распределения синхросигналов из цен- трализованного источника времени по всей сети с использованием модели «ведущий - ведомый» (см. рисунок 4). Синхронизация основана на про- токоле точного времени IEEE 1588, который ис- пользует кадры Ethernet для передачи информа- ции, необходимой для синхронизации. Стандарт IEEE 802.1AS - это подмножество IEEE 1588, которое использует протоколы и ме- Рисунок 4. Схема «ведущий - ведомый» для временной синхронизации в IEEE 802.1AS ханизмы, необходимые для сетей промышлен- ной автоматизации и бортовых сетей автомоби- лей, и обеспечивает точность синхронизации до микросекунд. Для распределения информации о времени от главного ведущего источника ко всем конечным точкам используется обобщенный про- токол точного времени gPTP (Generalized Preci- sion Time Protocol). Последняя версия стандарта IEEE802.1AS-REV обеспечивает повышенную точность измерения времени и поддержку не- скольких временных областей для резервирова- ния [2]. Все локальные ведомые часы должны быть синхронизированы с главными ведущими часами GCM (Grand Clock Master). Синхронизация пере- дается от GCM и его главного порта синхрониза- ции СМ (Clock Master) к нижестоящим ведомым портам синхронизации CS (Clock Slave) в ком- мутаторах. Каждый коммутатор корректирует задержку и передает информацию о синхронизации на все нисходящие ведомые порты CS, в конеч- ном итоге достигая конечных точек. В процессе синхронизации каждый коммутатор выполняет синхронизацию собственных локальных часов, вычисляя задержку в канале связи и время посту- пления кадра. Время поступления кадра - это время, необхо- димое для постановки его в очередь, обработки и передачи от ведущего порта к ведомым портам в каждом коммутаторе. Задержка в канале - это задержка распространения сигнала между двумя соседними коммутаторами. Точность временной синхронизации в основном зависит от точности измерений времени поступления и времени за- держки в канале связи. Стандарт IEEE 802.1AS использует соотношение между частотами ло- кального (ведомого) и главного ведущего GMC генераторов тактовых импульсов для вычисления синхронизированного времени, а также соотно- шение между частотами ведомого CS и ведущего CM генераторов смежных сетевых узлов (комму- таторов и конечных точек) для расчета задержки передачи. Формирователь с учетом времени TAS (IEEE 802.1Qbv). Ключевой технологией TSN, обеспечивающей строгую гарантию задерж- ки трафика в сетевых элементах, является фор- мирователь с учетом времени ТАS (Time Aware Shaper), который приведен в стандарте IEEE 802.1Qbv. Формирователь ТАS предназначен для разделения обмена данными в сети Ethernet в по- вторяющиеся временные циклы фиксированной длины. В пределах этих циклов выделяются раз- личные временные интервалы, которым назначают- ся один или несколько из восьми приоритетов РСР. Это обеспечивает исключительное право ис- пользования среды передачи Ethernet для тех классов трафика, которые требуют строгих га- рантий передачи и не могут быть прерваны. Фак- тически используется схема множественного до- ступа к каналу с временным разделением TDMA (Time Division Multiple Access), при которой ор- ганизованные виртуальные каналы связи в тече- ние фиксированных интервалов времени отделя- ют критичный ко времени трафик от фонового и позволяют избежать буферизации и недетерми- нированного прерывания критического трафика. Формирователь TAS используется для передачи трафика данных управления CDT (Control Data Traffic) с наивысшим приоритетом с задержкой в наихудшем случае 100 мкс на каждом из пяти переходов и максимальным периодом передачи 0,5 мс [9]. Планирование передачи трафика осуществля- ется с использованием специального временного расписания - списка управления шлюзами GCL (Gate Control List) - см. рисунок 5. С каждой оче- редью выходного порта коммутатора TSN связан соответствующий шлюз передачи, который мо- жет находиться в одном из двух состояний: от- крыт или закрыт. Передача кадров Ethernet из со- ответствующей очереди допускается, когда шлюз находится в открытом состоянии. Если шлюз за- крыт, то передачи кадров нет. Если два или более шлюзов открыты одновременно, передается кадр с более высоким приоритетом, в то время как тра- фик с более низким приоритетом задерживается. Реализация расписания GCL обычно синхрони- зируется с использованием единых часов в сети TSN на основе стандарта IEEE 802.1AS, чтобы гарантировать работу сети в реальном времени и соблюдение строгой временной синхронизации. Коммутатор может иметь до восьми очередей для различных типов сетевого трафика. Каждый кадр TSN Ethernet имеет трехбитную метку PCP, в соответствии с которой кадр блоком выбора оче- редей QSU (Queue Selection Unit) пересылается в соответствующую очередь передачи, где он бу- феризуется. В каждой очереди алгоритм выбора передачи TSA (Transmission Selection Algorithm) определяет, какие данные брать из очереди. Ал- горитм TSA может реализовать простую дисци- плину «первый пришел - первым ушел» (FIFO), формирователь на основе кредита CBS (Credit- Based Shaper), описанный далее, или любой фир- менный специфический алгоритм. Данные могут быть переданы в селектор передачи TS (Transmis- sion Selection) только в том случае, если шлюз соответствующей очереди открыт. Расписание работы каждого шлюза определяет список GCL, который состоит из битовых векторов, указыва- ющих открытое (1) или закрытое (0) состояние шлюза. Для каждого битового вектора в GCL ука- зана длительность времени его реализации. На рисунке 5 показан пример, где в интервале времени Т4 открыты только шлюзы очереди 7 и 6, а остальные шлюзы закрыты. Расписание от- крытия шлюзов для каждого входа должно быть выполнено за один цикл. Список GCL является циклическим, определяется соответствующим приложением и обычно составляется вручную. Селектор передачи TS выбирает кадр с наивыс- шим приоритетом для передачи в выходной порт коммутатора TSN. Эффективная скорость передачи данных из очереди N через коммутатор TSN с временным планировщиком TAS за один цикл работы шлюза определяется выражением: R R Tv , T g N o где RN - скорость передачи данных выходного порта через открытый шлюз N; Tv - общее вре- мя передачи данных из очереди N в цикле рабо- ты шлюза; To - общее время, в течение которого шлюз очереди N открыт в цикле работы шлюза. В коммутаторах Ethernet, которые не поддер- живают планирование с учетом времени TAS, шлюз всегда открыт, и общее время открытого состояния шлюза очереди N соответствует вре- мени цикла работы шлюза Rg RN . При использовании формирователя TAS возможна ситуация, когда начинается передача ме- шающего кадра непосредственно перед началом зарезервированного периода времени и передача планируемого трафика выйдет за пределы отве- денного временного окна. Поэтому перед нача- лом очередного окна устанавливается защитная полоса, равная по размеру максимально возмож- ному мешающему кадру. Формирователь на основе кредита CBS (IEEE 802.1Qav). Стандарт IEEE 802.1Qav - один из первых, разработанных целевой группой AVB. Основная его цель - формирование трафика для AV-медиапотоков (аудио и видео). Критичные сообщения, управляемые формирователем TAS, требуют низкой сквозной задержки и должны передаваться как можно быстрее. С другой сто- роны, потоковая передача трафика мультимедиа не имеет таких ограничений. Гораздо важнее обе- спечить непрерывный поток аудио-, видеокадров и более равномерную передачу данных. Для та- ких потоков был разработан формирователь TSA на основе кредита CBS (Credit Base Shaper), кото- рый сглаживает трафик и равномерно распреде- ляет кадры во времени. Очередь, у которой есть формирователь CBS, в каждый момент времени имеет определенную величину кредита. Величина кредита увеличива- ется с настраиваемой скоростью idleSlope, когда кадры ждут передачи в очереди или когда нет со- общений и кредит отрицательный. Кредит умень- шается с настраиваемой скоростью sendSlope во время передачи кадра или последовательности кадров (в зависимости от того, сколько кредита было накоплено ранее). Передача кадра из очере- ди возможна только в том случае, если ее кредит неотрицателен. Если в очереди нет сообщений и кредит положительный, он сбрасывается в ноль. Величина скорости возрастания кредита idleSlope формирователя CBS определяется долей Рисунок 5. Функциональная схема коммутатора TSN с формирователем TAS idleSlope RN B. Величина скорости убывания кредита send- Slope всегда отрицательная и определяется из уравнения: sendSlope idleSlope - RN . Для формирователя на основе кредита 802.1Qav выделяют два класса резервирования: класс A (приоритет 5) с требованием задерж- ки в наихудшем случае 2 мс и максимальным периодом передачи 125 мкс и класс B (приори- тет 4) с задержкой в наихудшем случае 50 мс и максимальным периодом передачи 250 мкс [9]. Эти классы трафика не должны превышать пре- дустановленную максимальную долю занимаемой полосы пропускания (75 % для аудио- и видео- приложений). Максимальное количество сетевых переходов - 7. Хотя сообщения трафика классов А и В имеют более высокий приоритет по срав- нению с трафиком BE, в соответствии с прави- лами формирователя CBS они могут ожидать в очереди, пока количество кредитов не станет не- отрицательным. Это защищает трафик ВЕ за счет ограничения максимального количества последо- вательно передаваемых сообщений AV-трафика. На рисунке 6 показан пример совместной ра- боты формирователя с учетом времени TAS и формирователей на основе кредита CBS. Име- ется четыре различных класса трафика: плани- руемый критичный трафик данных управления CDT (Control Data Traffic), медиатрафик классов А и В и фоновый трафик BE. При обслуживании сообщения ВЕ S1 кредиты очередей А и В возполосы пропускания B выходного порта коммурастают со скоростями idleSlope A и idleSlope B татора, выделяемая данному классу трафика [2] соответственно. Рисунок 6. Пример работы формирователей на основе кредита В момент времени Т3 после окончания обслу- живания сообщения ВЕ начинается обслужива- ние сообщения класса А S2, т. к. оно имеет бо- лее высокий приоритет, чем сообщение класса В S3. Кредит очереди А начинает уменьшаться со оритетной очереди: без прерывания и с прерыва- нием обслуживания ранее поступивших заявок. Обычный коммутируемый Ethernet использует приоритетную очередь без прерывания, когда критичный ко времени кадр не обрабатывается скоростью sendSlope A, а кредит Б продолжает сразу после его прибытия, если обрабатывается увеличиваться. Сообщение S5 передает критич- ные данные CDT, и известно, что оно может по- ступить в течение временного интервала от T5 до Т7. Поэтому в течение этого времени в распи- сании GCL формирователя TAS запланировано открытие шлюза очереди CDT, а шлюзы других очередей закрыты. Во время передачи сообще- ния S5 кредиты А и В не изменяются. В момент времени Т7 в соответствии с приоритетами долж- но передаваться сообщение S4, однако кредит А отрицательный, поэтому передается сообщение S3, имеющее более низкий приоритет, но положи- тельный кредит. При передаче сообщения S3 кредит В уменьнекритичный ко времени кадр. Он помещается в начало очереди и обрабатывается как можно бы- стрее после передачи некритичного кадра. Таким образом, критичный кадр будет получать задерж- ку в зависимости от объема некритичного трафи- ка. Для того чтобы уменьшить задержку, поправ- ка IEEE 802.1Qbu вводит очередь с прерыванием. Она минимизирует задержку для критичных ка- дров, но также обеспечивает защиту для некри- тичных кадров, чтобы минимизировать влияние на него. Если критичный кадр получен во время обработки некритичного кадра, обработка некри- тичного кадра прекращается, она продолжается после завершения обработки критичного кадра. шается со скоростью sendSlope B. Из этого при- Некритичный кадр может быть прерван нескольмера видно, что управление шлюзами с помощью планировщика TAS обеспечивает строгую гаран- тию задержки передачи критичных сообщений, а формирователи CBS реализуют справедливое обслуживание трафика разных приоритетов и производят его сглаживание. Прерывание кадров (IEEE 802.1Qbu). Из- вестны два основных способа организации прико раз, пока не будет достигнуто ограничение по количеству прерываний. Это ограничение коли- чества прерываний передачи некритичного кадра определено поправкой IEEE 802.1Qbu. Цель этой поправки состоит в том, чтобы пре- дотвратить слишком долгое обслуживание не- критичных кадров, в то время как цель поправки IEEE 802.1Qbv - уменьшить задержку передачи Рисунок 7. Пример прерывания передачи кадра на основе IEEE 802.1Qbu для критичных ко времени кадров. Так, без преры- вания кадр с размером MTU в 1500 байт может за- блокировать порт 1 Гбит/с примерно на 12,5 мкс, в то время как прерывание кадра ограничивает максимальное время блокировки порта до при- близительно 1 мкс. Процесс приоритетного пре- рывания кадров показан на рис. 7. Некритичный кадр NTCF прерывается два раза критичными кадрами ТCF1 и TCF2, которые обрабатываются сразу по поступлении. Два зарезервированных управляющих символа HOLD и RETRIEVAL ис- пользуются в качестве индикаторов начала и кон- ца прерывающей вставки критичного кадра в не- критичный кадр соответственно. Приоритетное прерывание передачи кадра на основе стандартов IEEE 802.1Qbu/802.3br используется также для уменьшения величи- ны защитной полосы в кадре TSN Ethernet. Она выбирается равной наибольшему возможному размеру фрагмента, а не всего мешающего кадра. При этом размер фрагмента должен быть не ме- нее 64 байт. Надежность передачи данных (IEEE 802.1CB). Высокая надежность работы промыш- ленных сетей обеспечивается резервированием маршрутов передачи данных с использованием различных протоколов (RSTP, MRP, DLR и др.), которые позволяют изменять сетевую топологию в случае возникновения каких-либо неисправ- ностей. Время изменения топологии сети (на- зываемое «временем восстановления») занимает от миллисекунд до секунд в зависимости от ис- пользуемого протокола. В течение этого времени связь с частью сети отсутствует и, следовательно, теряются данные. Однако резервирование сети возможно не только за счет перестроения топо- логии, но и за счет дублирования передаваемых кадров - так называемого «бесшовного» резерви- рования. Передаваемый кадр дублируется отправите- лем, и оба кадра отправляются по разным марш- рутам в сети, а принимающий узел обрабатывает кадр, пришедший первым, и отбрасывает вто- рой. Данный принцип резервирования не требу- ет выполнения перестроения сетевой топологии, и, соответственно, данный протокол действует практически «бесшовно», а полоса пропускания в сети используется гораздо эффективнее, чем при традиционном резервировании. При этом «бесшовное» резервирование реализуется на ко- нечных узлах, а не на сетевых устройствах. Ме- ханизм бесшовного резервирования сетей TSN кольцевой или ячеистой топологии описан в стандарте IEEE 802.1CB. Принципы построения сетей TSN Ethernet Сеть TSN состоит из узлов двух типов: конеч- ных устройств (end point) и коммутаторов (их ча- сто называют мостами - bridge) - см. рисунок 8. Конечные устройства либо отправляют (их назы- вают talker), либо получают данные (их называ- ют listener), но не транслируют их. Коммутаторы (мосты), наоборот, только транслируют данные, но не создают, не потребляют и не изменяют их. Коммутаторы обеспечивают передачу и прием кадров Ethernet TSN-потоков между конечными точками напрямую или через другие коммутато- ры на основе расписания под управлением сете- вого контроллера (планировщика). Подключение к другим узлам осуществляется через исходящий порт. Каждый исходящий порт имеет свои собственные очереди, и каждый порт подключен только к одному входящему порту другого узла. Следовательно, на каждом узле мо- жет быть более одного исходящего порта. Число портов приема и передачи может отличаться друг от друга. Отличительная особенность сети TSN - наличие собственных часов (генератора синхро- сигналов) внутри каждого узла. Они используют- ся для синхронизации времени работы шлюзов между узлами, чтобы реализовать возможность защищенного временного окна. В порты комму- татора TSN могут включаться также устройства (коммутаторы и конечные устройства), не под- держивающие стандартны TSN. Таким образом, обычные Ethernet-устройства и TSN-устройства могут работать в одной сети. Стандартным Ethernet-устройствам не требуется дополнитель- ных интерфейсов или шлюзов для подключения к Рисунок 8. Компоненты сети TSN TSN-сетям. Однако только TSN-устройства смогут обеспечивать связь в режиме реального времени. Ключевым понятием сети TSN является TSN- поток - термин, используемый для описания критичной ко времени связи между конечными устройствами. Каждый TSN-поток однознач- но идентифицируется сетевыми устройствами и предъявляет жесткие временные требова- ния, которые должны быть реализованы этими устройствами. Для идентификации TSN-потоков в стандарте IEEE 802.1CB предлагается несколь- ко способов: по MAC-адресу и идентификатору VLAN получателя, MAC-адресу и идентификато- ру VLAN отправителя и другие. Идентификация используется для обнаружения определенного потока данных, передаваемого по сети TSN, а также для обработки резервных маршрутов для обеспечения отказоустойчивости. Неотъемлемой частью технологии TSN явля- ется модель управления, которая управляет тра- фиком, маршрутизирует потоки в сети, а также позволяет настраивать семейство протоколов IEEE для успешной работы в единой системе. Со- гласно стандарту IEEE 802.1Qcc, существует три возможные модели управления сетью TSN [2]. Централизованная модель - конечные устройства передают в централизованную си- стему управления требования по передаче TSN- потоков в сети. На основании полученных за- просов система централизованного управления составляет необходимое расписание для всех потоков в сети, чтобы удовлетворить этим требо- ваниям, и соответствующим образом настраивает коммутаторы и конечные устройства. Децентрализованная модель - приложения на конечных устройствах уведомляют коммута- торы по пути передачи данных о необходимости зарезервировать ресурсы для конкретного потока трафика. При такой модели не требуется система централизованного управления. Смешанная (гибридная) модель - потоки данных от конечных устройств передаются на ближайший коммутатор по стандартизирован- ному протоколу. Затем коммутатор обращается в систему централизованного управления для составления расписания работы коммутаторов в сети. В этой модели система централизованного управления управляет только передачей отдель- ных TSN-потоков между коммутаторами, не об- ращаясь к требованиям потоков данных от каж- дого конечного устройства. Для промышленных сетей подходит только полностью централизо- ванная модель, поскольку только она обеспечива- ет передачу изохронного трафика. В последнее время ряд ведущих мировых производителей начали выпуск различного обо- рудования сетей TSN (коммутаторы, системы на кристалле, сетевые карты, наборы программи- руемых логических интегральных схем FPGA и др.), которое разработано в соответствии со стан- дартами IEEE (см. таблицу 6). Промышленный консорциум OPC Foundation разработал полностью открытую технологию передачи данных в режиме реального времени OPC UA TSN [10], объединяющую два стандарта: спецификацию OPC UA [11], которая определяет передачу данных в промышленных сетях, и тех- нологию TSN. OPC UA TSN способна обеспечить Таблица 6. Примеры выпускаемого оборудования сетей TSN Ethernet Продукт Компания (страна) Назначение Характеристики портов Поддерживаемые стандарты TSN Семейство ком- мутаторов Cisco IE-4000 Cisco (США) Коммутатор TSN 4 uplink порта GE combo От 8 до 16 портов FE/GE combo IEEE 802.1AS IEEE 802.1Qbv Семейство коммутаторов SparX-5i Microchip (США) Однокристальный коммутатор TSN До 64х1G/2,5G 32x5G 20x10G 8x25G IEEE 802.1AS-Rev IEEE 802.1Qbv IEEE 802.1Qch IEEE 802.1Qci IEEE 802.1CB IEEE 802.1Qbu RELY-TSN- BRIDGE Relyum (Испания) Коммутатор TSN 4 порта 10/100/1000 Ethernet IEEE 802.1AS IEEE 802.1Qbv IEEE 802.1Qbu IEEE 802.1Qcc IEEE 802.1СВ IEEE 802.1Qci IEEE 802.1Qav EKI-8510G-2FI Advantech (Тайвань) Коммутатор TSN Емкость коммутатора - 20 Гбит/с 8 портов GЕ 2 порта SFP IEEE 802.1AS IEEE 802.1Qbv IEEE 802.1Qbu IEEE 802.1СВ IEEE 802.1Qci Edge IP Solution TTTech (Австрия) Набор IP-блоков для FPGA, реали- зующих TSN От 3 до 5 портов 100/1000 Ethernet IEEE 802.1AS IEEE 802.1Qbv IEEE 802.1Qbu IEEE 802.1Qcc IEEE 802.1СВ PCIE-0400-TSN Kontron S&T AG (Германия) Промышленная сетевая карта с поддержкой TSN 4 порта 10/100/1000 Ethernet IEEE 802.1AS IEEE 802.1Qbv IEEE 802.1Qbu IEEE 802.1Qcc бесшовное взаимодействие между различными промышленными устройствами от разных произ- водителей, и ее использование приведет к росту производительности, снизит совокупную стои- мость владения, упростит ввод в эксплуатацию, техническое обслуживание и внедрение иннова- ционных решений. Эта технология поддержива- ется всеми крупными игроками на рынке постав- щиков систем автоматизации. Тестирование оборудования TSN При практической реализации сетей TSN следует учитывать, что конкретное TSN- совместимое устройство не обязательно под- держивает все стандарты TSN. При выборе обо- рудования необходимо также учитывать, что ряд стандартов TSN зависят друг от друга. Кроме того, конкретное оборудование может поддержи- вать определенный набор из семейства стандар- тов TSN в зависимости от того, какой вариант ис- пользования оно решает: общая синхронизация по времени различных устройств в сети, гаран- тированная максимальная задержка или сосуще- ствование трафика с гарантированной задержкой с фоновым или другим трафиком. Например, ряд стандартов требует реализации не только в конечных узлах, но и в коммутаторах сети TSN. В то же время другие стандарты относятся толь- ко к конечным узлам или только к коммутаторам. Поэтому на практике часто возникает вопрос о проверке поддержки оборудованием и програм- мным обеспечением определенных стандартов TSN, а также о проверке совместимости оборудо- вания разных производителей. Для проверки совместимости оборудования TSN от различных поставщиков, а также для те- стирования различных приложений в настоящее время существуют четыре испытательных стен- да, организованных European Edge Computing Consortium (EECC) в Германии, Industrial Internet Consortium (IIC) в США, Labs Network Industrie 4.0 (LNI4.0) в Германии и Alliance of Industrial Internet (AII) в Китае. Консорциум промышленного Интернета IIC (Industrial Internet Consortium) создал специаль- ный стенд (см. рисунок 9), на котором партнеры проекта имеют возможность попробовать свое оборудование и программное обеспечение (ПО) в тестовой инфраструктуре. Это позволяет опре- делить, какие из фирменных решений TSN явля- ются работоспособными и совместимыми с про- дуктами других производителей [12]. В 2017 г. немецкая ассоциация Labs Network Industrie 4.0 (LNI 4.0) построила собственную Рисунок 9. Схема испытательного стенда IIC для проверки совместимости решений TSN разных производителей тестовую установку OPC UA TSN для проверки объединенной технологии на основе специфи- кации передачи данных в промышленных сетях OPC UA и технологий TSN [13]. Архитектура OPC UA over TSN позволяет проприетарному оборудованию, использующему различные про- токолы, подключаться к унифицированной архи- тектуре OPC для обмена данными. Основное отличие этих испытательных лабо- раторий заключается в подходе к конфигурации сетевого оборудования. IIC использует центра- лизованный подход, который подразумевает, что каждое устройство настраивается отдельно через универсальное конфигурационное ПО. LNI4.0 придерживается децентрализованного подхода, при котором распределение потоков в сети про- исходит автоматически с помощью специальных протоколов резервирования. Этот подход по- зволяет осуществлять plug&play подключение устройств. Отдельно следует отметить проект с откры- тым исходным кодом OpenTSN [14], который поддерживает быструю настройку систем TSN. Среда OpenTSN включает два аппаратных ком- понента - коммутатор TSNSwitch и сетевую кар- ту TSNNic - и один программный компонент - TSNLight. TSNSwitch и TSNNic реализованы на базе программируемых вентильных матриц FPGA (Field-Programmable Gate Array). TSNLight - это программный контроллер сети TSN, который управляет сетевыми устройствами в централи- зованном режиме. С помощью этих компонентов разработчики могут построить базовую систему TSN, настроив соответствующие компоненты в соответствии со стандартами IEEE 802.1 TSN и требованиями к их применению. Заключение Технология чувствительных ко времени сетей TSN, разработанная рабочей группой IEEE 802.1, обладает всеми достоинствами классической технологии Ethernet, но дополнительно позволя- ет соблюдать жесткие требования к задержкам и надежности передачи, которые необходимы приложениям, работающим в режиме реального времени (автоматизация производства, беспилот- ный транспорт, телемедицина, киберфизические системы, услуги URLLC в мобильных сетях 5G и др.). Сеть TSN работает на втором уровне моде- ли OSI, что позволяет использовать ее для лю- бых технологий, базирующихся на технологии Ethernet. Кроме того, коммутируемая сеть TSN превосходит промышленные решения Ethernet реального времени по стабильности передачи данных, имеет меньшие задержки низкоприо- ритетных сообщений, более гибко адаптируется к модификациям конфигурации, обеспечивает более высокую пропускную способность и явля- ется более экономичной. Так, исследования, про- веденные на установках IIC и LNI 4.0, показали, что по производительности технология OPC UA TSN опережает существующие протоколы про- мышленного Ethernet в 18 раз [15]. С другой стороны, сети TSN легко стыкуют- ся с сетями классического Ethernet, обеспечивая экономичную совместную передачу как критич- ного ко времени изохронного трафика, так и тра- фика, не требующего строгих гарантий задержек (например, аудио и видео), или вообще без гаран- тий (best effort). Наличие в сети TSN разнородно- го трафика, предъявляющего разные требования к качеству обслуживания QoS, создает ряд слож- ных теоретических и практических задач, таких как составление расписания работы сетевых уз- лов, поиск оптимальных маршрутов передачи потоков трафика и оценка граничных значений сквозных задержек. Это доказывает целесообраз- ность дальнейших исследований и разработок технологий TSN Ethernet.

About the authors

A. V Roslyakov

Povolzhskiy State University of Telecommunication and Informatics

Email: arosl@mail.ru
Samara, Russian Federation

V. V Gerasimov

Povolzhskiy State University of Telecommunication and Informatics

Email: slavon131@bk.ru
Samara, Russian Federation

Yu. S Mamoshina

Povolzhskiy State University of Telecommunication and Informatics

Email: yulia131098@mail.ru
Samara, Russian Federation

M. E Sudareva

Povolzhskiy State University of Telecommunication and Informatics

Email: masha_sudareva@mail.ru
Samara, Russian Federation

References

Supplementary files