Ethernet networks with deterministic delays

Full Text

Введение

Сегодня мир переживает новый подъем цифровой трансформации, которая требует от производителей переосмысления существующих моделей промышленной автоматизации. Цифровая трансформация открывает новые возможности для автоматизации и производства. Индустрия 4.0, как еще называют эту новую волну цифровой трансформации, коренным образом меняет мировую экономику.

По мере усложнения систем они становятся все более распределенными, и объединяют их телекоммуникационные сети. Широкое распространение и положительные качества сетей Ethernet сделали их чрезвычайно привлекательными при организации связи между различными устройствами промышленной автоматики. Однако, несмотря на высокую производительность, присущий им метод случайного доступа к общим сетевым ресурсам не обеспечивает гарантированных длительностей сетевых задержек, что для ряда систем управления технологическими процессами совершенно недопустимо.

В заводской среде существуют обычные ПК, на которых сотрудники выполняют свою работу, а также оборудование, управляемое компьютерами. Сотрудникам необходим доступ к локальной сети для работы в Интернете и интрасети. Оборудование использует сеть для связи с компьютером, управляющим им. Необходимость в подключенном оборудовании и обычных ПК может сильно различаться. Машины могут быть критически важны с точки зрения безопасности, в то время как сотрудникам требуется обычное подключение к локальной сети и для них важна в основном пропускная способность. Эти примеры использования требуют лучших решений, чем те, которые имеются на сегодняшний день. Снижение затрат может быть достигнуто за счет наличия только одной сети, которая отвечает требованиям детерминированного сетевого взаимодействия и совместима с современными решениями.

Локальные сети обычно использовались для подключения компьютеров к Интернету или внутри сети компании для подключения компьютеров друг к другу и к серверам. Поэтому возникла необходимость в отдельной сети для удовлетворения требований к детерминистской связи, например на заводах в автомобильной промышленности. Детерминизм может быть определен следующим образом: «Физическая система ведет себя детерминированно, если, учитывая начальное состояние в момент t и набор будущих синхронизированных входов, вытекают будущие состояния, а также значения и время будущих выходов» [1]. Это означает, что поведение сети можно предсказать. Детерминированные сети предсказуемы. Для предсказуемости необходимо, чтобы данные каждый раз проходили через сеть так, как ожидалось. Например, если два реплицированных компонента имеют одинаковое начальное состояние, они завершатся примерно в одно и то же время [1]. Для достижения этой цели в сети не должно быть трафика, блокирующего критичные по времени данные. Для удовлетворения этих требований необходимо зарезервировать некоторую полосу пропускания. Это означает нулевые потери при перегрузке и гарантированную задержку [2]. Благодаря гарантиям и тому, что детерминированная сеть предсказуема, потеря пакета расценивается как отказ оборудования. Детерминированные сети могут быть использованы для создания систем жесткого реального времени.

Чем больше возможностей требуется от системы, тем большее число компонентов она должна включать, и все они должны работать синхронно друг с другом, особенно в системах, критичных ко времени задержки, иначе вся система не будет работать. Особенно это относится к автоматическим системам регулирования и управления, включающим цепи обратной связи. Хорошо известно, к каким пагубным последствиям приводит наличие запаздывания в цепях обратной связи таких систем. Они не только теряют качество и точность, но при определенных условиях могут потерять и устойчивость процесса управления. Это в полной мере, например, относится к автоматизации управления транспортом.

Уровень безопасности программного обеспечения автомобиля определяется тем, насколько неуправляемым будет автомобиль, если данное программное обеспечение выйдет из строя [3].

Автономные транспортные средства, которые полагаются на быструю обработку данных от множества различных датчиков (оптических, LIDAR, приближения, GPS, инерционных и т. д.), могут иметь несколько различных устройств, обрабатывающих эти данные, соединенных сетью связи. В какой-то момент проанализированные данные от различных датчиков объединяются для принятия решений (объединение данных).

Объединение данных требует, чтобы все данные либо были одинакового времени, либо имели известный момент появления. Это также требует точной синхронизации времени между всеми устройствами сбора данных. Большинство распределенных систем, критичных ко времени, нуждаются в той или иной форме синхронизации времени. Синхронизация позволяет детерминировать возникающие задержки. Появилось множество протоколов различных производителей, направленных на обеспечение гарантированных сетевых задержек. Это привело к невозможности совместной работы оборудования различных производителей или к неоправданно большим затратам на приобретение специальных шлюзов, обеспечивающих такую совместную работу. Ситуация изменилась с появлением сетей с управляемыми задержками (Tim-Sensitive Nets – сети, чувствительные к задержкам), которые все более активно начинают внедряться в промышленную автоматизацию. Эти сети, совместимые с Ethernet, способны передавать высокоприоритетные пакеты с минимально возможными задержками. Они совместили в себе все положительные свойства сетей Ethernet с возможностью получения детерминированной задержки сетей TDM, предоставляя абсолютный приоритет пакетам, наиболее чувствительным к задержкам. Появился ряд стандартов, дополняющих существующие стандарты Ethernet, в которых предусматривается получение детерминированных задержек в сетях Ethernet за счет жесткой синхронизации по времени и управления потоками трафика на основе расписания. Переключение потоков в TSN осуществляется за счет введения в коммутаторы Ethernet дополнительных аппаратных средств в виде программируемых логических матриц (ПЛМ). Необходимость получения детерминированных задержек привела также к созданию подобных беспроводных сетей.

1. Технология TSN

1.1. Гетерогенные сети

При создании сети или проектировании системы, использующей сеть, сеть должна быть выбрана в соответствии с требованиями к ней. Однако во многих случаях требуется наличие сети Ethernet, поскольку она используется для соединения компьютеров. Другие компоненты, например оборудование на заводе, могут иметь более строгие требования, и это означает необходимость в двух сетях. Как показано на рис. 1а, сеть содержит только ПК и является однородной. Сеть на рис. 1б – это сеть управления, где один компьютер управляет четырьмя промышленными роботами. Сеть должна быть детерминированной, например из соображений безопасности. Проще и дешевле иметь только одну сеть, поэтому возникает необходимость в гетерогенных сетях (разнородных). Сеть должна иметь протокол, отвечающий требованиям всех устройств, показанных на рис. 1б. Даже если в сети примера есть только один тип устройства – промышленный робот, которому требуется детерминированная сеть, вся сеть должна быть детерминированной.

Ранние сети стандарта Ethernet не могли гарантировать доставку данных и имели значительные задержки. В результате в отраслях, требующих высокой надежности и доступности, были разработаны собственные специализированные сетевые решения (например, модифицированные сети Ethernet и полевые шины) для промышленных систем управления и автоматизации. Чтобы удовлетворить требования промышленных приложений к высокой доступности и малой задержке, традиционные технологии Ethernet с негарантированной доставкой должны были развиваться и становиться более детерминированными. TSN – это, по сути, следующий этап эволюции стандартных технологий Ethernet, отвечающий перспективным требованиям.

Рис. 1. Две разные сети, необходимые в заводской среде: а – сеть Ethernet; б – детерминированная сеть

1.2. Создание TSN

TSN представляет собой набор стандартов, обеспечивающих детерминированный обмен сообщениями по стандартным сетям Ethernet. Согласно определению Института инженеров по электротехнике и радиоэлектронике (IEEE), TSN включает в себя форму управления сетевым трафиком, которая гарантирует строго определенное значение задержек при сквозной передаче данных. Следовательно, все устройства в сетях TSN должны синхронизироваться друг с другом и использовать единый сервер времени для обеспечения обмена данными в режиме реального времени в промышленных системах. Хотя стандарты TSN изначально разработаны IEEE, важно понимать, что TSN выходит за рамки основных стандартов IEEE и включает в себя упорный совместный труд многих международных организаций и компаний.

Ethernet как технология так же широко используется в промышленности, как и в домашних хозяйствах. Впервые он был представлен в 1980 г., а после его первой стандартизации в 1983 г. рабочей группой Института инженеров по электротехнике и электронике (IEEE) он почти заменил все другие технологии проводных локальных сетей (LAN). Начальная скорость, которую он мог достичь, составляла 10 Мбит/с. С тех пор было внесено много улучшений и введены новые стандарты. В 2017 г. скорость Ethernet достигла 400 Гбит/с. Набор всех этих стандартов, которые определяют Ethernet, – это IEEE 802.3. Они определяют физический уровень и уровни канала передачи данных Media Access Control (MAC) проводной сети. Эти два уровня также известны как первые два уровня модели взаимодействия открытых систем (OSI) . IEEE 802.3 – это рабочая группа проекта IEEE 802, и все стандарты, определенные в этом проекте, относятся к локальным сетям (LAN) и городским сетям (MAN). Рабочая группа IEEE 802.1 определяет мосты LAN/MAN и управление ими. Частью этой группы является рабочая группа Time-Sensitive Networking (TSN) [4] – это бывшая рабочая группа IEEE, и чтобы расширить работу, эта группа задач была переименована в Time-Sensitive Networking Task Group в 2012 г.

Ключевые особенности TSN, обеспечивающие гарантированные сроки доставки сообщения, – это синхронизация времени и трафика и планирование. Они определены стандартами 802.1AS и 802.1Qbv соответственно. Все устройства, участвующие в сети TSN, синхронизированы с глобальным временем и знают о сетевом расписании, которое определяет, как расставлены приоритеты сообщений при пересылке с каждого коммутатора.

Стандарт IEEE 802.1, как это показано на рис. 2, использует несколько очередей на выходе каждого порта коммутатора. Там сообщения хранятся до тех пор, пока выходы не откроются (во временном интервале) и не пропустят сообщения из очереди для передачи инфекции. Своевременный выпуск сообщений гарантирует, что задержки в сети можно будет детерминистически предсказать. Это позволяет объединить в одной той же сети критически важный и некритический трафики.

Рис. 2. Модель с различными частями исходящего порта

Этот стандарт помещает сообщения в разные классы в зависимости от их приоритета и использует формирователи трафика для прогнозирования и предотвращения перегрузки портов коммутатора. Чтобы обеспечить априорную передачу сообщений и прерывание некритических сообщений, были внесены две поправки: 802.1Qbv и 802.1Qbu. Первая поправка вводит запланированный трафик, а вторая вводит приоритет кадра. Эти две поправки являются ключевыми средствами обеспечения связи в реальном времени в сетях TSN. Стандарты IEEE 802.1Qbv и IEEE 802.1QAS использовались для обеспечения запланированной синхронизации трафика и времени соответственно. Итак, технология Time-Sensitive Networking (TSN) решает проблему отсутствия поддержки систем реального времени в локальных сетях. Она является расширением стандарта IEEE 802.1Q и известна как 802.1Qbv. TSN создана для работы, когда трафик содержит до 75 % данных, критичных ко времени, а остальные являются best-effort [5]. Следовательно, она позволяет одной сети заменить несколько сетей с различными требованиями и таким образом обеспечить более простые сетевые решения и сократить расходы.

1.3. Принцип действия TSN

Для того чтобы передача данных могла быть приоритетной, должны существовать определенные правила. Для 802.1Q правила пиритизации определяются типами трафика и назначением данных. Имеются различные приоритеты и типы трафика, которому назначается приоритет. Существует максимум восемь приоритетов, поскольку метка, определяющая приоритет, содержит 3 бита. Все преобразования трафика в TSN производятся в выходных портах коммутаторов.

На рис. 2 показана модель со всеми различными частями исходящего порта.

Вводимые данные поступают и помещаются в исходящий порт. Данные проходят через блок выбора очереди (a) и помещаются в нужную очередь (b). Алгоритм выбора передачи (TSA) выбирает (c), какие данные взять из очереди, и если следующий шлюз Gate (e) открыт, то они могут быть переданы. Открытые шлюзы определяются списком управления щлюзами (d). Выбор передачи TS (f) выбирает, какие данные должны быть переданы с выхода данных (g). Как показано на рис. 2, существует несколько очередей для обслуживания различных классов трафика. Таким образом, всего существует максимум 8 очередей, по одной для каждого класса трафика. Если очередей меньше восьми, каждая очередь может содержать данные от нескольких типов классов трафика. TSA решает, в каком порядке будут передаваться данные из очереди. Даже если TSA выбрала некоторые данные для дальнейшей передачи, шлюзы, следующие за ними, могут заблокировать передачу. Благодаря этому можно отдать приоритет не самому приоритетному типу трафика, а неким другим данным. Шлюзы являются краеугольным камнем TSN. Каждый шлюз может находиться в открытом или закрытом состоянии. Управление ими осуществляется с помощью списка управления шлюзами. Операции в списке управления шлюзами заключаются в открытии или закрытии определенных шлюзов. Селектор передачи принимает кадр с наивысшим приоритетом, который может быть выбран для передачи [6]. Если шлюз перед селектором передачи закрыт, то он будет действовать так, как будто данные для передачи отсутствуют.

Передача трафика производится в соответствии с различными алгоритмами. Дисциплина обслуживания передачи может быть не простой «первым пришел – первым ушел» (FIFO). Применяются алгоритмы с относительными и абсолютными приоритетами. Особое значение приобретает возможность предварительного резервирования временных окон передачи на основе расписания для циклического трафика и резервирования на основе упреждения. Дисциплина обслуживания может быть определена производителем.

Особое значение при реализации TSN приобретают вопросы синхронизации. Синхронизация позволяет произвести планирование открытия проходов таким образом, чтобы создавались открытые соединения с минимальными задержками прохождения трафика по всему пути от источника к получателю.

1.4. Архитектура TSN

Архитектура управления средствами промышленной автоматизации является иерархической (рис. 3).

Рис. 3. Архитектура управления средствами промышленной автоматизации

Приложения, ответственные за планирование ресурсов предприятия ERP (Enterprise Resource Planning), находятся на самом верху иерархии и обеспечивают общее управление и планирование работы бизнес-процесса, вплоть до автоматизированных систем управления технологическими процессами (MES – Manufacturing Execution System), которые контролируют непосредственно производственный процесс [7]. Непосредственный производственный процесс управляется специализированными контроллерами, получающими информацию от различных датчиков и управляющими различными исполнительными механизмами, находящимися на самом нижнем уровне иерархии. Различные уровни соединяются телекоммуникационными сетями и предъявляют к ним различные требования. На высоких уровнях требуется большая пропускная способность, в то время как нижние уровни нуждаются в детерминированном поведении и передаче данных с малой вариацией временной задержки. Технология TSN позволяет объединить указанные разрозненные системы. Перед разработчиками TSN встала задача сохранить все преимущества сетей Ethernet, но обеспечить возможность гарантированной передачи данных в течение заданного промежутка времени. Поэтому любая система, применяемая в TSN, может быть представлена в виде объединения двух подсистем (рис. 4). На первой подсистеме показаны входной и выходной порты, подуровень МАС и система коммутации, предусмотренные обычными стандартами Ethernet. Реализация функций TSN предусматривает весьма жесткую синхронизацию всех узлов сети. Поэтому предусмотрено программное обеспечение, обеспечивающее синхронизацию, в соответствии со стандартом IEEE 802.1AS. Подсистема, обозначенная как TSN, предусматривает введение дополнительного программного обеспечения, часть из которого (CUC) доступна пользователю и позволяет настроить работу системы в соответствии с задачами технологического процесса. Часть программного обеспечения, недоступная пользователю, осуществляет сопряжение обеих подсистем. Реализуется управление, как правило, с использованием комбинированного процессора и программируемой логики архитектуры FPGA (Field Programmable Gate Array), которые подключены к высокоскоростному каналу. Фактически сеть состоит из двух различных узлов – сетевых коммутаторов (NS) и конечных систем (ES). На рис. 4 показан узел типа NS. Конечные системы либо отправляют, либо получают данные, но не передают их. Сетевые коммутаторы только передают данные, но не потребляют, не создают и не изменяют их.

Рис. 4. Подсистемы TSN

Соединение с другими узлами осуществляется через исходящий порт. Каждый исходящий порт имеет свои собственные очереди, и каждый порт подключен только к одному другому узлу. Поэтому в каждом узле может быть более одного исходящего порта. Количество принимающих и передающих портов может отличаться. Одной из важных частей TSN являются часы внутри узла.

2. Планирование трафика

Вопросам получения трафика с детерминированными задержками посвящено значительное количество зарубежных публикаций, краткий обзор которых приведен в [11].

Планирование критического трафика в детерминированных сетях с использованием программируемых систем было предложено Штайнером в [12]. Работы [13, 14] включали планирование приоритетных задач, выполняемых на узлах конечных систем.

Планирование передачи ограниченного по скорости трафика с разными классами критичности в TTEthemet при оптимизации сквозной задержки изучалась в [15]. Задачи планирования с оптимизацией и без нее для других технологий, таких как PROFINET, FlexRa9 и ТТР, были рассмотрены в [16, 17, 18, 19]. Методы определения наихудшего случая сквозных задержек для незапланированных сетей (например, AFDX или AVB) были разработаны, например, в [20–22].

Асинхронный класс трафика введен в [23] в контексте TSN, где цель состоит в том, чтобы предложить возможности композиционного анализа связи, поддерживая схему сквозного прохождения трафика между выходными портами по маршруту. Этот подход рассматривает поведение стандартных потоков AVB в предположении, что все синхронизированные ворота очередей выходных портов открыты одновременно. Существует значительное число промышленных устройств и технологических процессов, работающих в циклических режимах, когда информационные потоки возникают в определенных местах и должны доставляться получателям в строго регламентируемые промежутки времени. В работе [24] вводится класс трафика с гарантией доставки в реальном времени, называемый «планируемый (Scheduled) трафик (ST)», который еще называют «трафиком высокой критичности». Технология TSN позволяет создать сквозной открытый путь для передачи таких потоков, обеспечив исключение влияния на их задержку со стороны других, менее срочных потоков.

Такой трафик возникает в сетях, объединяющих циклически работающие устройства и системы. Весь цикл работы таких устройств разделяется на равные между собой слоты, измеряемые временными тактами (тиками). Целью планирования является определение временных слотов, в течение которых указанный трафик должен проходить через выходные порты коммутаторов, и, следовательно, для него должны быть открыты сквозные проходы от источника возникновения трафика до всех его получателей. 

Параметры сети

На рис. 5 изображен фрагмент сети, где все конечные узлы рассматриваются как вершины графа и обозначаются как $v_a$, $v_b$, $v_c$, $v_d$.

Рис. 5. Фрагмент потоков в сети

Рассматриваемая сеть работает по полнодуплексным многоскоростным физическим каналам и моделируется как направленный граф $G(V,L)$, где узлами (коммутаторами и конечными системами) является множество вершин графа $\left(V\right)$, связи между узлами являются двунаправленными и представляют ребра графа $L\subset \left(V\times V\right)$. Вершины графа соответствуют следующим устройствам: $V_e$ – конечные системы; $V_s$ – коммутаторы; ${V_{e+}}_s$ – все устройства.

Каналы, представляемые направленными ребрами, обозначаются как $\left[v_a,v_b\right]\subset L$, $\left[v_b,v_a\right]\subset L$. Физическая связь между узлами $v_a$ и $v_b$ приводит к двум направлениям логических каналов, каждый из которых обозначается упорядоченным кортежем, а именно $[V_a,V_b]$ и $\left[V_b,V_a\right]$ соответственно.

Путь от отправителя $v_a$ к получателю $v_b$, маршрутизируемый через промежуточные узлы $v_1,v_2\dots v_n$, обозначим через кортеж $s_i=\left[\left[v_a,v_1\right],\left[v_1,v_2\right],\dots v_n,v_b\right]$.

Физическая связь $\left[v_a,v_b\right]$ определится набором величин $⟨\left[v_a,v_b\right]\mathrm{..}s,\left[v_a,v_b\right]\mathrm{..}d,\left[v_a,v_b\right]\mathrm{..}mt,\left[v_a,v_b\right]\mathrm{..}c⟩$, где $\left[v_a,v_b\right]\mathrm{..}s$ – скорость в канале, $[v_a,v_b]\mathrm{..}d$ – объявленная задержка, $[v_a,v_b]\mathrm{..}mt$ – слот времени (макротик), $[v_a,v_b]\mathrm{..}c$ – количество доступных очередей в канале (в порту).

Параметры трафика

Планируемый трафик возникает в источнике $v_a$ и передается в конечные вершины $v_b,v_c,v_d$. Весь поток трафика, исходящего из вершины $v_a$, обозначим через $F_a$. Указанный поток представляет сумму составляющих потоков, поступающих от источника $v_a$ ко всем получателям $v_b,v_c,v_d$.

Обозначим составляющие потоки через $F^{\left[a,b\right]}$, $F^{\left[a,c\right]}$, $F^{\left[a,d\right]}$ соответственно. Индекс $\left[a,b\right]$ обозначает канал, первая буква которого соответствует номеру выходного порта источника, а вторая – номеру выходного порта промежуточного коммутатора или конечного получателя. В этом разделе мы пользуемся обозначениями, принятыми в работе [1].

Потоки образуют в выходных портах коммутаторов очереди. Конфигурация очереди $G\left(Q\right)$ характеризуется следующими параметрами:

$G\left(Q\right)=\left(N;N_u;N_{prio}\right)$,

где $N$ – общее количество очередей на порте; $N_u$ – количество очередей, работающих в запланированном отрезке времени ТТ; $N_{prio}$ – количество оставшихся очередей с приоритетами (запланированные очереди всегда имеют наивысший приоритет).

Набор параметров, определяющих конфигурацию всей системы, определяется как $\left(G\left(Q\right);G\left(E\right)\right)$.

Поскольку любой исходящий порт подключен только к одному звену, можно установить эквивалентность между портом и связанным с ним каналом. Следовательно, можно обращаться к переменной $[v_a,v_b]:c$ как к количеству исходящих очередей, присутствующих в соответствующем порту.

Определим время передачи кадра между двумя узлами через длину кадра и скорость соединения, которая представляет скорость передачи по физическому сетевому кабелю. Например, при передаче по каналу со скоростью 1 Гбит/с фрейма Ethernet IEEE 802.1Q размером 1542 байта время передачи будет $\mathrm{12,36}\mu$ sec.

Объявленная дополнительная задержка обусловлена задержкой распространения по физической среде, зависящей от расстояния.

Макротик определяет размер дискретной единицы времени, характеризующей степень детализации временных событий, которые протекают по данному каналу.

Несмотря на то, что поток $F_a$ имеет несколько составляющих, без уменьшения общности можно рассмотреть лишь одну из его составляющих $F^{\left[a,b\right]}$, проходящих по каналу $[v_a,v_b]$.

В модели различают поток и экземпляр потока, проходящего через канал. Экземпляр потока, проходящего через канал $\left[v_a,v_b\right]$, обозначим через ${s_i}^{\left[v_a,v_b\right]}$.

Экземпляр $s_i\subset S$ потока, исходящего от узла $v_a$ к получателю $v_b$, проходящий через промежуточные коммутаторы $v_a,v_1,v_2,\dots {v_n}_{-1},v_n$, обозначим через $s_i=\left[\left[v_a,v_1\right],\left[v_1,v_2\right],\dots \left[{v_n}_{-1},v_n\right],\left[v_n,v_b\right]\right]$.

Множество допустимых максимальных и минимальных сквозных задержек, длин кадров в байтах и периоды действия экземпляра $s_i$ обозначим через $⟨s_i.e2e,s_i.L,s_i.T⟩$ соответственно.

Переменную экземпляра очереди в порту $i$, соответствующую каналу $\left[v_a,v_b\right]$, обозначим через ${s_i}^{\left[v_a,v_b\right]}.p$. Наличие очереди является синонимом того, что в пределах данного выходного порта $i$ соответствующего устройства имеется приоритетный поток.

Поскольку размер данных может превышать размер MTU – Ethernet, каждый экземпляр потока фреймов не должен превышать этот размер.

Каждый составляющий поток может состоять из нескольких потоков, имеющих наивысший приоритет. Обозначим через ${F_i}^{\left[a,b\right]}\subset F^{\left[a,b\right]}$ набор фреймов ${f_{ij}}^{\left[a,b\right]}$ из экземпляра потока ${s_i}^{\left[a,b\right]}$. Кроме того, первый и последний кадры этого набора, заказанные по расписанию, указанному по ссылке, обозначим как ${f_{i1}}^{\left[a,b\right]}$ и $last\left({F_i}^{\left[a,b\right]}\right)$ соответственно. Фреймы из набора ${f_{ij}}^{\left[a,b\right]}\subset {F_i}^{\left[a,b\right]}$ различают на основании данных пула переменных $⟨{f_{i,j}}^{\left[v_{a,b}\right]}.\varphi ,{f_{i,j}}^{\left[v_{a,b}\right]}.T,{f_{i,j}}^{\left[v_{a,b}\right]}.L⟩$, где ${f_{i,j}}^{\left[v_{a,b}\right]}.\varphi \subset \left[\mathrm{0,}{f_{i,j}}^{\left[v_{a,b}\right]}.T\right]$ – установлен в макротиках длины кадра в канале, ${f_{i,j}}^{\left[v_{a,b}\right]}.T=\left[\frac{s_i.T}{\left[v_a,v_b\right].mt}\right]$ – период времени нахождения потока в канале $[V_a,V_b]$, ${f_{i,j}}^{\left[v_{a,b}\right]}.L=\left[\frac{L_i\left[v_a,v_b,s\right]}{\left[v_a,v_b\right].mt}\right]$ – продолжительность передачи кадра в макротиках в канале $[V_a,V_b]$.

Принятые обозначения могут быть использованы при моделировании и планировании трафика TSN.

3. Циклическое обслуживание трафика по расписанию

Многие процессы, требующие передачи информации, носят циклический характер. Моменты появления кадров, несущих срочную информацию, в определенных участках сети для таких процессов заранее предопределены, и передача кадров может осуществляться по заранее запрограммированному расписанию [1]. Однако наряду с таким трафиком существует трафик весьма высокой критичности, появление которого носит случайный характер и не может быть запланировано в строго установленные интервалы времени. Примером такого трафика являются кадры, сигнализирующие о возникновении предаварийной ситуации, или управляющие сигналы, предотвращающие такую ситуацию. Эти кадры имеют самый высокий приоритет, и если они поступят в очередь в период передачи высококритичного ранее запланированного трафика, то должны быть обслужены первыми. В остальные периоды указанный трафик обнаруживается в процессе циклического опроса очередей по расписанию.

Расписание задается в виде последовательности очередей [8] $(g=\mathrm{1,2}\dots G)$. Номер очереди равен $\mathrm{1,}\dots H$. Расписание носит циклический характер, где G – длина цикла. Например, последовательность 1, 3, 1, 4, 2, 1, 3, 1, 4, 2… свидетельствует, что первой обслуживается очередь с номером 1, длина цикла равна 5, а последняя очередь в цикле имеет номер 2. В течение цикла очередь с номером 1 будет обслужена 2 раза, а остальные – по одному разу. Всего различных классов очередей 4. В одной очереди могут находиться пакеты различных соединений, имеющих одинаковый приоритет (приоритеты соединений устанавливаются заранее).

Обозначим через $g_h$ число обращений к очереди с номером $h$ в течение одного цикла (в рассмотренном примере $g_1=2$). Величину ${\pi }_h=\frac{g_h}{G}$ можно назвать вероятностью обращения к $h$ той очереди. Обозначим через $h^{*}$ номер очереди, число обращений к которой в цикле максимально. В нашем примере $h^{*}=1$. Подциклом называют обращения к очередям, заключенные между двумя последовательными обращениями к очереди $h^{*}$, включая одно обращение к этой очереди. Значение $g_{h^{*}}$ определяет число подциклов в расписании. Расписание представляется в виде матрицы (табл. 1). Число строк в матрице равно числу подциклов в расписании, а число столбцов – числу различных групп соединений (числу очередей на рис. 5).

Если в подцикле $i=1\dots g_h$ должно производиться обращение к данной очереди, $h=\mathrm{1,}\dots H$, то элемент $s_{ik}=1$, в противном случае $s_{ik}=0$. Здесь число единиц в каждом столбце $g_h$ равно числу обращений к соответствующей этому столбцу очереди $h$ в течение одного цикла.

Расписание 

Процесс управления обработкой заявок по расписанию, представленный в [8, 9], заключается в следующем: из матрицы S выбирается строка $S_g$, соответствующая очередному подциклу. В строке единицами отмечены классы заявок, которые могут быть обслужены в данном подцикле. Если заявки указанных классов отсутствуют, то производится переход к следующему очередному подциклу расписания. Если заявки классов, обслуживаемых в данном подцикле, имеются, то они обслуживаются в порядке следования этих классов в подцикле, а затем осуществляется переход к следующему подциклу.

Введем следующие обозначения: весь трафик разделим на классы $h(h=\mathrm{1,}\dots H)$ согласно приоритетам. В соответствии с технологическим процессом в сети должно образовываться множество соединений [А]. Для передачи трафика $h$ должно образовываться подмножество $\left[A_h\right]$ соединений $a_{ih}(i=\mathrm{1,}\dots ,I_h)$. Каждое соединение $a_{ih}$ в данный момент времени обеспечивает передачу только одного класса трафика $h$ с интенсивностью ${\lambda }_{ih}$. В сети имеется множество портов Р. Любой порт $p_j$ с номером $j(j=\mathrm{1,}\dots ,J)$ имеет по Н выходов $p_{jh}$. Каждый выход предназначен для передачи трафика только одного класса $h$.

Процесс передачи является циклическим, весь цикл разделяется на временные слоты, в течение каждого из которых может передаваться трафик только одного класса $h$ (рис. 6). Если в соответствии с технологическим процессом в течение данного слота должна производиться передача трафика класса $h$, то в сети из всего запланированного множества соединений выделяется подмножество соединений $A_h$, обеспечивающих одновременную передачу указанного трафика. Это подмножество характеризуется матрицей, столбцы которой соответствуют соединениям, а каждая строка соответствует одному из выходных портов $p_j(j=\mathrm{1,}\dots ,J)$ коммутаторов сети. Каждый порт $p_j$ характеризуется интенсивностью ${\mu }_j$, с которой может обрабатываться проходящий через него трафик. Столбцы матрицы соединений содержат единицы в клетках тех портов, которые задействованы в данном соединении, а единицы в строках матрицы свидетельствуют о том, что соответствующие выходы $p_{ih}$ класса $h$ должны быть открыты в течение всего рассматриваемого слота времени. Одновременно определяется загрузка $r_{ij}$ каждого выхода $p_j$ трафиком соединения $a_i=\frac{{\lambda }_i}{{\mu }_j}$. Суммируя загрузку от всех соединений, трафик которых проходит через рассматриваемый выход, получим суммарную загрузку данного выходного порта, как это показано на рис. 6.

Рис. 6. Выбор открытия выходов в течение слота

Значения этой загрузки могут быть использованы для управления потоками трафика. Управление открытием выходов портов каждого из коммутаторов может происходить на основании информации, получаемой от всей сети, поэтому наиболее целесообразным следует считать централизацию функций управления в едином устройстве, которое получает данные от всех коммутаторов и на основании заложенной в этом устройстве программы расписания определяет выходы портов всех коммутаторов, которые должны быть активированы в течение данного слота времени. При организации TSN на коммутируемом в данный момент выходе порта коммутатора присутствует трафик только одного класса. Однако очередь одного класса может содержать кадры чувствительного к задержкам трафика нескольких различных приоритетов.

При подключении данного выхода очередь находящихся в нем кадров будет обслуживаться согласно указанным приоритетам, и первыми из этой очереди будут переданы кадры, имеющие наивысший приоритет. Мы уже отмечали, что, например, кадры, свидетельствующие о возможности возникновения аварийной ситуации, имеют наивысший приоритет, должны обладать наименьшей задержкой и поэтому должны опрашиваться в течение цикла опроса наибольшее число раз.

Но кадры данного типа возникают крайне редко и большая часть временных слотов опроса указанного трафика окажутся пустыми, что привело бы к крайне нерациональному использованию пропускной способности канала. Для улучшения пропускной способности наряду с рассматриваемым трафиком, имеющим наивысший приоритет, в очереди размещают другие виды чувствительного к задержкам трафика, имеющие меньший приоритет. Именно поэтому предусматривается возможность размещения в одном классе трафика кадров, имеющих различные приоритеты.

Заключение

TSN представляют новую технологию, обеспечивающую получение детерминистских свойств обычными сетями Ethernet. Технология уже прошла основные этапы научных исследований и стандартизации и в настоящее время широко внедряется в промышленную автоматику [10]. Однако, несмотря на достаточно жесткую стандартизацию, имеется весьма широкое поле деятельности для разработки алгоритмов и программного обеспечения пользователей. Каждый технологический процесс, обеспечиваемый TSN, специфичен и требует тщательной подготовки программного обеспечения пользователей. В настоящее время ряд компаний разрабатывают специальное программное обеспечение, позволяющее автоматизировать указанный процесс, и работы в этом направлении еще много.

About the authors

Boris Ya. Lichtsinder

Author for correspondence.
Email: lixt@psuti.ru

Dr. Sci. (Techn.), Professor

References

Supplementary files

Supplementary Files

Action

1. JATS XML

Download

2. Figure 1. Two different networks required in a factory environment: a - Ethernet network; b - deterministic network

Download (38KB)

Indexing metadata

3. Figure 2. Model with different parts of the outgoing port

Download (148KB)

Indexing metadata

4. Figure 3. Industrial automation control architecture

Download (114KB)

Indexing metadata

5. Figure 4. TSN Subsystems

Download (70KB)

Indexing metadata

6. Figure 5. Fragment of flows in the network

Download (43KB)

Indexing metadata

7. Figure 6. Selecting the opening of outputs during the slot

Download (69KB)

Indexing metadata