Analysis of boundary latencies in the TSN Ethernet network

Full Text

Введение

Традиционные интернет-сети, которые обеспечивают сквозное соединение для пользователей, успешно сокращают операционные сквозные задержки только до десятков миллисекунд. Однако нынешние и будущие приложения требуют сверхнизкие или граничные задержки ULL (Ultra Low Latency) [1]. Критически важны задержки в медицинских приложениях для телехирургии и транспорта, так как требуют подключения к сети почти в реальном времени. Требования к пропускной способности в значительной степени зависят от потребностей приложений, которые могут широко варьироваться от небольших объемов данных интернет вещей IoT (Internet of Things) до крупных обменов мультимедийными данными, передаваемыми в облако и из облака [2].

Тематика исследования граничных задержек в сетях, чувствительных ко времени TSN (Time Sensitive Networking) Ethernet, заключается в том, что в таких разнородных средах, как автомобильные транспортные средства, дополненная и виртуальная реальность AR/VR (Augmented reality/Virtual Reality), а также роботизированные приложения, которые необходимы для промышленного интернета вещей IIoT (Industrial Internet od Things), могут потребоваться как высокие скорости передачи данных, так и ULL [3]. Высокие скорости передачи данных могут потребоваться для передачи видеопотока с камер, которые используются для управления транспортными средствами и роботами, а в приложениях будет очень полезен специальный механизм для универсального удовлетворения разнообразных требований ULL. Исходя из вышеперечисленных аспектов, можно сделать вывод, что данное исследование имеет актуальность [4].

Технология TSN Ethernet

Представим сеть TSN в виде графа, состоящего из набора узлов, которые могут быть либо конечными системами (ES), либо коммутаторами (SW), подключенными через физические каналы. Предполагается, что каналы являются полнодуплексными, что позволяет осуществлять связь в обоих направлениях. Пример проиллюстрирован на рисунке 1, где есть 4 конечных системы, от ES1 до ES4, и 3 переключателя, от SW1 до SW3.

 

Рисунок 1. Пример топологии сети TSN

 

Топология сети TSN моделируется как неориентированный граф, где $V=ES\cup SW$ – это набор конечных систем (ES) и коммутаторов (SW), а E – набор физических каналов. Для рисунка 1

$V=ES\cup \{ES1;ES2;ES3;ES4\}\cup \{SW1;SW2;SW3\}$,

а физические ссылки показаны двойными черными стрелками. Связь с потоком данных $d{l}_i=[v_a;v_b]\in L$, где L – это набор каналов передачи данных в сети, является направленным ребром от $v_a$ к $v_b$, где $v_a$ и $v_b\in V$ могут быть ESes или SWs. Скорость физического канала обозначается как $d{l}_k*C$. Предположим то, что все физические ссылки имеют одинаковую скорость C. Поскольку существует только один выходной порт для каждой ссылки потока данных, $d{l}_k$ также может ссылаться на выходной порт h в $v_a$, связанный со ссылкой на $v_b$. Маршрутизация потока данных $d{r}_k\in R$ представляет собой упорядоченную последовательность каналов потока данных, соединяющих единственную исходную ES с одной или несколькими ES назначения. Например, на рисунке 1 dr1 соединяет исходную оконечную систему ES1 с оконечными системами назначения ES3 и ES4, а dr2 соединяет ES2 с ES3.

Задачи приложений, работающих в ESes, обмениваются данными через потоки, которые имеют один источник и могут иметь несколько пунктов назначения. Несмотря на то, что в сети может быть некритическая связь, рассмотрим критические потоки, которые имеют требования в реальном времени. Определим $\tau ={\cup }_k{\tau }_{TTk}$ как множество всех критических потоков в сети TSN [5].

Как уже упоминалось, стандарт TSN поддерживает разные приоритеты для критических потоков TT (Time-Triggered). Предполагается, что приоритет $P_m$ при $m\in [1;8]$ для каждого критического потока TT был определен разработчиком системы. Более того, для каждого потока TT ${\tau }_{TTk}\in \tau$, известен размер кадра $l_{TTk}$, период $p_{TTk}$ в исходной ES и статически определенную маршрутизацию $d{r}_{TTk}$.

Оценка наихудшего случая передаваемых в сети задержек и задержек потоков производится путем внедрения теории сетевого исчисления, которая, в свою очередь, разработана для детерминированного анализа производительности сетевой связи. Операция свертки min-plus алгебры (min;+) определяет кривые поступления и обслуживания, которые для проведения анализа осуществляют их построение, а также описывает доступность сетевых узлов и поведение потоков.

$R\left(t\right)$ – это подсчитанное общее, входящее в сеть до момента t, количество битов, представляющее совокупность функции ввода потока, которые моделируют процесс поступления с помощью кривой поступления $\alpha \left(t\right)$. Только при:

$R\left(t\right)\le \underset{0\le s\le t}{\inf \left\{R\right(s\left)\right\}}+\alpha (t-s)\}=(R\otimes \alpha \left)\right(t)$,

где $R\left(s\right)$ – функция потока;

$\alpha \left(t\right)$ – кривая поступления, которая описывает границу потока $R\left(s\right)$;

$(t-s)$ – любой период, на интервале от 0 до t, в течение которого  будет кривой поступления для потока $R\left(s\right)$;

$\otimes$– операция свертки min-plus;

inf – выражает infimum, т.е. точную нижнюю границу.

Примером кривой поступления является модель маркерной корзины, описываемая максимальным скачок потока (σ) и верхней границей долгосрочной средней скорости потока (ρ) [6].

Кривая обслуживания $\beta \left(t\right)$ моделирует обрабатывающую способность доступного ресурса. Пусть, подсчитывает общее количество битов потока, выходящего из сетевого узла до момента времени t, процесс отправления $R^{*}\left(t\right)$, представляющий кумулятивную, т.е. накапливающую функцию выхода. Сетевой узел предлагает кривую обслуживания $\beta \left(t\right)$ для потока, если:

$R\left(t\right)\le \underset{0\le s\le t}{\inf \left\{R\right(s\left)\right\}}+\beta (t-s)\}=(R\otimes \beta \left)\right(t)$,

где $R\left(s\right)$ – функция потока;

$\beta \left(t\right)$ – кривая обслуживания, которая описывает границу потока $R\left(s\right)$;

$(t-s)$ – любой период, на интервале от 0 до t, в течение которого $\beta \left(t\right)$ будет кривой обслуживания для потока $R\left(s\right)$;

$\otimes$ – операция свертки min-plus;

inf – выражает infimum, т.е. точную нижнюю границу.

Типичным примером кривой обслуживания является кривая обслуживания «скорость-задержка» вида:

${\beta }_{R,T}\left(t\right)=R{[t-T]}^{+}$,

где R – скорость обслуживания;

t – момент времени;

T – задержка обслуживания;

${\left[x\right]}^{+}$ – равна x, если x$\ge$0, и 0 в противном случае.

Задержка, которую испытывает поток в сетевом узле, будет ограничена между графиками двух кривых, тогда максимальное горизонтальное отклонение будет:

$h(\alpha ,\beta )=\sup \left\{\inf \right\{\tau \ge 0\left|\alpha \right(s)\le \beta (s+\tau \left)\right\}\}$,

где sup – точна верхняя граница или супремум;

inf – выражает infimum, т.е. точную нижнюю границу;

$\alpha \left(t\right)$ – кривая поступления, которая ограничивает поток $R\left(s\right)$;

$\beta \left(t\right)$ – кривая обслуживания, которая описывает границу потока $R\left(s\right)$.

Проанализируем ограниченный маркерной корзиной поток ${\alpha }_{\sigma ,\rho }\left(t\right)$ и кривую обслуживания скорость/время ожидания, в узле ${\beta }_{R,T}\left(t\right)$ [5].

Наихудшая задержка проиллюстрирована с помощью двойной серой стрелки, обозначенной буквой $h(\alpha ;\beta )$ на рисунке 2.

 

Рисунок 2. Основная схема снятия

 

Наихудшая сквозная задержка потока представляет собой сумму пределов задержки в сетевых узлах вдоль его маршрутизированного пути виртуального канала [7].

Важно получить суммарную кривую поступления, для потоков, которые конкурируют на выходном порту, а также предоставленную устройством кривую обслуживания, чтобы получить для критического потока в узле входного порта задержку. По маршрутизированному пути распространяются границы задержки, из чего и получается для критического потока наихудшая сквозная задержка WCD (Worst-Case end-to-end Delay).

Существует с разными уровнями приоритета $P_m(1\le m\le n)$ для критического трафика $n(1\le n\le 8)$ очередей. В свою очередь в те же очереди входят с разными уровнями приоритета критические потоки $P_m$. Кадры в каждой очереди следуют порядку «первым пришел – первым обслужен» FIFO (First in, First out), и кадры имеют более высокий приоритет в очереди $Q_{P_m}$, чем в очереди $Q_{P_{m+1}}$. Пересылка кадров осуществляется тогда, когда связанный со шлюзом $G_{P_m}$, для управляемой GCL очереди $Q_{P_m}$, которая в свою очередь управляется открытыми $G_{P_m}\left(t\right)=1$ и закрытыми состояниями $G_{P_m}\left(t\right)=0$, шлюз открыт. На рисунке 3 проиллюстрировано открытие и открытие-закрытие шлюза $G_{P_m}$, цикл которого равен $T_{P_m}$, длина же в цикле открытия-закрытия в свою очередь равна $L_{P_m}$.

 

Рисунок 3. Процесс открытия и открытия входа каждой очереди

 

До момента закрытия шлюза, определяется время отправки всего кадра, которое в свою очередь определяет механизм опережающего просмотра, для каждого класса трафика, утвержденный стандартом 802.1Qbv. Время простоя, т.е. защитная полоса, определяется, когда переадресация кадра до следующего открытого окна не может быть возможна и возникает в конце текущего открытого окна. Максимальный размер передаваемого блока Ethernet MTU (Maximum Transmission Unit) в 1500 байтов в худшем случае больше защитной полосы. Критический кадр, уже находящийся на передаче, не может быть прерван кадром с более высоким приоритетом. Это подразумевает политика не приоритетного прерывания, т. е. отсутствие поддержки IEEE 802.1Qbu, если шлюзы открыты в то же время. Из-за возможного перекрытия с открытыми окнами других важных очередей, служебный ресурс, во время открытого окна $Q_{P_m}$ для трафика $P_m$ может быть не выделен [8].

Взаимоисключающей и специализированной для каждого класса трафика является услуга TDMA (Time Division Multiple Access), которая отличается от службы в одном узле для критического трафика с $P_m$. Из этого следует то, что повторяется, с фиксированной длиной цикла, временной интервал TDMA для трафика с нижней границей, т.е. гарантированной услугой. Но, как можно предположить, может возникнуть перекрытие, и для трафика $P_m$ не будет выделен временной интервал обслуживания, управляемый GCL (Gate Control List) в TSN.

Необходимо получить длительность $\overline{L_{P_m}}$ временного интервала, для гарантированного обслуживания в каждом открытом окне $Q_{P_m}$ от $P_m$, чтобы получить кривую обслуживания для трафика $P_m$. На рисунке 4 проиллюстрирована связь максимальной защитной полосы перед каждым открытым окном $Q_{P_m}$, которая зависит не только от наихудшего перекрытия критического трафика с более высоким и низким приоритетом.

 

Рисунок 4. Гарантированный временной интервал в открытом окне

 

Первый кадр периода ожидания $P_m$ получает услугу из соответствующего временного интервала что является максимальным временем ожидания $S_{P_m}$, которое в свою очередь связано с наихудшим перекрытием с другим приоритетным трафиком и максимальным размером кадра в $Q_{P_m}$.

Из-за различных ситуаций перекрытия с очередями с более высоким и более низким приоритетом, длина временного интервала $\overline{L_{P_m}}$ гарантированного обслуживания является переменной в разных открытых окнах $Q_{P_m}$, что и отмечено на рисунке 5 как ${\overline{L_{P_m}}}^1$, ${\overline{L_{P_m}}}^2$ и ${\overline{L_{P_m}}}^3$.

Первый кадр периода ожидания $P_m$ получает услугу из соответствующего временного интервала что является максимальным временем ожидания $S_{P_m}$, которое в свою очередь связано с наихудшим перекрытием с другим приоритетным трафиком и максимальным размером кадра в $Q_{P_m}$ [9].

 

Рисунок 5. Гарантированный временной интервал в открытом окне

 

Из-за различных ситуаций перекрытия с очередями с более высоким и более низким приоритетом, длина временного интервала $\overline{L_{P_m}}$ гарантированного обслуживания является переменной в разных открытых окнах $Q_{P_m}$, что и отмечено на рис. 6 как ${\overline{L_{P_m}}}^1$, ${\overline{L_{P_m}}}^2$ и ${\overline{L_{P_m}}}^3$.

 

Рисунок 6. Гарантированные временные интервалы для ${\mathit{P}}_{\mathbf{m}}$

 

Стоит обратить внимание на то, что наименьшим общим кратным LCM (Least Common Multiple) циклов открытия-закрытия $T_{P_m}(1\le m\le n)$ для всех очередей приоритета критического трафика, является GCL выходной порт, перекрывающийся отношением повторяющегося гиперпериода $T_{GCL}$. Для гарантированного временного интервала трафика $P_m$, существует ограничение количества случаев длины $L_{P_m}$, которое обозначается как $N_{P_m}$. Например, $N_{P_m}$ равно 3, когда $T_{P_{m-1}}$= 6 мс, $T_{P_m}$= 2 мс, $T_{P_{m+1}}$= 3 мс и, следовательно, гиперпериод $T_{GCL}$ = 6 на рисунок 6 [10].

Гарантированное обслуживание для $P_m$, трафика теряет периодичность $T_{P_m}$. Чтобы представить взаимное расположение соседнего гарантированного временного интервала, определим относительное смещение ${\sigma }_{P_m}^{j,i}(j\in [i+\mathrm{1,}i+N_{P_m}-1\left]\right)$, которое представляет собой временной интервал между временем начала i-го и j-го гарантированных временных интервалов для $P_m$ трафика, если принять i-й гарантированный временной интервал в качестве эталона. Например, на рисунке 6, ${\sigma }_{P_m}^{\mathrm{2,1}}$ и ${\sigma }_{P_m}^{\mathrm{3,1}}$ соответственно представляют относительные смещения между ${\overline{L_{P_m}}}^1$ и ${\overline{L_{P_m}}}^2$, а также между ${\overline{L_{P_m}}}^1$ и ${\overline{L_{P_m}}}^3$, принимая гарантированное окно обслуживания с длиной ${\overline{L_{P_m}}}^1$ в качестве эталона. Обратите внимание, что ${\sigma }_{P_m}^{j,i}$ равно 0, если j = i.

Теорема 1: возможная кривая обслуживания ${\beta }_{P_m}^i\left(t\right)$ для критического трафика приоритета $P_m$ с учетом гарантированного временного интервала ${\overline{L}}_{P_m}^i$ (i = 1;…; $N_{P_m}$) в качестве эталона определяется формулой (5) и (6):

${\beta }_{P_m}^i\left(t\right)=\sum _{j=i}^{i+N_{P_m}-1}{\beta }_{P_m}^{j,i}\left(t\right)$,

где

${\beta }_{P_m}^{j,i}\left(t\right)={\beta }_{{T_{GCL,\overline{L_{P_m}}}}^j}(t+T_{GCL}-{\overline{L}}_{P_m}^j-S_{P_m}^i-{\sigma }_{P_m}^{j,i})$,

${\beta }_{T,L}$ – классическая кривая обслуживания моделей изменяющегося потока в сочетании с протоколом TDMA [11].

${\beta }_{T,L}\left(t\right)=C*\max (⌊\frac{t}{T}⌋L,t-⌈\frac{t}{T}⌉(T-L\left)\right)$.

Доказательство: принятие гарантированного временного интервала ${\overline{L}}_{P_m}^i$ в качестве эталона означает, что первый кадр периода отставания $P_m$ получит услугу, начиная с временного интервала ${\overline{L}}_{P_m}^i$. Затем отдельно рассматривается $N_{P_m}$ – последовательности периодических гарантированных временных интервалов, которые отдельно повторяются в соответствии с гиперпериодом $T_{GCL}$, чтобы получить кривую обслуживания, например, на рисунке 7.

 

Рисунок 7. Граничный вид обслуживания на основе эталонного теста

 

Обслуживание трафика $P_m$ не может быть гарантировано ни в каком временном интервале $0\le \Delta =t-t_0<S_{P_m}^i+{\sigma }_{P_m}^{j,i}$, тогда для периодической последовательности временных интервалов обслуживания длина равна ${\overline{L_{P_m}}}^j(i\le j\le i+N_{P_m}-1)$. В любом временном интервале $S_{P_m}^i+{\sigma }_{P_m}^{j,i}\le \Delta \le S_{P_m}^i+{\sigma }_{P_m}^{j,i}+{\overline{L}}_{P_m}^j$, можно гарантировать обслуживание $C*(\Delta -S_{P_m}^i-{\sigma }_{P_m}^{j,i})$ [12].

Кроме того, поскольку гарантированный временной интервал ${\overline{L_{P_m}}}^j$ повторяется с $T_{GCL}$, услуга в течение любого временного интервала $S_{P_m}^i+{\sigma }_{P_m}^{j,i}+\theta$.

$T_{GCL}+{\overline{L_{P_m}}}^j\le \left.\Delta \right|<S_{P_m}^i+{\sigma }_{P_m}^{j,i}+(\theta +1)*T_{GCL}(\forall \theta \in N)$

 не может быть гарантирован для $P_m$ – трафика, в то время, как обслуживание $C*(\Delta -(S_{P_m}^i+{\sigma }_{P_m}^{j,i}+(\theta +1)*T_{GCL}\left)\right)$ в любом временном интервале

$\begin{array}{l}{S}_{P_m}^i+{\sigma }_{P_m}^{j,i}+(\theta +1)*T_{GCL}\le \Delta \le \\ \le S_{P_m}^i+{\sigma }_{P_m}^{j,i}+(\theta +1)*T_{GCL}+\overline{L_{P_m}}\end{array}$,

может быть гарантирована для трафика $P_m$. Для последовательности периодических временных интервалов с длиной ${\overline{L_{P_m}}}^j$, кривая обслуживания задается как:

${\beta }_{P_m}^{j,i}\left(t\right)={\beta }_{{T_{GCL,\overline{L_{P_m}}}}^j}(t+T_{GCL}-{\overline{L_{P_m}}}^j-S_{P_m}^i-{\sigma }_{P_m}^{j,i})$,

где ${\beta }_{{T_{GCL,\overline{L_{P_m}}}}^j}\left(t\right)$ – классическая кривая обслуживания TDMA;

$S_{P_m}^i-{\sigma }_{P_m}^{j,i}$– относительное смещение от времени начала t₀ периода до времени начала гарантированного временного интервала ${\overline{L_{P_m}}}^j$ [7].

В качестве эталона из суммы кривых обслуживания каждой периодической последовательности, состоящей из временных интервалов длиной ${\overline{L_{P_m}}}^j(i\le j\le i+N_{P_m}-1)$ как показано, например, на рисунке 6.

Получается возможная кривая обслуживания для трафика $P_m$ с использованием гарантированного временного интервала ${\overline{L_{P_m}}}^i$, что и проиллюстрировано на рисунке 6.

До сих пор были выведены возможные кривые $N_{P_m}$, обслуживания ${\beta }_{P_m}^i\left(t\right)$ (i = 1; … ; $N_{P_m}$) для трафика $P_m$, рассмотренные различными гарантированными временными интервалами в гиперпериоде в качестве эталонов. Тогда кривая обслуживания ${\beta }_{P_m\left(t\right)}$ для трафика $P_m$ является наихудшим случаем из всех возможных кривых обслуживания, то есть нижней огибающей ${\beta }_{P_m}^i\left(t\right)$:

${\beta }_{P_m}\left(t\right)=\underset{1\le i\le N_{P_m}}{\min }\left\{{\beta }_{P_m}^i\right(t\left)\right\}$,

где ${\beta }_{P_m\left(t\right)}^i$ – кривая обслуживания для трафика $P_m$.

Заключение

Что бы рассмотреть проблему анализа граничных задержек в сетях TSN, была построена прикладная модель сети TSN в виде графа и осуществлен детерминированный анализ сети. В данном анализе была представлена модель сети TSN Ethernet на базе теории сетевого исчисления, в которой была произведена оценка наихудшего случая передаваемых в сети задержек и задержек потоков. Для получения суммарной кривой поступления, для потоков, конкурентов на выходном порту, была применена оценка критического трафика.

About the authors

Maria E. Sudareva

Samara National Research University

Author for correspondence.
Email: masha_sudareva@mail.ru

Assistant, Advanced Aerospace Engineering School

Russian Federation, Samara

Vladimir N. Yashin

Samara State Technical University

Email: vlyashin@yandex.ru

Associate Professor of Information Technologies Department, PhD in Technical Science

Russian Federation, Samara

References

Supplementary files