ESTIMATION OF SCALABILITY OF SDN CONTROLLER`S LATENCY ON PARALLEL COMPUTING SYSTEM

Full Text

Внедрение в эксплуатацию сетей, реализующих идеологию разделения уровня управления трафиком от уровня передачи данных, получившей название программно-конфигурируемые сети (ПКС), порождает вопросы соблюдения оператором установленных норм функционирования IP-сетей [1-4]. Существует ряд работ [5-9], показывающих наличие зависимости параметров производительности сети в целом от производительности единого центра управления сетью, называемого в рамках данной концепции ПКС-контроллером и представляющего собой программно-аппаратную платформу на базе сервера общего назначения, использующего центральные процессоры (ЦП) архитектуры x86. В архитектуру современных ЦП положена идея параллельных вычислений: процессоры снабжаются несколькими вычислительными ядрами, а каждое ядро может обеспечить параллелизм на уровнях инструкций, обработки данных и потоков [10]. В случае необходимости увеличения производительности аппаратной платформы эксплуатируемого ПКС-контроллера, системный администратор может активировать технологию распараллеливания на уровне потоков, которая в случае процессоров Intel именуется Hyper-Threading, либо осуществить замену ЦП на модель с большим числом вычислительных ядер. Однако перед принятием таким мер необходимо убедиться в том, что эффект будет положительный для конкретного приложения [11-12]. В рамках данной статьи авторами рассматривается задача по выявлению закономерностей, позволяющих оценить масштабирование задержки ПКС-контроллера на параллельной вычислительной системе. Метрики и закономерности параллельных вычислений Для оценки работы программы на параллельной вычислительной системе часто используют такие метрики параллелизма, как ускорение и эффективность. Рассмотрим каждую из этих метрик. Ускорение - это отношение времени, затрачиваемого на выполнение задачи однопроцессорной системой ко времени выполнения этой же задачи - процессорной системой. Обозначим через количество процессоров в вычислительной системе; - объем вычислительных операций;- скорость вычислений одним процессором; - время выполнения задачи на процессорах. Тогда время выполнения вычислений на однопроцессорной системе может быть определено по формуле На практике ни одну из задач невозможно распараллелить полностью, поскольку существуют фрагменты задачи, выполнить которые можно только последовательно, например, ввод/вывод данных. Следовательно, любая задача, выполняемая на многопроцессорной системе, имеет последовательную и параллельную части. Пусть - время выполнения последовательной части решаемой задачи, тогда - время выполнения параллельно части. Очевидно, что . Тогда время выполнения вычислений на - процессорной системе можно определить: Тогда, согласно данному выше определению, ускорение определяется как (2) Подставляя и в , получим Выражение является математической записью закона [13-14], полученного Дж. Амдалом, известным архитектором компьютерных систем. Отметим, что данный закон имеет ряд ограничений. Считается, что объем решаемой задачи фиксирован (), а выигрыш от дополнительных процессоров заключается в снижении времени вычисления. В законе Амдала не учитывается работа с памятью и издержки коммуникации между процессорами, а также он применим для равночастотных ЦП одинаковой архитектуры [13-14]. В 2008 г. М. Хилл и М. Марти в работе [15] предложили математическую запись закона Амдала для многоядерных процессоров и собственную методику классификации конфигурации ЦП. Они ввели понятие «основной ядерный эквивалент» (Base Core Equivalent - далее BCE), в состав которого входят все ресурсы процессора, которые можно отнести собственно к ядрам (общие для ядер ресурсы в состав BCE не включаются). В зависимости от способа группировки BCE на чипе, можно выделить процессоры симметричной (гомогенной), асимметричной (гетерогенной) и динамической конфигурации. Наиболее популярные серверные процессоры Intel Xeon можно отнести к процессорам с симметричной конфигурацией, при которой каждое ядро состоит из одного BCE [16]. Рассмотрим математическую запись закона Амдала для многоядерных симметричных процессоров. Пусть - общее число BCE, из которых могут быть скомпонованы ядра; - число BCE, составляющих ядро ЦП; - число ядер ЦП; - условная производительность одного BCE; - доли последовательной и параллельной части программы. Закон Амдала в записи Хилла-Марти имеет следующий вид: Стоит сказать, что ограничения закона Амдала распространяются и на его запись, предложенную Хиллом и Марти: в математическом выражении не учитывается работа с памятью и издержки коммуникаций между ядрами, а также разница тактовых частот ядер ЦП. Для определения линейной доли кода программы преобразуется к виду Расчет линейной доли кода имеет смысл осуществлять при , так как в случае использования одноядерного процессора значение ускорения . При использовании многоядерных процессоров симметричной конфигурации с ядрами, состоящими из одного BCE каждое, коэффициент . Для учета в записи закона Амдала технологии Hyper-Threading добавим коэффициент, описывающий ускорение от распараллеливания на уровне потоков, рассчитываемый как отношение времени выполнения задачи на ЦП без Hyper-Threading ко времени выполнения этой же задачи на ЦП с Hyper-Threading при равном числе ядер: Подставляя в , получим запись закона Амдала для многоядерных процессоров с Hyper-Threading: Исходя из такой записи закона Амдала будем в дальнейшем понимать под линейной долей кода ту часть программы, которую можно выполнить параллельно на физических ядрах ЦП, не учитывая распараллеливание потоков. Тогда технология Hyper-Threading рассматривается как способ оптимизации выполнения кода на одном ядре ЦП. Помимо ускорения, для оценки качества параллелизма весьма полезной метрикой является эффективность использования ядер процессора, определяемая как отношение ускорения к числу ядер: B идеальном случае ускорение зависит только от числа ядер , то есть зависимость имеет линейный вид. Эффективность же должна стремиться к единице , однако в случае использования Hyper-Threading может и превысить это значение. Однако данные показатели качества параллельных вычислений в некоторой степени противоречат друг другу, поскольку с увеличением числа ядер ЦП можно получить прирост ускорения при, как правило, снижении эффективности. Методика эксперимента и обоснование применимости закона Амдала Одной из ключевых метрик производительности ПКС-контроллера, описанной в проекте Рекомендации Инженерного совета Internet (IETF) [17], является задержка (latency). Задержка есть время, необходимое контроллеру на обработку одного асинхронного сообщения, отправляемого для установки нового потока на коммутаторе. Единицами измерения являются миллисекунды. Чем меньше задержка, тем выше производительность контроллера [17]. При экспериментальном исследовании задержки для повышения точности получаемых результатов рекомендуется повторять каждый тест 10 раз, после чего высчитывать среднее из полученных значений [17]. На данный момент существует весьма ограниченное число утилит для тестирования производительности ПКС-контроллеров, находящихся в свободном доступе [18]. Для экспериментального исследования масштабирования задержки ПКС-контроллера была выбрана утилита Cbench, поскольку её возможностей достаточно для требуемой задачи. Принцип действия Cbench заключается в эмуляции OpenFlow-коммутаторов, генерирующих асинхронные OpenFlow-сообщений packet_in. Данный тип сообщений, отправляется коммутатором в качестве запроса на установку нового правила в таблицу потоков. Cbench позволяет задавать длительность одного теста, количество тестов за один запуск, количество оконечных узлов, подключенных к коммутатору и количество коммутаторов в сети. Для измерения задержки контроллера предназначен режим latency, при котором каждый коммутатор отправляет контроллеру сообщение packet_in и дожидается ответа flow_mod на отправленный запрос, прежде чем отправить следующий. Таким образом, режим latency позволяет определить время обработки одного сообщения, или задержку. Исходя из условий применимости закона Амдала, можно предположить, что данный закон может использоваться для теоретической оценки максимально достижимого ускорения задержки ПКС-контроллера, поскольку при использовании утилиты Cbench в режиме latency объем задачи зафиксирован: и включает в себя последовательность действий контроллера по обработке единичного запроса типа packet_in от OpenFlow-коммутатора. Сценарий тестирования и описание тестового стенда С использованием утилиты Cbench был разработан следующий сценарий тестирования задержки ПКС-контроллера. Cbench запускался в режиме latency, при этом в ходе теста количество эмулируемых оконечных узлов и коммутаторов оставалось постоянным и равнялось 105 и 16 шт. соответственно. Таблица 1. Аппаратная конфигурация тестового стенда Компонент ЦП Объем ОЗУ, Гб Операционная система ПКС-контроллер Intel Xeon CPU E3-1241 v3 3,5 ГГц (4 ядра, 8 потоков) 16 Ubuntu Server 14.04 Сервер-нагрузчик Intel Core i5 4590 3,3 ГГц (4 ядра) 32 Windows 7 Professional x64 Длительность одного теста составляла 10 с, осуществлялось 10 запусков утилиты и выполнялось 10 тестов за каждый запуск. Переменным параметром являлось число активных ядер ЦП. Аппаратная конфигурация тестового стенда приведена в таблице 1. Рис. 1. Логическая схема экспериментального стенда В роли ПКС-контроллера выступал OpenDaylight версии Beryllium-SR1. Контроллером использовалась версия Java 8.0 (платформа Java SE 1.8.0_101-b13). Нагрузочная утилита Cbench запускалась в виртуальной машине Oracle Virtual Box 5.0.20 в среде операционной системы Ubuntu 14.04. Виртуальной машине были выделены 4 ядра процессора и 24 Гб оперативной памяти сервера-нагрузчика. Оба сервера соединены каналом с пропускной способностью 1 Гбит/с. Для соблюдения условий выполнения закона Амдала технологию динамического повышения тактовой частоты ЦП Intel TurboBoost следует отключить в BIOS. Схема тестового стенда приведена на рис. 1. Анализ результатов эксперимента По результатам проведенного эксперимента были получены средние численные значения задержки обработки одного packet_in-запроса от каждого из 16 OpenFlow-коммутаторов. На основании значений задержки были рассчитаны ускорение, доля линейного кода OpenDaylight и эффективность. Результаты приведены в таблице 2 и на рис. 2-4. Как видно из рис. 2, увеличение числа ядер ЦП приводит к снижению задержки, кроме того, активация технологии Hyper-threading позволяет дополнительно снизить значение задержки ПКС-контроллера. Характер зависимости ускорения от числа ядер, в соответствии с рис. 3, далек от идеальной линейной функции, что обусловлено наличием весьма существенной доли нераспараллеливаемого кода. Рис. 2. Масштабирование задержки OpenDaylight с ростом числа ядер ЦП Рис. 3. Ускорение OpenDaylight с ростом числа ядер ЦП Рис. 4. Эффективность использования процессора контроллером OpenDaylight Кроме того, как видно из таблицы 2, линейная доля кода OpenDaylight не является величиной постоянной, и при масштабировании числа ядер центрального процессора наблюдается ее рост. Объяснить данное явление можно возникновением накладных расходов [19], порождаемых как самой операционных системой, так и процессами взаимодействия между ядрами, синхронизацией параллельных потоков [20]. Если же говорить об эффективности, то она, как видно из рис. 4, снижается с ростом числа ядер, однако активация технологии Hyper-Threading позволяет повысить эффективность использования ЦП. Таблица 2. Результаты эксперимента Количество ядер ЦП, шт. 1 2 3 4 Использование Hyper-Threading - + - + - + - + Задержка, мс 0,089 0,079 0,0685 0,064 0,064 0,055 0,062 0,053 Ускорение, раз 1 1,130 1,303 1,393 1,398 1,608 1,4385 1,675 Доля линейного кода 1 0,535 0,573 0,5935 Эффективность 1 1,1302 0,6515 0,6965 0,4661 0,5361 0,3596 0,4187 Выводы Проведенное на примере OpenDaylight исследование позволило показать применимость закона Амдала для описания масштабирования на многоядерной и многопоточной аппаратной платформе такой метрики производительности ПКС-контроллера, как задержка. Выявлено, что рост ускорения ограничивается долей линейного кода, которая к тому же имеет тенденцию к росту. Также интерес представляет изменение характера зависимости доли линейного кода от числа ядер при увеличении количества управляемых ПКС-контроллером OpenFlow-коммутаторов. Таким образом, для прогнозирования масштабирования задержки при увеличении числа ядер центрального процессора необходимо ввести гипотезу о характере функциональной зависимости между линейной долей кода и количеством ядер ЦП, то есть решить задачу аппроксимации с помощью аналитического выражения. Это потребует изменения конфигурации тестового стенда, а именно смены ЦП на модель с большим числом ядер, что и будет являться направлением дальнейших исследований. Кроме того, исследование показало, что активация технологии распараллеливания потоков Hyper-Threading способна снизить задержку контроллера и повысить эффективность использования имеющихся аппаратных мощностей. Результаты исследования могут быть полезны сетевым инженерам и администраторам программно-конфигурируемых сетей, а также разработчикам программного обеспечения для контроллера OpenDaylight.

About the authors

Viacheslav Grigorevich Kartashevskii

Povolzhskiy State University of Telecommunications and Informatics

Email: kartash@psati.ru

Sergey Vladimirovich Galich

Volgograd State University

Email: sergeygali4@gmail.com

Evgenii Sergeevich Semenov

Volgograd State University

Email: essemenov@mail.ru

Nina Ivanovna Kirianova

Volgograd State University

Email: volsu.tks@mail.ru

References

Supplementary files