THE METHODOLOGY AND RESULTS OF THE INTEGRATED ASSESSMENT OF QUALITY OF SERVICE IN THE CELLULAR NETWORKS IN TOMSK

Abstract

In this paper we perform the integrated assessment of quality of service in GSM 900/1800, UMTS and LTE mobile networks deployed in Tomsk and analyze the coverage quality of the networks. We also present the results of the measurements of key quality indicators for the mobile telecommunications operators in Tomsk and draw conclusions about the actual quality of the cellular services in Tomsk. In this study we used drive-tests to perform the measurements and obtain the results. The measuring equipment used in this study is described in detail. Some aspects of the measurement procedure are outlined. The results of this study can be used both by Tomsk residents to make an informed choice of mobile operator and by mobile operators to revise their network development plans.

Full Text

Сотовая связь в современном мире имеет, безусловно, исключительно большое значение. Без преувеличения можно сказать, что практически каждый житель РФ сегодня является абонентом той или иной сети мобильной связи. По данным Минсвязи РФ на конец 2015 г. телефонная плотность (проникновение) подвижной радиотелефонной связи на 100 чел. составляет 193,8 абонентских устройств [1]. Одним из важнейших направлений развития отрасли связи является обеспечение удовлетворенности потребителей качеством услуг связи и возможности осознанного выбора поставщиков услуг. Для реализации данного направления необходимо обеспечить решение задач управления качеством связи [2]. Исследования качества сотовой связи с использованием драйв-тестов нашли широкое применение в России и за рубежом: в Белоруссии [3], Англии [4], Германии [5] и других странах. Такие исследования проводятся как производителями оборудования и операторами связи, так и местными администрациями связи. С целью получения объективной оценки качества услуг сотовой связи в Томске специалистами ФГУП РЧЦ ЦФО в период с 08.12.2015 г. по 25.01.2016 г. проведены измерения по методике [6]. Результаты проведенных измерений обобщены и находятся в свободном доступе в Internet [7]. Следует отметить, что столь масштабные работы по оценке качества сотовой связи проводились на территории Томска впервые, и пока отсутствует подробный анализ полученных данных. Между тем, проведение такого анализа целесообразно для получения сведений о фактическом качестве связи, которые могут быть полезны населению при выборе оператора сотовой связи, а также самим операторам в целях корректировки планов развития сетей. Отдельные материалы, содержащие анализ полученных результатов, опубликованы в [8-9], тогда как описание установок, использовавшихся при проведении измерений, принципов их работы, использованных измерительных методов осталось должным образом не раскрытым. Цель статьи - комплексная оценка качества услуг сотовой связи в г. Томске. Методика проведения измерений Измерения с использованием мобильных измерительных комплексов (драйв-тесты) проводились в пределах административной границы города Томска в рабочие дни в интервале с 8 до 22 часов по местному времени. В ходе тестирования были охвачены все основные транспортные магистрали города, производились также заезды во внутренние территории микрорайонов и дворовых территорий. Общий пробег измерительного комплекса составил более 4700 км. Согласно проекту «Концепции управления качеством связи в Российской Федерации», подобные драйв-тесты являются наиболее объективным способом оценки и выполняются по единым утвержденным методикам с применением технических испытательных средств - тестовых комплексов. Функционально они являются специализированным абонентским оборудованием, имеющим наиболее полную функциональность и поддерживающим все реализованные на сети связи технологии, режимы работ, диапазоны частот [2]. Драйв-тесты проводятся квалифицированным персоналом, а методики испытаний предписывают вполне определенный порядок их проведения при большом количестве тестовых проб для достижения требуемой достоверности результатов. Этим обеспечивается возможность получения оценок, наиболее полно отражающих потенциально возможное качество услуг связи, предоставляемое оператором. Драйв-тесты являются весьма затратным по стоимости и времени способом оценки качества, что ограничивает возможности их регулярного или массового использования [2]. Приведем описание состава и конфигурации измерительного оборудования. Оборудование тестирования (мониторинга) параметров услуг подвижной радиотелефонной связи (далее - РКОТ) представляет собой радиоизмерительный комплекс с централизованной системой хранения и обработки результатов тестирования, предназначенный для проведения оценочных испытаний и последующей обработки для вычисления значений показателей качества услуг связи в сетях подвижной радиотелефонной связи стандартов GSM, UMTS, LTE. Схема прохождения тестового трафика при проведении оценочных измерений при тестировании голосовых услуг и услуг передачи данных представлена на рис. 1. Рис. 1. Схема прохождения тестового трафика РКОТ включает следующие компоненты: - возимое радиоконтрольное оборудование: устанавливаемые в автомобиле удаленные модули тестирования (далее ВУМТ) или модули RTU (Remote Test Unit) - для постоянного мониторинга качества предоставляемых услуг; - носимое радиоконтрольное оборудование: переносимые удаленные модули тестирования (далее НУМТ) или модули TPR (Test Mobile System Pocket Remote) для проведения контроля показателей качества голосовых сервисов и сервисов передачи данных внутри зданий и в пешеходных зонах; - локальный модуль для настройки и контроля тестовых устройств ВУМТ; - локальный модуль для настройки и контроля тестовых устройств НУМТ; - серверное оборудование. Рассмотрим подробнее состав вышеназванных компонентов РКОТ. Возимое радиоконтрольное оборудование РКОТ включает модули для тестирования ВУМТ (5 шт.) Состав отдельного ВУМТ: - голосовой модем Ericsson F3607 EU (2 шт.); - модем для передачи данных Sierra Wireless MC7710 (1 шт.); - GPS антенна (1 шт.); - LAN роутер, 5 портов (1шт.); - сканер сетей сотовой связи PCTel SeeGull (1 шт.); - сканер сетей R&S TSMW (1шт.); - адаптер питания 110\220 В (4 шт.); - блок бесперебойного питания (1 шт.); - внешняя GPS антенна (5 шт.); - внешняя антенна PCTel Z3438 (6 шт.); - делитель мощности MTS Power Divider LT4-544P-A21\4 (4 шт.); - комплект батарей 11200 мА/ч; - специальное программное обеспечение РКОТ. Носимое радиоконтрольное оборудование РКОТ включает: - модули тестирования НУМТ Sony Xperia V LT25i - для проведения контроля показателей качества голосовых сервисов и сервисов передачи данных внутри зданий и в пешеходных зонах. - управляющий планшет TEMS Pocket Premium Samsung Note 10 LTE - для локальной настройки и управления модулями тестирования TPR. Отметим, что все тестовые модули поддерживают технологии GSM, GPRS, EDGE, UMTS, HSPA, HSPA+, LTE. Серверное оборудование включает в себя: - сервер аппаратного обеспечения бенчмар-кинга и тестирования (мониторинга) параметров услуг подвижной связи, а также хранения и постобработки данных. - сервер для тестирования параметров передачи речи, а также услуг передачи данных. На территории г. Томска в настоящее время действуют сети четырех операторов сотовой связи: ПАО «ВымпелКом» (далее - Beeline), ПАО «Мегафон» (далее - Megafon), ПАО «МТС» (далее - MTS), ООО «Т2-Мобайл» (далее - Tele2). При оценке качества связи в сетях этих операторов оценивалось как качество покрытия (по уровню принимаемого абонентским терминалом сигнала от базовой станции), так и ряд специфических параметров качества, определенных в [6]. Результаты измерений Данные о качестве покрытия в сетях связи стандартов GSM 900/1800 (см. таблицу 1) и UMTS (см. таблицу 2) приведены по каждому действующему на территории г. Томска оператору сотовой связи. Качество покрытия в сетях стандарта GSM определялось по уровню RSSI (Received Signal Strength Indicator), в сетях стандарта UMTS - по уровню RSCP (Received Signal Code Power). Отметим, что согласно [10] значение RSSI плохо коррелирует с качеством связи и может служить лишь для его приблизительной оценки. В таблице 3 приведены данные о качестве покрытия в сетях связи стандарта LTE только по двум операторам связи, на момент проведения измерений имевших введенные в эксплуатацию на территории г. Томска сети стандарта LTE. Для Megafon оценка проводилась совместно с базовыми станциями ООО «Скартел» (бренд «Йота»). Она представляется справедливой, поскольку в настоящее время «Йота» является виртуальным оператором (MVNO) на сети Megafon. Для оценки качества покрытия в сетях LTE операторов MTS и Megafon проводились измерения параметра RSRP (Reference Signal Received Power). Использованные в таблицах 1-3 названия оценочных категорий качества покрытия выступают лишь в качестве обобщенных наименований и служат исключительно для удобства ссылки на них и поэтому приводятся в кавычках. Графические данные о покрытии для стандартов GSM 900/1800, UMTS и LTE размещены на сайте [7]. Примеры таких данных для сетей Megafon и MTS стандарта LTE приведены на рис. 2. В таблицах 4-6 представлены данные оценки специфических параметров качества, определенных в методике [6]. Указанная методика дает подробные инструкции для определения параметров качества связи, поэтому целесообразно описать лишь некоторые ключевые параметры, приведенные в таблице 4. В этой таблице приведены значения следующих параметров: 1. Доля неуспешных попыток установления голосового соединения (Voice Service Non-Accessibility, VSNA) определяется как , (1) где Q - общее число неуспешных попыток установления голосового соединения, N - общее число тестовых голосовых соединений. Успешной считалась попытка установления голосового соединения в случае, когда передающий терминал фиксирует сигнал контроля посылки вызова, а приемный терминал - сигнал вызова. Передающий терминал может получить сигнал «занято» или сигнал ответа может отсутствовать из-за проблем в сети (даже когда приемный терминал зарегистрирован в сети и не занят). В этом случае попытка рассматривалась как неуспешная. 2. Доля обрывов голосовых соединений (Voice service cut-off ratio, VSCR) определяется как , (2) где R - число соединений, закончившихся не по инициативе тестового терминала, N - общее число успешно установленных голосовых соединений. а) б) Рис. 2. Графическое отображение данных о качестве покрытия в сетях связи: а) Megafon; б) MTS стандарта LTE Таблица 1. Данные о качестве покрытия в сетях связи стандартов GSM 900/1800 в г. Томске № п/п Оценочная категория Уровень RSSI, дБм Доля в покрытии оператора по территории, % Beeline Megafon MTS Tele2 1 «Хорошо» -70 и более 99,49 99,82 99,64 98,9 2 «Норма» [-81; -70) 0,50 0,18 0,35 1,04 3 «Неуверенно» [-85; -81) 0,01 0 0 0,04 4 «Плохо» [-95; -85) 0 0 0,01 0,02 5 «Неудовлетворительно» [-110; -95) 0 0 0 0 6 «Отсутствует» менее -110 0 0 0 0 Таблица 2. Данные о качестве покрытия в сетях связи стандарта UMTS в г. Томске № п/п Оценочная категория Уровень RSCP, дБм Доля в покрытии оператора по территории, % Beeline Megafon MTS Tele2 1 «Хорошо» -60 и более 44,6 42,09 36,06 51,48 2 «Норма» [-70; -60) 31,43 30,63 37,68 26,03 3 «Неуверенно» [-80; -70) 17,14 20,99 20,68 17,55 4 «Плохо» [-90; -80) 4,62 5,35 4,24 4,08 5 «Неудовлетворительно» [-105; -90) 2,04 0,89 1,23 0,8 6 «Отсутствует» менее -105 0,18 0,06 0,11 0,06 Таблица 3. Данные о качестве покрытия в сетях связи стандарта LTE в г. Томске № п/п Оценочная категория Уровень RSRP, дБм Доля в покрытии оператора по территории, % Beeline Megafon MTS Tele2 1 «Норма» [-60; -40) - 1,54 0,01 - 2 «Неуверенно» [-80; -60) - 46,24 16,7 - 3 «Плохо» [-100; -80) - 42,37 68,8 - 4 «Неудовлетворительно» [-120; -100) - 9,5 12,5 - 5 «Отсутствует» Менее -120 - 0,35 1,99 - Таблица 4. Показатели качества услуг подвижной радиотелефонной связи в части голосового соединения № п/п Параметр качества Требование к граничным значениям Оператор Beeline Megafon MTS Tele2 1 Доля неуспешных попыток установления голосового соединения (Voice service non-accessibility), % не более 5 0,3 0,4 0,4 0,3 2 Доля обрывов голосовых соединений (Voice service cut-off ratio), % не более 5 0,4 0,7 1,7 0,1 3 Средняя разборчивость речи на соединение (Speech quality on call basis (MOS POLQA)) не менее 2,6 4,1 4,1 4,0 3,9 4 Доля голосовых соединений с низкой разборчивостью речи (Negative MOS samples ratio, MOS POLQA < 2,6), % - 0,5 1,4 1,2 0,5 Таблица 5. Показатели качества услуг подвижной связи в части передачи коротких текстовых сообщений № п/п Параметр качества Оператор Beeline Megafon MTS Tele2 1 Доля недоставленных SMS сообщений, % 0,1 0,1 0,6 0,0 2 Среднее время доставки SMS сообщений, с 3,0 3,6 3,5 3,5 Таблица 6. Показатели качества услуг связи по передаче данных (за исключением голосовой информации) № п/п Параметр качества Требование к граничным значениям Оператор Beeline Megafon MTS Tele2 1 Доля неуспешного TCP/IP соединения с сервером (HTTP IP-Service Access Failure Ratio), % не более 6 0,7 1,4 0,7 0,3 2 Доля неуспешных сессий по протоколу HTTP (HTTP Session Failure Ratio), % - 0,8 1,5 0,8 0,3 3 Среднее значение скорости передачи данных к абоненту (HTTP DL Mean User Data Rate), кб/с не менее 80 5372,8 10347,4 10000,9 7982,3 4 Продолжительность успешной сессии (HTTP Session Time), мс - 11,66 9,54 8,54 10,85 Таблица 7. Справочная информация № п/п Параметр качества Оператор Beeline Megafon MTS Tele2 1 Общее число тестовых голосовых соединений 7 878 7 870 7 834 7 859 2 Общее число голосовых последовательностей в оцениваемых соединениях (POLQA) 148 451 138 380 145 811 148 454 3 Число голосовых соединений с низкой разборчивостью (Negative MOS samples Count, MOS POLQA < 2,6) 738 1 875 1 800 756 4 Общее число отправленных SMS-сообщений 1 474 1 490 1 443 1 424 5 Общее число попыток соединений с сервером передачи данных HTTP (загрузка файлов) 1 592 2 568 2 247 1 828 6 Общее число тестовых сессий по протоколу HTTP (Web-browsing) 3 129 4 978 4 347 3 636 3. Средняя разборчивость речи на соединение (Voice Speech Quality on Call basis (MOS POLQA) отражает качество речи в установленном голосовом соединении для каждого тестового терминала в обоих направлениях. Является средней оценкой воспринимаемой абонентами разборчивости передаваемых тестовых речевых последовательностей. Для оценки качества голосовых соединений (разборчивости речи) в проведенных измерениях использовалась модель POLQA (Perceptual Objective Listening Quality Assessment), описанная рекомендацией МСЭ P.863. Данная модель используется для оценки качества речи с использованием автоматизированных методов анализа (без участия экспертов). Результат представляется в виде оценки по шкале от 1 («плохо») до 5 («отлично») как это принято для субъективной оценки MOS (Mean Opinion Score). Этот показатель оценивался без учета голосовых соединений по сетям LTE. 4. Доля голосовых соединений с низкой разборчивостью речи (Negative MOS samples ratio, NMSR) определяется как , (3) где M - число принятых тестовых речевых последовательностей с оценкой разборчивости речи менее 2,6 по модели POLQA, N - общее число тестовых речевых последовательностей. Параметры, приведенные в таблице 6, измерялись суммарно по сетям всех стандартов (GSM, UMTS, LTE - при наличии), принадлежащих одному и тому же оператору. В таблице 7 приведены справочные данные об объеме проведенных измерений. Выводы 1. На данный момент обеспечено 100% покрытие территории Томска сетями сотовой связи второго поколения (стандартов GSM 900/1800) четырех операторов сотовой связи. Большая часть территории, покрытой этими сетями, может быть отнесена к категориям уровня сигнала «хорошо» и «норма»: 99,99% у Beeline, 100% у Megafon, 99,99% у MTS, 99,94% у Tele2. Уровень принимаемого сигнала в этих сетях практически одинаков у всех представленных операторов на всей исследованной территории. 2. Покрытие территории г. Томска сетями третьего поколения UMTS в настоящее время обеспечивается сетями связи четырех операторов мобильной связи. Покрытие сетями стандарта UMTS в целом на территории г. Томска обеспечено: на 99,82% у Beeline, 99,94% у Megafon, 99,89% у MTS, 99,94 у Tele2. Уровень принимаемого сигнала в этих сетях, однако, существенно разнится по районам Томска и операторам. Распределение уровня сигнала неравномерное. Имеются проблемные участки с уровнем сигнала ниже категории «неуверенно»: 6,84% у Beeline, 6,3% у Megafon, 5,58% у MTS, 4,94% у Tele2. Эти участки определены, нанесены на карту г. Томска, с которой можно ознакомиться в Internet [7]. 3. Практически на всей территории г. Томска обеспечено покрытие сетями стандарта LTE: 99,65% территории для Megafon и 98,01% территории для MTS. Большая часть покрытия может быть отнесена к оценочным категориям «неуверенно» и «плохо»: 88,61% территории для Megafon и 85,5% территории для MTS. Доли оценочных категорий «отлично», «хорошо» и «норма» крайне незначительны у обоих операторов: 1,54% территории для Megafon и 0,01% территории для MTS. 4. Средняя разборчивость речи на соединение у всех операторов не ниже граничного значения (2,6), практически не различается по операторам и оценивается по модели POLQA как «хорошая». Значения параметров «Доля неуспешных попыток установления голосового соединения» и «Доля обрывов голосовых соединений» также не превышают граничных значений ни у одного из операторов. 5. Наибольшая доля недоставленных SMS-сообщений у MTS (0,6%), наименьшая у Tele2 (0,0%). Среднее время доставки SMS-сообщений примерно одинаково у всех операторов. 6. Параметр «Среднее значение скорости передачи данных к абоненту» у операторов Megafon и MTS существенно (в 1,5-2 раза) выше, чем у Beeline и Tele2, что можно объяснить наличием у Megafon и MTS введенных в эксплуатацию сетей связи четвертого поколения (LTE). 7. Наличием сетей стандарта LTE, вероятно, можно объяснить и сравнительно высокие значения параметров «Доля неуспешного TCP/IP соединения с сервером» и «доля неуспешных сессий по протоколу HTTP» у операторов Megafon и MTS, так как качество покрытия сетей стандарта LTE остается низким [7]. 8. Карты покрытия сотовой связи, полученные в ходе данного исследования, могут быть использованы абонентами для осознанного выбора поставщика услуг связи. Каждый житель г. Томска получил возможность сопоставить места своего преимущественного пребывания в течение суток с картами покрытия и выбрать оператора сотовой связи, используя данные объективного контроля. Заключение Проведение подобных исследований представляется полезным с практической точки зрения: публикация результатов объективного контроля повышает информированность потребителей о качестве услуг связи, способствует добросовестной конкуренции поставщиков услуг связи и, в конечном итоге, служит важным фактором развития инфраструктуры связи. Планируется продолжение исследований качества сотовой связи на территории отдельных населенных пунктов Томской области, а также точечная оценка качества сотовой связи в учебных заведениях г. Томска.