SAS Enterprise Guide 6.1 для врачей: сравнение групп

Обложка


Цитировать

Полный текст

Аннотация

Цель — разработать алгоритм обработки базы данных проспективного нерандомизированного исследования Assessment of Myocardial Ischemic-Reperfusion (AMIRI) — CABG (ClinicalTrials.gov Identifier: NCT03050489) в программном пакете SAS Enterprise Guide 6.1, позволяющий сравнивать различные показатели по группам наблюдения.

Материалы и методы. В проспективное нерандомизированное исследование AMIRI — CABG в ПСПбГМУ им. И.П. Павлова с 2016 по 2019 г. включено 336 пациентов. Создана база данных с результатами клинических, лабораторных и инструментальных исследований. Статистическая обработка данных выполнена с помощью лицензионного программного обеспечения SAS Enterprise Guide 6.1. Независимые группы сравнивали с использованием теста множественных сравнений с поправкой Бонферрони, а также теста Краскела – Уоллиса и Манна – Уитни с поправкой на множественные сравнения.

Результаты. Разработан алгоритм обработки данных проспективного нерандомизированного исследования AMIRI — CABG для сравнения различных показателей по независимым группам наблюдения с применением тестов параметрической и непараметрической статистики. Данный алгоритм может быть использован врачами различных специальностей и научными сотрудниками для обработки результатов научных или клинических исследований.

Заключение. Алгоритм обработки базы данных научного исследования позволит врачам и научным сотрудникам упростить и ускорить анализ результатов исследований. SAS Enterprise Guide 6.1 предоставляет возможности для качественной и быстрой обработки больших массивов данных.

Полный текст

Введение

В предыдущей статье мы рассмотрели, как выполнить в SAS проверку нормальности распределения. Это обязательный шаг в статистической обработке данных. В нашем примере мы взяли для анализа три переменные: TnI1 — уровень тропонина I на 1-е сутки после операций коронарного шунтирования (КШ), TnI2 — уровень тропонина I на 2-е сутки после КШ и возраст. Было сформировано три независимые группы пациентов: 1-я группа — КШ без искусственного кровообращения (ИК), 2-я группа — КШ с ИК, 3-я группа — КШ на параллельном ИК. В ходе обработки данных возникли следующие вопросы: отличается ли возраст пациентов по группам; отличаются ли уровни тропонина I на 1-е и 2-е сутки после операции КШ по группам?

Цель данной работы состояла в написании алгоритма обработки данных проспективного нерандомизированного исследования AMIRI — CABG (ClinicalTrials.gov Identifier: NCT03050489) в программном пакете SAS Enterprise Guide 6.1, позволяющего сравнивать различные показатели по независимым группам наблюдения.

Материалы и методы

В проспективное нерандомизированное исследование AMIRI — CABG в Научно-исследовательском центре сердечно-сосудистой хирургии ПСПбГМУ им. И.П. Павлова с 2016 по 2019 г. включено 336 пациентов с ишемической болезнью сердца, имеющих показания к операции коронарной реваскуляризации. Создана база с клиническими данными, результатами лабораторных и инструментальных исследований. Статистическую обработку базы данных выполняли с помощью лицензионного программного обеспечения SAS Enterprise Guide 6.1.

Результаты и их обсуждение

Перед тем как начать обрабатывать переменные — значение тропонина I на 1-й день после КШ (TnI1), на 2-й день после КШ (TnI2) и возраст (Age) — была осуществлена проверка на нормальность распределения.

Более подробнее, как это сделать в SAS, рассмотрено в предыдущей статье. Переменная Age имеет нормальное распределение, поэтому три независимые группы (группа закодирована в переменной CPBType) по возрасту сравнивали с применением тестов параметрической статистики (t-тест с поправкой Бонферрони). Переменная TnI1 имеет распределение, отличное от нормального, поэтому перед тем, как ее обрабатывать, мы попытались привести ее к нормальному распределению с помощью логарифмирования. Тест Колмогорова – Смирнова показал нормальность распределения для логарифма TnI1 (p > 0,05). Сравнение логарифмированной переменной TnI1 можно выполнять с помощью тестов параметрической статистики, в нашем случае это тест множественных сравнений с поправкой Бонферрони. Сравнение по переменной TnI2 проводили с помощью тестов непараметрической статистики (тест Краскела – Уоллиса и тест Манна – Уитни с поправкой на множественные сравнения).

Следует отметить, что при сравнении более двух групп «классический» критерий Стьюдента применять нельзя: сравнение трех пар между собой даст ошибочный результат. В такой ситуации следует применять тесты множественных сравнений, в нашем случае это может быть t-тест (критерий Стьюдента) с поправкой Бонферрони [2]. К счастью, в SAS уже встроен алгоритм, учитывающий множественные сравнения, и программа может автоматически выбирать правильный метод расчетов. Помимо поправки Бонферрони, существуют еще и другие, но мы ограничимся только одним примером.

Еще раз отметим условия применимости критерия Стьюдента:

1) нормальность распределения;

2) две группы.

В случае более двух групп вводим поправку Бонферрони. Как загрузить файл Excel, мы рассмотрели в предыдущей статье, здесь же приведем сразу необходимый код:

ods graphics on;

Proc UNIVARIATE DATA=WORK.’20_06_2019 work’n normaltest plots;

VAR TnI1 Age;

run;

DATA LG; /* СОЗДАЕМ НОВУЮ ТАБЛИЦУ LG */

SET WORK.’20_06_2019 work’n;

/* КОПИРУЕМ ВСЮ НАШУ ТАБЛИЦУ В LG */

LGTnI1=LOG10(TnI1);

/* ВЫЧИСЛЯЕМ ДЕСЯТИЧНЫЙ ЛОГАРИФМ */

RUN;

Proc UNIVARIATE DATA=LG normaltest plots;

/* ТЕПЕРЬ МЫ РАБОТАЕМ С ТАБЛИЦЕЙ LG, ПРОВЕРИМ НОРМАЛЬНОСТЬ */

VAR LGTnI1;

run;

/* ВЫПОЛНИМ СРАВНЕНИЕ ВОЗРАСТА ПО ТРЕМ НЕЗАВИСИМЫМ ГРУППАМ, ИСПОЛЬЗУЯ Т-ТЕСТ С ПОПРАВКОЙ БОНФЕРРОНИ */

Proc GLM DATA=LG;

class CPBtype; /* ГРУППЫ СРАВНЕНИЯ */

model Age=CPBType; /* ОБОЗНАЧАЕМ, ЧТО СРАВНИВАЕМ ВОЗРАСТ ПО ГРУППАМ */

means CPBType / lines bon;

/*УКАЗЫВАЕМ ПОПРАВКУ BON - BONFERRONI*/

run;

ods graphics off;

Нажимаем кнопку «Выполнить» (рис. 1).

 

Рис. 1. Тест множественных сравнений с поправкой Бонферрони для независимых групп

Fig. 1. Multiple comparisons test with Bonferroni adjustment for independent group

 

Примечание. CPBType — переменная, обозначающая тип КШ. Может принимать значения от 1 до 3 (1 — без ИК, 2 — с ИК, 3 — параллельное ИК).

normaltest — сообщает программе о том, что нужно проверить нормальность.

plots — сообщает программе о необходимости построить графики (можно не указывать, если достаточно числовых данных).

VAR — сообщает программе о том, какие переменные анализируем, здесь можно перечислить большое количество переменных. В нашем случае для наглядности указано только две.

ods graphics on — включаем графический режим, чтобы были красивые графики.

ods graphics off — выключаем графический режим.

Интерпретация результатов. Понять, есть ли отличия, помогают графики (рис. 2). В нашем случае все три группы по возрасту не различались.

 

Рис. 2. Результаты теста множественных сравнений с поправкой Бонферрони, диаграммы размаха. Возраст (Age) указан в годах, медиана отмечена линией, среднее отмечено ромбом, выбросы обозначены точками, группы (CPBType) — цифрами: 1 — без искусственного кровообращения, 2 — с искусственным кровообращением, 3 — на параллельном искусственном кровообращении

Fig. 2. Multiple comparisons test with Bonferroni adjustment results, boxplots. Age, years, median — horizontal line, mean — rhombus, outliers — dots, CPBType-groups: 1 — off-pump, 2 — on-pump, 3 — pump-assisted

 

Диаграммы размаха расположены примерно на одном уровне, что может говорить о статистически незначимых различиях (см. рис. 2).

Из табл. 1 также видно, что различия статистически незначимы (обозначены одной буквой А).

 

Таблица 1 / Table 1

Результаты теста множественных сравнений с поправкой Бонферрони

Multiple comparisons test with Bonferroni adjustment results: table form

Means with the same letter are not significantly different

Bon Grouping

Mean

N

CPBType

A

64.259

27

3

A

   

A

63.578

128

2

A

   

A

63.536

181

1

 

Обращаем также внимание на значение p, в случае отсутствия различий оно больше 0,05 (рис. 3).

 

Рис. 3. Результаты теста множественных сравнений с поправкой Бонферрони, отсутствие различий по трем независимым группам

Fig. 3. Multiple comparisons test with Bonferroni adjustment results: no difference between three independent groups

 

Вывод: пациенты в трех группах сопоставимы по возрасту.

Аналогичным образом интерпретируем результаты множественных сравнений логарифма TnI1.

/* ВЫПОЛНИМ СРАВНЕНИЕ УРОВНЯ ТРОПОНИНА I НА 1 ДЕНЬ ПОСЛЕ АКШ ПО ТРЕМ ГРУППАМ, ИСПОЛЬЗУЯ Т-ТЕСТ С ПОПРАВКОЙ БОНФЕРРОНИ */

Proc GLM DATA=LG;

class CPBtype; /* ГРУППЫ СРАВНЕНИЯ */

model LGTnI1=CPBType;

/* ОБРАБАТЫВАЕМ ЛОГАРИФМ ТРОПОНИНА I */

means CPBType / lines bon;

/*УКАЗЫВАЕМ ПОПРАВКУ BON - BONFERRONI*/

run;

На диаграммах размаха видно, что в 1-й группе (CPBType = 1) уровень тропонина I (логарифм) значительно ниже, чем во 2-й и в 3-й группах (рис. 4). Во 2-й и в 3-й группах различия в повышении тропонина I статистически незначимы.

 

Рис. 4. Результаты теста множественных сравнений с поправкой Бонферрони. Наличие различий по трем группам, логарифм значений тропонина (нг/мл), медиана отмечена линией, среднее — ромбом, выбросы обозначены точками, группы (CPBType) — цифрами: 1 — без искусственного кровообращения, 2 — с искусственным кровообращением, 3 — на параллельном искусственном кровообращении

Fig. 4. Multiple comparisons test with Bonferroni adjustment results. Difference between three groups, troponin logarithm (ng/ml), median — horizontal line, mean — rhombus, outliers — dots, CPBType-groups: 1 — off-pump, 2 — on-pump, 3 — pump-assisted

 

Анализ табл. 2 показывает, что повышение уровня тропонина I в 1-й группе было меньше, чем во 2-й и в 3-й группах, различия статистически значимы. Различия в повышении уровня тропонина I во 2-й и в 3-й группах были статистически незначимы (обозначено одной буквой).

 

Таблица 2 / Table 2

Результаты теста множественных сравнений с поправкой Бонферрони: различия при сравнении трех независимых групп

Multiple comparisons test with Bonferroni adjustment results: difference between independent groups

Means with the same letter are not significantly different

Bon Grouping

Mean

N

CPBType

A

0.5041

118

2

A

 

 

 

A

0.2881

26

3

 

 

 

 

B

–0.2920

164

1

 

Перед тем как начать обрабатывать переменную, содержащую значения тропонина I на 2-й день после КШ (TnI2), была выполнена проверка на нормальность распределения.

Более подробнее, как это сделать в SAS, рассмотрено в ранее вышедшей статье. Переменная TnI2 имеет распределение, отличное от нормального, так как тест Колмогорова – Смирнова показал p = 0,01, то есть p < 0,05, поэтому для сравнения трех групп мы выбрали тест Краскела – Уоллиса.

ods graphics on;

/* ПРОВЕРЯЕМ НОРМАЛЬНОСТЬ ПЕРЕМЕННОЙ TnI2 - содержит значения тропонина I на 2 день после операции АКШ */

Proc UNIVARIATE DATA=WORK.’20_06_2019 work’n normaltest plots;

VAR TnI2;

run;

/* ВЫПОЛНИМ СРАВНЕНИЕ УРОВНЯ ТРОПОНИНА I НА 2 ДЕНЬ ПОСЛЕ АКШ ПО ТРЕМ ГРУППАМ, ИСПОЛЬЗУЯ ТЕСТ КРАСКЕЛА-УОЛЛИСА

В СЛУЧАЕ СРАВНЕНИЯ ДВУХ ГРУПП ПРОГРАММА АВТОМАТИЧЕСКИ ВЫБИРАЕТ ТЕСТ МАННА-УИТНИ */

Proc NPAR1WAY DATA=WORK.’20_06_2019 work’n Wilcoxon DSCF;

/* DSCF – ВКЛЮЧАЕТ ПОПРАВКУ НА МНОЖЕСТВЕННЫЕ СРАВНЕНИЯ */

CLASS CPBType; /* ГРУППЫ СРАВНЕНИЯ */

VAR TnI2; /* МОЖНО УКАЗАТЬ НЕСКОЛЬКО ПЕРЕМЕННЫХ */

run;

ods graphics off;

Нажимаем кнопку «Выполнить» (рис. 5).

 

Рис. 5. Тест Краскела – Уоллиса для трех групп, с попарным сравнением групп. Автоматически вносится поправка на множественные сравнения

Fig. 5. Kruskal-Wallis test with multiple pairwise comparisons with adjustment

 

Примечание. CPBType — переменная, обозначающая тип КШ. Может принимать значения от 1 до 3 (1 — без ИК, 2 — с ИК, 3 — параллельное ИК).

normaltest — сообщает программе о том, что нужно проверить нормальность.

plots — сообщает программе о необходимости построить графики (можно не указывать, если достаточно числовых данных).

VAR — сообщает программе о том, какие переменные мы анализируем, здесь можно перечислить большое количество переменных. В нашем случае для наглядности указано только две.

ods graphics on — включаем графический режим, чтобы были красивые графики.

NPAR1WAY — выполняет тест Краскела – Уоллиса или Манна – Уитни (выбирает подходящий тест автоматически при указании wilcoxon).

DSCF — обеспечивает попарное сравнение групп с поправкой на множественные сравнения.

ods graphics off — выключаем графический режим.

После выполнения программы в первую очередь обращаем внимание на таблицы (табл. 3, 4).

 

Таблица 3 / Table 3

Результаты теста Краскела – Уоллиса

Kruskal-Wallis test

Kruskal-Wallis Test

Chi-Square

20.0

DF

2

Pr > Chi-Square

<.0001

 

Таблица 4 / Table 4

Результаты теста Манна – Уитни при попарном сравнении независимых групп с поправкой на множественные сравнения

Wilcoxon multiple pairwise comparison test for independent groups with adjustment

Pairwise Two-Sided Multiple Comparison Analysis

Dwass, Steel, Critchlow-Fligner Method

Variable: TnI2

CPBType

Wilcoxon Z

DSCF Value

Pr > DSCF

1 vs. 2

–4.3942

6.2143

<.0001

1 vs. 3

–2.1795

3.0823

0.0747

2 vs. 3

0.4372

0.6183

0.9000

 

Самая нижняя строчка табл. 3 говорит о том, что в трех группах обнаружено различие по уровню тропонина I на 2-й день после операции, так как p < 0,0001 (если p > 0,05, то различия статистически не значимы).

В табл. 4 приведены результаты попарного сравнения независимых групп, в колонке CPBType указаны сравниваемые группы, в колонке Pr>DSCF — значимость различий. Если значения в последней колонке менее 0,05, то различия по сравниваемым группам считают статистически значимыми, если более 0,05, то различия статистически незначимы.

Таким образом, было выполнено сравнение трех независимых групп пациентов по трем переменным.

  1. Возраст (нормальное распределение) — использовали t-тест с поправкой Бонферрони.
  2. Уровень тропонина I на 1-й день после операции (распределение, отличное от нормального) — применяли логарифмирование для приведения к нормальному виду с последующим выполнением t-теста с поправкой Бонферрони.
  3. Уровень тропонина I на 2-й день после операции (распределение, отличное от нормального) — сначала использовали тест Краскела – Уоллиса для выявления различий, затем осуществляли попарное сравнение с помощью теста Манна – Уитни (Вилкоксона) с поправкой на множественные сравнения для поиска различающихся пар.

Разработанный алгоритм сравнения переменных представлен таким образом, чтобы врач, никогда не работавший с программным продуктом SAS Enterprise Guide 6.1, мог обработать свою базу данных с целью сравнения независимых групп. Однако следует помнить, что для переменных с нормальным распределением используются тесты параметрической статистики, в случае распределения, отличного от нормального, — методы непараметрической статистики. Во многих случаях «ненормальное» распределение удается привести к нормальному, в нашем случае это было сделано с помощью логарифмирования. К сожалению, логарифмирование не всегда позволяет добиться «нормализации» данных. Существующие методы приведения распределения к нормальному виду не гарантируют достижения результата, в таком случае следует использовать непараметрические методы множественных сравнений (тест Краскела – Уоллиса, тест Манна – Уитни (Вилкоксона) с поправкой на множественные сравнения).

Кроме того, следует обращать внимание на количество групп сравнения и тип групп (зависимые/независимые). В нашем случае переменные сравнивали в трех независимых группах, но алгоритм правильно работает при количестве независимых групп более трех. Помимо поправки Бонферрони существуют и другие, отличающиеся меньшей строгостью. С увеличением количества групп «строгость» поправки Бонферрони значительно возрастает и тест множественных сравнений может «не чувствовать» имеющиеся различия. Оптимально применять поправку Бонферрони до пяти групп [1]. В случаях более пяти групп можно использовать менее строгие тесты, например Тьюки.

Proc GLM DATA=LG;

class CPBtype; /* ГРУППЫ СРАВНЕНИЯ */

model Age=CPBType; /* ОБОЗНАЧАЕМ, ЧТО СРАВНИВАЕМ ВОЗРАСТ ПО ГРУППАМ */

means CPBType / lines tukey; /*УКАЗЫВАЕМ ТЕСТ TUKEY*/

run;

Тест Ньюмена – Кейлса наиболее либеральный [1].

Proc GLM DATA=LG;

class CPBtype; /* ГРУППЫ СРАВНЕНИЯ */

model Age=CPBType; /* ОБОЗНАЧАЕМ, ЧТО СРАВНИВАЕМ ВОЗРАСТ ПО ГРУППАМ */

means CPBType / lines SNK; /*УКАЗЫВАЕМ ТЕСТ НЬЮМЕНА - КЕЙЛСА*/

run;

Более подробно о выборе теста в случае множественных сравнений можно прочитать в специализированной литературе [1]. Следует также отметить, что SAS автоматически проверяет равенство дисперсий и при необходимости вносит корректировку, что существенно упрощает работу с программой.

Алгоритм применяют для переменных, имеющих нормальное распределение и отличное от нормального, и в случае более двух групп. Несмотря на то что тесты Краскела – Уоллиса и Манна – Уитни признаны и используются во всем мире для обработки результатов научных исследований, все же стоит стремиться по возможности к приведению переменных к нормальному виду.

Тест Краскела – Уоллиса можно применять и для анализа нормально распределенных данных, но следует учитывать, что он имеет меньшую мощность, чем дисперсионный анализ [3]. Сообщают, что в случае выборки менее 30 следует применять непараметрические методы, даже если распределение имеет вид нормального [3].

Таким образом, SAS Enterprise Guide 6.1 предоставляет полный набор современных методов обработки данных, необходимых врачу-исследователю.

Выводы

  1. SAS Enterprise Guide 6.1 позволяет выполнять множественные сравнения данных в удобном формате, что делает этот программный пакет интересным для врачей.
  2. Разработанный алгоритм сравнения переменных в трех группах может применяться для обработки различных баз данных научных и клинических исследований при количестве независимых групп более трех. Для сравнения зависимых групп следует использовать другие алгоритмы сравнения.

Дополнительная информация

Финансирование. Работа выполнена в рамках государственного задания по теме «2018. Оценка регенеративного потенциала пациента при операциях на сердце».

Соблюдение этических норм. Выполнение исследования одобрено протоколом локального этического комитета ФГБОУ ВО ПСПбГМУ им. И.П. Павлова.

Конфликт интересов. Авторы заявляют об отсутствии конфликта интересов.

Список сокращений

ИК — искусственное кровообращение; КШ — коронарное шунтирование; TnI1 — переменная, содержащая значения концентрации тропонина I на 1-е сутки после операции; LGTnI1 — логарифм TnI1.

 

×

Об авторах

Николай Сергеевич Буненков

ФГБОУ ВО «Первый Санкт-Петербургский государственный медицинский университет им. акад. И.П. Павлова»

Автор, ответственный за переписку.
Email: bunenkov2006@gmail.com
ORCID iD: 0000-0003-4331-028X

аспирант кафедры факультетской хирургии

Россия, Санкт-Петербург

Гульнара Фазулиевна Буненкова

ФГБОУ ВО «Первый Санкт-Петербургский государственный медицинский университет им. акад. И.П. Павлова»

Email: gulnara533@gmail.com

клинический ординатор кафедры госпитальной терапии, 

Россия, Санкт-Петербург

Владимир Владимирович Комок

ФГБОУ ВО «Первый Санкт-Петербургский государственный медицинский университет им. акад. И.П. Павлова»

Email: vladimir_komok@mail.ru
ORCID iD: 0000-0002-3834-7566
SPIN-код: 3572-5180

канд. мед. наук, кардиохирург отделения кардиохирургии № 2

Россия, Санкт-Петербург

Олег Александрович Гриненко

ФГБОУ ВО «Первый Санкт-Петербургский государственный медицинский университет им. акад. И.П. Павлова»

Email: klinika@spb-gmu.ru

д-р мед. наук, проректор по лечебной работе

Россия, Санкт-Петербург

Александр Сергеевич Немков

ФГБОУ ВО «Первый Санкт-Петербургский государственный медицинский университет им. акад. И.П. Павлова»

Email: nemk_as@mail.ru
ORCID iD: 0000-0002-5152-0001
SPIN-код: 2853-4634

д-р мед. наук, профессор, кардиохирург, руководитель отделения кардиохирургии № 2

Россия, Санкт-Петербург

Список литературы

  1. Гржибовский А.М. Анализ трех и более независимых групп количественных данных // Экология человека. – 2008. – № 3. – C. 50–58. [Grjibovsky AM. Analysis of three and more independent groups of quantitative data. Ecology, human. 2008;(3):50-58. (In Russ.)]
  2. Гржибовский А.М. Выбор статистического критерия для проверки гипотез // Экология человека. – 2008. – № 11. – C. 48–57. [Grjibovski AM. Choosing a statistical test for hypothesis testing. Ecology, human. 2008;(11):48-57. (In Russ.)]
  3. Унгуряну Т.Н., Гржибовский А.М. Сравнение трех и более независимых групп с использованием непараметрического критерия Краскела – Уоллиса в программе Stata // Экология человека. – 2014. – № 6. – C. 55–58. [Unguryanu TN, Grjibovski AM. Analysis of three independent groups using non-parametric Kruskal-Wallis test in Stata software. Ecology, human. 2014;(6):55-58. (In Russ.)]

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
2. Рис. 1. Тест множественных сравнений с поправкой Бонферрони для независимых групп

Скачать (267KB)
3. Рис. 2. Результаты теста множественных сравнений с поправкой Бонферрони, диаграммы размаха. Возраст (Age) указан в годах, медиана отмечена линией, среднее отмечено ромбом, выбросы обозначены точками, группы (CPBType) — цифрами: 1 — без искусственного кровообращения, 2 — с искусственным кровообращением, 3 — на параллельном искусственном кровообращении

Скачать (47KB)
4. Рис. 3. Результаты теста множественных сравнений с поправкой Бонферрони, отсутствие различий по трем независимым группам

Скачать (146KB)
5. Рис. 4. Результаты теста множественных сравнений с поправкой Бонферрони. Наличие различий по трем группам, логарифм значений тропонина (нг/мл), медиана отмечена линией, среднее — ромбом, выбросы обозначены точками, группы (CPBType) — цифрами: 1 — без искусственного кровообращения, 2 — с искусственным кровообращением, 3 — на параллельном искусственном кровообращении

Скачать (43KB)
6. Рис. 5. Тест Краскела – Уоллиса для трех групп, с попарным сравнением групп. Автоматически вносится поправка на множественные сравнения

Скачать (165KB)

© Буненков Н.С., Буненкова Г.Ф., Комок В.В., Гриненко О.А., Немков А.С., 2020

Creative Commons License
Эта статья доступна по лицензии Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.

СМИ зарегистрировано Федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций (Роскомнадзор).
Регистрационный номер и дата принятия решения о регистрации СМИ: серия ПИ № ФС 77 - 74760 от 29.12.2018 г.


Данный сайт использует cookie-файлы

Продолжая использовать наш сайт, вы даете согласие на обработку файлов cookie, которые обеспечивают правильную работу сайта.

О куки-файлах