Assessment of current methods of laboratory diagnosis of bacterial vaginosis

Cover Page


Cite item

Full Text

Abstract

41 women with polycystic ovary syndrome (PCOS) and 15 healthy women of reproductive age were examined to evaluate ovarian aromatase activity. Aromatase activity was determined by the decrease of estradiol level after peroral intake of aromatase inhibitor letrosol. To examine aromatase activity of antral follicle (∆E2) was divided on the blood level of antimullerian hormone (AMH), which is corresponded to the number of antral follicles. Significant variations of aromatase activity of antral follicles in patients with PCOS were determined: in 34.1 % of women it was within physiological ranges, in 48.8 % of women it was decreased and in 17.1 % of women it was increased. Aromatase activity of antral follicles in patients with PCOS correlated with blood levels of estradiol (r = 0.67), estron (r = 0.27), free testosterone(r = 0.43), androstendion (r = 0.34) and body mass index (r = 0.30). Aromatase activity had reverse correlation with number of antral follicles. Athors suggest that the sensitivity of the ovaries to gonadotropinic stimulation is decreased in patients with PCOS and low aromatase activity.

Full Text

Введение Бактериальный вагиноз (БВ) является самым распространенным заболеванием среди женщин репродуктивного возраста. По данным разных авторов, он встречается у 8-30 % женщин в промышленно развитых странах [5, 12]. Интерес к БВ существенно возрос в последние два десятилетия, когда в целом ряде исследований было показано, что БВ ассоциирован с нарушениями репродуктивного здоровья женщины, с такими неблагоприятными исходами беременности, как амнионит, хориоамнионит, преждевременные роды [7, 9, 13, 18]. При БВ нормальная микрофлора влагалища, представленная преимущественно лактобациллами, замещается высокими концентрациями анаэробных и факультативно-аэробных микроорганизмов, что сопровождается появлением ряда клинических признаков и симптомов заболевания. Впервые БВ как клинический синдром был описан Amsel [2], а его критерии были положены в основу существующей по настоящее время клинической диагностики бактериального вагиноза. Несколько позднее были предложены лабораторные методы диагностики БВ: метод Spiegel [21], метод Hallen [8], метод Nugent [17], метод Ison-Hay [10], которые более объективно устанавливают возникающее нарушение баланса микрофлоры с помощью микроскопической оценки отделяемого влагалища с описанием присутствующих морфотипов бактерий и их соотношения. В настоящее время в международной клинической практике методы Amsel и Nugent рассматриваются как «золотой стандарт» диагностики бактериального вагиноза, в то время как в нашей стране перечисленные методы практически не используются или используются в сокращенном виде, например, метод Amsel. Так, из 4 критериев диагностики по методу Amsel в рутинной практике используются, в лучшем случае, 2: наличие у пациентки выделений из влагалища со специфическим аминным запахом и наличие «ключевых» клеток в отделяемом влагалища при проведении микроскопического исследования. В то же время для диагностики БВ появляются тесты на основе ПЦР в реальном времени, позволяющие выявлять маркерные для БВ микроорганизмы с их количественной оценкой. В частности, был разработан тест «Амплисенс Флороценоз-Бактериальный вагиноз» на основе количественной ПЦР в реальном времени, позволяющий определять соотношение ДНК лактобацилл, составляющих основу нормальной микрофлоры, и ДНК двух ключевых для БВ микроорганизмов - Gardnerella vaginalis и Atopobium vaginae. В связи с этим крайне необходима клиниколабораторная оценка как существующих, так и вновь разрабатываемых методов диагностики БВ. Целью нашего исследования явилась клинико-лабораторная оценка методов лабораторной диагностики бактериального вагиноза с определением параметров чувствительности и специфичности. Материалы и методы В исследовании были использованы образцы клинического материала (отделяемое влагалища, полученное стерильным ватным зондом) 222 женщин репродуктивного возраста, обратившихся к гинекологу с жалобами на дискомфорт и выделения из половых путей. В работе были использованы следующие методы диагностики БВ: критерии Amsel, метод микроскопического исследования отделяемого влагалища с окраской по Граму и подсчетом баллов по методике Nugent и метод ПЦР в режиме реального времени, на основе которого был разработан тест «Амплисенс Флороценоз-Бактериальный вагиноз» (Флороценоз-БВ) (ФБУН ЦНИИ эпидемиологии Роспотребнадзора, Москва). При диагностике по методу Amsel оценивалось наличие специфических выделений из влагалища, результаты аминового теста (появление аминного запаха при добавлении к вагинальному отделяемому 10 % KОН), значения рН отделяемого (более 4,5), наличие «ключевых» клеток при микроскопическом исследовании. В соответствии с общепринятой классификацией, диагноз БВ устанавливался при наличии 3 из 4 критериев; также оценивали каждый критерий в отдельности. При исследовании биологического материала с помощью микроскопического исследования препарата, окрашенного по Граму, проводился подсчет баллов от 0 до 10 согласно методике Nugent [17]. Количество баллов подсчитывали на основе присутствия и количества в поле зрения светового микроскопа каждого из трех основных морфотипов бактерий (табл. 1): крупные грамположительные палочки (морфотип Lactobacilli); небольшие грамотрицательные или грамвариабельные палочки (морфотип Gardnerella и Bacteroides); изогнутые грамотрицательные или грамвариабельные палочки (морфотип Mobilluncus). Интерпретация результатов проводилась на основании средних значений количества бактерий в поле зрения светового микроскопа при анализе не менее пяти полей зрения. Интерпретация проводилась в соответствии с оригинальной методикой при суммировании баллов всех трех морфотипов: 0-3 балла - соответствовало физиологическому микробиоценозу влагалища, 4-6 баллов - соответствовало промежуточному типу микробиоценоза, 7-10 баллов соответствовало БВ [17]. Для исследования методом ПЦР образцы отделяемого влагалища, полученные ватным тампоном, помещали в среду ТСМ (ФБУН ЦНИИ эпидемиологии Роспотребнадзора) (0,5 мл). Очистку и экстракцию ДНК проводили с использованием набора реагентов «ДНК- сорб- АМ» (ФБУН ЦНИИ эпидемиологии Роспотребнадзора). Образцы очищенной ДНК исследовались с использованием набора реагентов «Флороценоз-БВ» согласно инструкции производителя. Тест «Флороценоз-БВ» направлен на выявление ДНК Lactobacillus spp - всех основных видов лактобацилл, ДНК G. vaginalis, ДНК A. vaginae с количественной оценкой и общее количество ДНК различных бактерий, колонизирующих слизистую влагалища. Реакция проводится в одной пробирке в мультиплексном формате. После проведения ПЦР с помощью программного обеспечения оценивали соотношения ДНК выявленных микроорганизмов и получали заключения для каждой пациентки согласно методическим рекомендациям производителя о соответствии или несоответствии полученных значений бактериальному вагинозу. В качестве референсных - истинно положительных и истинно отрицательных - считали результаты, полученные методом Nugent. Параметры чувствительности, специфичности и 95 % доверительный интервал оценивали с помощью статистического пакета XL STAT Version 2013.2.04. Результаты исследования На основании микроскопического исследования отделяемого влагалища по Nugent пациентки были разделены на 2 группы: 66 пациенток с БВ и 156 пациенток без БВ. По критериям Amsel диагноз бактериального вагиноза был установлен 64 пациенткам из 66, для всех 156 пациенток с отрицательным результатом по данным Nugent результат в соответствии с критериями Amsel также не соответствовал БВ. Дискордантный результат получен лишь в 2 случаях (по Nugent установлен бактериальный вагиноз, по Amsel бактериальный вагиноз отсутствовал). При сравнении критериев Nugent и Amsel установлено, что специфичность метода Amsel (наличие 3 критериев из 4) составляет 100 %, а чувствительность - 97 %. Была проведена оценка диагностических характеристик каждого критерия Amsel по отношению к методу Nugent. Один из параметров - это наличие жидких пенистых выделений из половых путей. У всех пациенток, включенных в данное исследование, присутствовали жалобы на наличие выделений из влагалища. У 66 пациенток с БВ имели место обильные выделения из влагалища со специфическим аминным запахом. Из 156 пациенток без БВ у 22 также были выделения, характерные для БВ. Таким образом, чувствительность оцениваемого параметра составила 100 %, специфичность - 86 %. Аминовый тест - это тест на наличие или отсутствие неприятного «рыбного» запаха при добавлении 10 % раствора КОН к вагинальным выделениям пациентки. При наличии запаха тест считается положительным. Оценка аминового теста по отношению к критериям Nugent показала, что у 65 из 66 пациенток с БВ аминовый тест был положительный, у всех 156 пациенток без БВ - отрицательный. Чувствительность аминового теста составила 98,5 %, специфичность 100 %. Один из характерных признаков БВ - это изменение рН среды влагалища и смещение его в сторону больших значений (рН > 4,5). Проведенные нами исследования показали, что чувствительность этого признака для диагностики БВ составила 97 % (64 из 66), а специфичность только 76 %. Наиболее специфичным для БВ является наличие в биологическом материале «ключевых» клеток - клеток вагинального эпителия с адгезированным на их поверхности большим количеством бактерий, преимущественно G. vaginalis и A. vaginae. Результаты нашего микроскопического исследования показали, что у женщин с нормальным состоянием микрофлоры влагалища «ключевые» клетки не были обнаружены ни в одном случае. При БВ «ключевые» клетки были обнаружены у 51 пациентки. Таким образом, чувствительность этого критерия составила 77 %, специфичность - 100 %. При исследовании биологического материала с помощью теста «Флороценоз-БВ» преобладание концентрации ДНК G. vaginalis и/или A. vaginae над концентрацией ДНК лактобацилл было выявлено у 62 пациенток. У 3 пациенток результаты интерпретировались как «дисбиоз неуточненной этиологии» - состояние, когда общая концентрация ДНК бактерий превышает как концентрацию ДНК Lactobacillus spp., так и концентрацию ДНК G. vaginalis и/или A. vaginae. Для того чтобы установить видовую принадлежность преобладающих бактерий, было проведено определение нуклеотидной последовательности 16S рибосомальной ДНК этих образцов и последующий филогенетический анализ. Результаты показали, что преобладающая бактериальная масса принадлежит G. vaginalis, однако в области праймеров к G. vaginalis, используемых в наборе «Флороценоз-БВ», присутствовали нуклеотидные замены, в результате чего снижалась эффективность амплификации, а это, в свою очередь, искажало реальную концентрацию ДНК G. vaginalis. Внесенные изменения в структуру праймеров позволили добиться восстановления эффективности амплификации. Таким образом, соотношения концентраций ДНК G. vaginalis, A. vaginae и лактобацилл соответствовали бактериальному вагинозу у 65 из 66 пациенток. Только у одной пациентки из 66 с диагнозом БВ результаты ПЦР свидетельствовали о преобладании ДНК лактобацилл. У 5 из 156 женщин без БВ тест «Флороценоз-БВ» выявил преобладающую над лактобациллами концентрацию ДНК G. vaginalis. В итоге чувствительность теста «Флороценоз-БВ» по отношению к методу Nugent составила 98,5 %, специфичность - 97 %. При использовании ПЦР в качественном формате ДНК G. vaginalis была обнаружена в 79 пробах из 156, полученных от женщин без бактериального вагиноза. С учетом этого, специфичность качественного выявления G. vaginalis для диагностики БВ составила всего 52 %. При исследовании клинического материала на наличие ДНК A. vaginae было установлено, что частота выявления этих микроорганизмов при БВ составила 80,3 %, в отсутствие БВ - 8,3 %. Таким образом, чувствительность и специфичность данного маркера составили 80 % и 92 %, соответственно. Результаты оценки диагностических характеристик представлены в таблице 2. Обсуждение результатов Самой распространенной жалобой при обращении женщин к врачу акушеру-гинекологу являются жалобы на выделения из половых путей. Причинами патологических выделений могут быть бактериальный вагиноз, вагинит (кандидозный, трихомонадный, аэробный), реже - цервицит. В нашем исследовании среди женщин, обратившихся в женскую консультацию с жалобами на выделения из влагалища, в 28,8 % случаев был установлен диагноз бактериального вагиноза. Для установления диагноза бактериального вагиноза нами были использованы критерии Amsel, Nugent и тест на основе ПЦР в реальном времени «Флороценоз-БВ». В качестве «золотого стандарта» использовали микроскопический метод с оценкой соотношения морфотипов по Nugent, относительно которого и оценивали диагностические характеристики остальных подходов. Наши результаты показали, что при использовании критериев Amsel в предложенной автором интерпретации (3 положительных критерия из предложенных 4) чувствительность и специфичность этого теста достаточно высоки (97 % и 100 %, соответственно). По данным литературы, чувствительность метода Amsel составляет 70-83 %, а специфичность 90-94 %, что несколько ниже, чем в нашем исследовании [16]. Это может объясняться тем, что основным критерием включения было наличие вагинальных выделений, и мы имели дело с клинически выраженными случаями БВ. При использовании отдельных критериев страдает либо чувствительность, либо специфичность. Лишь использование аминового теста в данной работе показало чувствительность 97 % при 100 % специфичности, хотя зарубежные исследования отмечают чувствительность этого критерия, равную 44-79 %, а специфичность - 94-97 % [1, 20]. Очевидно, что аминовый тест - довольно субъективный критерий, зависящий от особенностей обоняния каждого врача и плохо поддающийся стандартизации. Поскольку в нашем исследовании аминовый тест проводился одним и тем же врачом, мы не можем оценить, до какой степени чувствительность и специфичность этого критерия может варьировать. Определение рН вагинального секрета является очень простой процедурой, обладающей высокой чувствительностью, однако специфичность этого теста не достаточно высока и зависит от целого ряда факторов: фазы менструального цикла, наличия кокко-бациллярной микрофлоры, трихомонадной инфекции, присутствия эякулята и др. Несмотря на то что клинический метод диагностики БВ, предложенный Amsel, является простым и достаточно чувствительным, в нашей стране он не применяется в полной мере. Но и в зарубежной клинической практике им пользуются только 16 % опрошенных клиницистов [15]. Даже процедуру определения рН проводят не более 30 % врачей [3]. К этому следует добавить, что критерии Amsel обладают крайне низкой чувствительностью среди пациентов с бессимптомными формами нарушения баланса микрофлоры влагалища [19]. В качестве референсного метода мы выбрали метод Nugent, который рассматривается как «золотой стандарт» диагностики БВ. Однако в нашей стране, так же как и метод Amsel, он используется крайне редко и в небольшом числе лабораторий. Несмотря на рекомендации, и в зарубежных странах только 20 % гинекологов используют этот тест для диагностики БВ [15]. В настоящее время на основе результатов молекулярно-генетических исследований показано, что спектр микроорганизмов, ассоциированных с бактериальным вагинозом, насчитывает несколько сотен филотипов, подавляющее большинство из которых не культивируется на питательных средах [14]. Теоретически методы, основанные на амплификации нуклеиновых кислот, позволяют выявлять любые микроорганизмы и определять их количество, но спорными являются целесообразность и возможность интерпретации результатов исследований при определении всего многообразия микроорганизмов. Результаты исследования показали, что с БВ были строго ассоциированы: Gardnerella, Atopobium, Megasphaera, Eggerthella, Aerococcus, Leptotrichia/Sneathia, Prevotella и Papillibacter [14]. Ранее были идентифицированы высокоспецифичные для БВ микроорганизмы, получившие название BVAB-1,2,3 (Bacterial Vaginosis Associated Bacteria) [6]. На основании полученных данных были предприняты попытки связать выявление этих микроорганизмов с наличием и отсутствием заболевания. Например, чувствительность определения BVAB-1 или BVAB-3 для диагностики БВ составила 40,7 %, а специфичность 97,8 %. При одновременном обнаружении BVAB-1 и BVAB-3 чувствительность понижалась до 33,3 %, а специфичность, наоборот, достигла 100 %. Чувствительность выявления BVAB-2 составила 88,9 %, а специфичность была равна 95,7 %. При обнаружении BVAB-2 или Megasphaera spp. чувствительность составила 100 %, специфичность - 91,3 %. При сочетании выявления Megasphaera spp. и BVAB-1, BVAB-2, или BVAB-3 чувствительность тестирования была 99 %, а специфичность 89 % [6]. В другом, более позднем исследовании наличие двух маркерных микроорганизмов BVAB-2 или Megasphaera spp. имело чувствительность и специфичность 92,7 % и 88,5 %, соответственно [4]. Единственным микроорганизмом, который обнаруживался практически во всех случаях БВ в различных исследованиях, была G. vaginalis, однако специфичность качественного выявления этого микроорганизма довольно низкая - 45 % [6], что подтвердилось и в нашем исследовании. Бактериальный вагиноз характеризуется не только качественными, но и, главным образом, количественными изменениями микрофлоры влагалища. В связи с этим, чтобы повысить специфичность исследования, был предложен подход количественного определения микроорганизмов. Исследование показало, что при выявлении ДНК G. vaginalis и A. vaginae в концентрациях более 108 и 109 соответственно диагностическая чувствительность составила 95 %, а специфичность - 99 % [15]. Раннее было показано, что эти 2 микроорганизма в сумме составляют более 90 % бактериальной массы при БВ [22]. Используемый в нашем исследовании тест «Флороценоз-БВ» позволяет не только определить концентрацию ДНК G. vaginalis и A. vaginae, но и в качестве дополнительных маркеров - концентрацию ДНК лактобацилл и общую бактериальную массу, что позволяет стандартизировать исследование и выявлять случаи нарушения баланса микрофлоры влагалища, не связанные с БВ. Диагностическая чувствительность данного теста составила 98,5 %, а специфичность 97 %, что сопоставимо с методикой Menard [15]. Использование количественной оценки лактобацилл, G. vaginalis, A. vaginae, а главное - соотношения концентраций данных микроорганизмов в тесте «Амплисенс Флороценоз-Бактериальный вагиноз» дают высокую чувствительность этого теста для диагностики БВ, а объективность и высокая диагностическая производительность при использовании молекулярных методов дают хорошую возможность для стандартизированного и рационального подхода к диагностике БВ.
×

About the authors

Kira Valentinovna Shalepo

D. O. Ott Research Institute of Obstetrics and Gynecology, RAMS

Senior Researcher, Laboratory of Microbiology, PhD

Veronika Victorovna Nazarova

D. O. Ott Research Institute of Obstetrics and Gynecology, RAMS

Bacteriologist, Laboratory of Microbiology

Yulia Nicolaevna Menukhova

City Clinic 32, Women’s Consultation N 14

Head of Women’s Consultation N 14

Tatiana Andreevna Rumyantseva

Central Research Institute for Epidemiology of Russia

Researcher, Laboratory for Molecular Diagnostics and Epidemiology of Reproductive Tract Infections

Alexander Evgenievich Guschin

Central Research Institute for Epidemiology of Russia

Head of the Laboratory for Molecular Diagnostics and Epidemiology of Reproductive Tract Infections, PhD

Alevtina Mikhaylovna Savicheva

D. O. Ott Research Institute of Obstetrics and Gynecology, RAMS

Email: savitcheva@mail.ru
MD, Professor, Head of the Laboratory of Microbiology

References

  1. Домейка М., Савичева А. М., Соколовский Е., Баллард Р., Унемо М. Руководство по лабораторной диагностике инфекций урогенитального тракта. СПб.: Н-Л; 2012.
  2. Amsel R., Totten P. A., Spiegel C. A., Chen K. C., Eschenbach D., Holmes K. K. Nonspecific vaginitis. Diagnostic criteria and microbial and epidemiologic associations. Am. J. Med. 1983; 74 (1): 14-22.
  3. Anderson M. R., Karasz A. How do clinicians manage vaginal complaints? An internet survey. Med. Gen. Med. 2005; 7 (2): 61.
  4. Cartwright C. P., Lembke B. D., Ramachandran K., Body B. A., Nye M. B., Rivers C. A., Schwebke J. R. Development and validation of a semiquantitative, multitarget PCR assay for diagnosis of bacterial vaginosis. J. Clin. Microbiol. 2012; 50 (7): 2321-9.
  5. Danielsson D., Teigen P. K., Moi H. The genital econiche: focus on microbiota and bacterial vaginosis. Annals of the New York Academy of Sciences. Ann. N. Y. Acad. Sci. 2011; 1230: 48-58.
  6. Fredricks D. N., Fiedler T. L., Thomas K. K., Oakley B. B., Marrazzo J. M. Targeted PCR for detection of vaginal bacteria associated with bacterial vaginosis. J. Clin. Microbiol. 2007; 45 (10): 3270-6.
  7. Haggerty C. L., Hillier S. L., Bass D. S., Ness R. B. Bacterial vaginosis and anaerobic bacteria are associated with endometritis. Clin. Infect. Dis. 2004; 39 (7): 990-5.
  8. Hallen A., Påhlson C., Forsum U. Bacterial vaginosis in women attending STD clinic: diagnostic criteria and prevalence of Mobiluncus spp. Genitourin. Med. 1987; 63 (6): 386-9.
  9. Hillier S. L., Nugent R. P., Eschenbach D. A., Krohn M. A., GibbS R. S., Martin D. H., Cotch M. F., Edelman R., Pastorek J. G. 2nd, Rao A. Association between, bacterial vaginosis and preterm delivery of a low-birth-weight infant. The Vaginal Infections and Prematurity Study Group. N. Engl. J. Med. 1995; 333 (26): 1737-42.
  10. Ison C. A., Hay P. E. Validation of a simplified grading of Gram stained vaginal smears for use in genitourinary medicine clinics. Sex. Transm. Infect. 2002; 78 (6): 413-5.
  11. Klebanoff S. J., Hillier S. L., Eschenbach D. A., Walterdorph A. M. Control of the microbial flora of the vagina by H202-generating lactobacilli J. Infect. Dis. 1991; 164 (1): 94-100.
  12. Koumans E. H., Sternberg M., Bruce C., McQuillan G., Kendrick J., Sutton M., Markowitz L. E. The prevalence of bacterial vaginosis in the United States, 2001-2004; associations with symptoms, sexual behaviors, and reproductive health. Sex. Transm. Dis. 2007; 34 (11): 864-9.
  13. Leitich H., Kiss H. Asymptomatic bacterial vaginosis and intermediate flora as risk factors for adverse pregnancy outcome. Best. Pract. Res. Clin. Obstet. Gynaecol. 2007; 21 (3): 375-390.
  14. Ling Z., Kong J., Liu F., Zhu H., Chen X., Wang Y., Li L., Nelson K. E., Xia Y., Xiang C. Molecular analysis of the diversity of vaginal microbiota associated with bacterial vaginosis. BMC Genomics. 2010; 11: 488.
  15. Menard J. P., Fenollar F., Henry M., Bretelle F., Raoult D. Molecular quantification of Gardnerella vaginalis and Atopobium vaginae loads to predict bacterial vaginosis. Clin. Infect. Dis. 2008; 47: 33-43.
  16. Mittal V., Jain A., Pradeep Y. Development of modified diagnostic criteria for bacterial vaginosis at peripheral health centres in developing countries. J. Infect. Dev. Ctries. 2012; (5): 373-7.
  17. Nugent R. P., Krohn M. A., Hillier S. L. Reliability of diagnosing bacterial vaginosis is improved by a standardized method of gram stain interpretation. J. Clin. Microbiol. 1991; 29 (2): 297-301.
  18. Oakeshott P., Hay P., Hay S., Steinke F., Rink E., Kerry S. Association between bacterial vaginosis or chlamydial infection and miscarriage before 16 weeks' gestation: prospective community based cohort study. BMJ 2002; 325 (7376): 1334.
  19. Sha B. E., Chen H. Y., Wang Q. J., Zariffard M. R., Cohen M. H., Spear G. T. Utility of Amsel criteria, Nugent score, and quantitative PCR for Gardnerella vaginalis, Mycoplasma hominis and Lactobacillus spp. for diagnosis of bacterial vaginosis in human immunodeficiency virus-infected women. J. Clin. Microbiol. 2005; 43 (9): 4607-4612.
  20. Shipitsyna E., Roos A., Datsu R., Hallen A., Fredlund H., Jensen J. S., Engstrand L., Unemo M. Composition of the vaginal microbiota in women of reproductive age - sensitive and specific molecular diagnosis of bacterial vaginosis is possible? PLoS One. 2013;8 (4): e60670.
  21. Spiegel C. A., Amsel R., Holmes К. K. Diagnosis of bacterial vaginosis by direct gram stain of vaginal fluid. J. Clin. Microbiol. 1983; 18 (1): 170-7.
  22. Swidsinski A., Mendling W., Loening-Bauske V., Ladhoff A., Swidsinski S., Hale L. P., Lochs H. Adherent biofilms in bacterial vaginosis. Obstet. Gynecol. 2005;106 (5):1013-23.

Supplementary files

Supplementary Files
Action
1. JATS XML

Copyright (c) 2014 Shalepo K.V., Nazarova V.V., Menukhova Y.N., Rumyantseva T.A., Guschin A.E., Savicheva A.M.

Creative Commons License
This work is licensed under a Creative Commons Attribution 4.0 International License.

СМИ зарегистрировано Федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций (Роскомнадзор).
Регистрационный номер и дата принятия решения о регистрации СМИ: серия ПИ № ФС 77 - 66759 от 08.08.2016 г. 
СМИ зарегистрировано Федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций (Роскомнадзор).
Регистрационный номер и дата принятия решения о регистрации СМИ: серия Эл № 77 - 6389
от 15.07.2002 г.



This website uses cookies

You consent to our cookies if you continue to use our website.

About Cookies