К ВОПРОСУ О КОРРЕКТНОСТИ ИСПОЛЬЗОВАНИИ СТАТИСТИЧЕСКИХ КРИТЕРИЕВ В ЭКСПЕРИМЕНТАЛЬНЫХ ИССЛЕДОВАНИЯХ В ФАРМАКОЛОГИИ

Полный текст

В настоящее время можно наблюдать довольно упрощенный уровень представления результатов, что связано с некорректным использованием статистических методов. Это затрудняет сравнение результатов, полученных различными авторами, а также результатов, полученных разными методами, что приводит к искаженным и ошибочным выводам исследований.

Таким образом, можно констатировать наличие насущной проблемы в корректности применения современных статистических методов и стандартизации представления результатов, дающей возможность проведения сравнительных обзоров в области экспериментальной фармакологии.

Наиболее распространенными неточностями при использовании статистической обработки данных можно считать следующие:

1. Малое количество особей в группе.
2. Некорректное использование статистических критериев.
3. Формальное указание статистических критериев без количественных показателей. Например, в случае использования однофакторного дисперсионного анализа и последующего апостериорного теста следует указывать не только значение уровня значимости «р», полученного в результате post-hoc-критерия, но и само значение F-критерия (например F _(2,35) = 9.1, p =0.01, n = 12).
4. Редкое использование критериев согласия. Перед непосредственным проведением сравнительного анализа необходимо установить принадлежность данных определенному распределению.
5. Пренебрежение описательной статистикой: мерой центральной тенденции (среднее), мерой рассеяния (стандартное отклонение).
6. Не репрезентативность представления данных.

Из-за подобных неточностей или некорректного использования статистических методов изначально актуальные результаты могут потерять свою правильность. Также иногда это приводит к невозможности сравнения результатов. Таким образом, актуальным представляется создание кратких рекомендаций по применению разных методов использования статистики.

Расчет размера выборки

В подавляющем большинстве случаев стандартные исследования в сфере фармакологии направлены на нахождение различий между контрольными и экспериментальными группами, выявление токсичной дозы и взаимосвязи между двумя признаками. В зависимости от типа данных используют те или иные статистические критерии.

Для начала необходимо отметить, что при планировании эксперимента важно заранее иметь представление, какие именно статистические тесты будут использованы. Здесь важную роль играют чувствительность (мощность критерия), которая зависит от уровня значимости α (в стандартном случае равен 0.05), размер эффекта, деленный на стандартное отклонение (параметр нецентральности), и объем выборки [1].

Для достижения нужного объема выборки, достаточного для оптимальной чувствительности критерия, используют ряд формул. Например, формула для расчета размера выборки для сравнения двух групп имеет вид:

    $n=\frac{2S{D}^2{(Z_{{\displaystyle \frac{\alpha }{2}}}+Z_{\beta })}^2}{d^2}$

где SD – стандартное отклонение,  – $Z_{\frac{\alpha }{2}}$-оценка для значения, соответствующего $\alpha /2$ ,  – $Z_{\beta }$-оценка для значения, соответствующего  (вероятность ошибки II рода, стандартно равна 0.2), d – размер эффекта. Величины SD и d являются эмпирическими, их находят из пилотного эксперимента либо из предыдущих исследований, однако такая возможность имеется не всегда. В случае невозможности нахождения эмпирических переменных для нахождения количества животных в группе также используют так называемый «метод уравнения ресурсов» («resource equation method») [2]. Предполагается, что данный расчет используется для последующего применения дисперсионного анализа. Этот метод опирается на то, что число степеней свободы, достаточное для достижения предела погрешности статистической модели, должно находиться в диапазоне от 10 до 20. Значение из этого диапазона должно получаться путем вычисления разности между общим количеством животных и общим количеством групп. Например, при наличии 4 групп по 5 животных в каждом получится 5*4-4 = 16, то есть наличие 5 особей в группе достаточно для дальнейшего анализа. Данный метод является достаточно грубым и не рекомендуется для регулярного пользования. Использовать его надлежит только в случае невозможности расчета по стандартным формулам, подобным указанной выше. Следует помнить, что данный расчет предполагает большие размеры эффекта [3].

            Автоматический расчет выборок доступен в некоторых пакетах программ, как, например, G Power.

Проверка массива данных на соответствие нормальному распределению

Начальным этапом анализа данных следует считать проверку массива данных на принадлежность определенному виду распределения. Обычно осуществляется проверка на нормальность, что впоследствии сужает круг используемых критериев.

Оценить, принадлежат ли данные нормальному распределению, возможно рядом способов.
            Визуально такую задачу можно решить графическим методом, построив частотное распределение, график вероятности-вероятности (P-P график), график квантиль-квантиль (Q-Q график) и рядом других способов. Такие методы не подразумевают использование статистического теста [4].

Самым мощным критерием проверки на нормальность считается W-критерий Шапиро-Уилка [5]. В случае если уровень критерия значимости более 0.05, то эти распределения совпадают, что дает право использовать параметрические методы статистики, которые являются более строгими относительно аналогичных непараметрических. Одной из его особенностей является возможность использования для малых выборок (формально – 3–4 точки, но настоятельно рекомендуется брать больше), но при этом он эффективен и для больших.

Также во многих пакетах программ предлагается использование критерия Колмогорова-Смирнова – менее мощного, чем критерий Шапиро-Уилка [6]. Он рекомендуется для анализа исключительно больших выборок. Нет точного описания, насколько большой должна выборка для этого, но в некоторых источниках можно найти информацию, что требуется выборка более 15 точек.

Менее популярными считаются тесты Андерсона-Дарлинга (Anderson-Darling test), Д'агостино-Пирсона (D'Agostino-Pearson test) и другие. Первый тест основан на тесте Колмогорова-Смирнова, более чувствительно подчеркивая отклонения к концам распределений. Тест Д'Агостино-Пирсона проверяет нулевое предположение о том, что распределение данных симметрично, и проверяет нулевое предположение, что эксцесс равен нулю. Однако, перечисленные тесты являются менее мощными и также не могу быть использованы при маленьких выборках, что зачастую важно для экспериментальной фармакологии.

Анализ парных наблюдений

Часто в экспериментальной фармакологии используются сравнения двух групп, например группы без воздействия, так называемая контрольная группа, и группа с введением препарата (экспериментальная группа). В таких случаях статистический анализ можно проводить по двум сценариям: анализ парных наблюдений и анализ независимых наблюдений.

В первом случае, например, при введении подопытным животным препарата в течение длительного времени и измерения неких показателей в начале и в конце эксперимента у одних и тех же особей, следует применять парный t-тест (если данные соответствуют нормальному распределению) или его непараметрический аналог – критерий Вилкоксона, либо критерий знаков (если выборка очень мала или данные не соответствуют нормальному распределению).

При анализе непарных наблюдений можно использовать непарный t-критерий: при небольших выборках он ссылается к t-распределению, однако при больших выборках (от 30 точек) это распределение стремится к нормальному. Стоит отметить, что параметрические критерии сильно чувствительны к выбросам: значительно выбивающиеся из общей массы значения могут сильно повлиять на результат анализа. При отклонении гипотезы о нормальном распределении для сравнения двух независимых выборок следует использовать непараметрический аналог t-теста – U-критерий Манна-Уитни.
            В случае использования параметрических критериев также не стоит забывать об условии равенства дисперсий. Данную проверку можно выполнить с помощью F-теста Фишера. В некоторых пакетах программ он выполняется автоматически при использовании параметрических тестов.

Множественное сравнение

В случае, когда требуется сравнить более чем 2 группы, следует применять дисперсионный анализ. Если данные соответствуют нормальному распределению, то обращаются к однофакторному либо двухфакторному/многофакторному ANOVA. Авторы напоминают, что дисперсионный анализ не дает знаний о конкретных различиях между группами – его результаты лишь дают сведения о том, принадлежат ли выборки к одной генеральной совокупности. Для определения наличия статистически значимых изменений используют апостериорные тесты (post hoc-критерии).

Поправка Бонферрони – достаточно консервативный метод, к которому в настоящее время относятся с осторожностью. Это строгий критерий, который минимизирует вероятность допустить ошибку I рода, однако при большом количестве групп может допустить ошибку II рода.

Метод Холма-Бонферрони также имеет большую мощность, чем поправка Бонферрони. Он также решает проблему падения мощности поправки Бонферрони при возрастании количества групп.

Метод Шидака (Сидака), подобно перечисленным выше методикам, способствует предотвращению ошибки I рода путем коррекции p value [7]. Является более предпочтительным, чем поправка Бонферрони.

Критерий Тьюки так же, как и поправки Бонферрони, является модификацией критерия Стьюдента, однако считается более либеральным методом, проводящим сравнения средних. Активно используется в настоящее время. Работать с этим критерием необходимо, когда размеры выборок совпадают или очень близки.

Критерий Ньюмена-Кейлса – более мощный метод, сравнивающий средние значения аналогично критерию Тьюки, однако он в некоторой мере пренебрегает предотвращением ошибки I рода [8]. В отличие от критерия Тьюки, он не предусматривает расчет доверительных интервалов. Авторы не рекомендуют использование этого метода, в обратном случае необходимо тщательное обоснование причины его использования в статистической обработке экспериментальных данных.

Критерий Даннета используется для сравнения среднего значения экспериментальных групп со средним значением контрольной группы [9].

            Следует напомнить, что все вышеупомянутые критерии требуют равенства дисперсий в анализируемых группах.

            В случае отрицательного теста на нормальность вместо дисперсионного анализа следует пользоваться его непараметрическим аналогом, а именно критерием Краскела-Уоллиса. Для множественных сравнений в данном случае также существует перечень критериев.

            Для непараметрического дисперсионного анализа с повторными измерениями используют критерий Фридмана.

Основополагающий метод работы с ненормально распределенными данными – критерий Данна – считается основным непараметрическим тестом для множественных сравнений. Его используют в том числе и для неравных выборок. Так как непараметрические тесты оперируют сравнением рангов, некоторые параметрические анализы легко преобразуют в непараметрические: например, используют варианты критериев Ньюмена-Кейлса и Даннета для выборок одинакового объема.

Описательная статистика и представление данных

            В настоящее время можно констатировать пренебрежение описательной статистикой: при описании результатов нередко не приводят сведения о мерах центральной тенденции и изменчивости либо представляют их некорректно. Хотя графическое представление данных является исчерпывающим, во многом полезно указывать и численные данные. К тому же, для наглядности результатов также следует указывать доверительный интервал или размер эффекта.

            Авторы напоминают, что при графической визуализации данных необходимо придерживаться некоторых правил.

            В случаях, когда распределение выборки нормальное, самой удобной мерой положения является выборочное среднее. Общепринятым считается указывать на графиках также стандартное отклонение как меру изменчивости. Наглядным является и представление доверительного интервала. Представление ошибки среднего также встречается, однако следует помнить, что стандартная ошибка среднего ничего не говорит о разбросе данных – это оценка того, насколько выборочное среднее отличается от такового по генеральной совокупности.

            Для описания данных, не согласующихся с нормальным распределением, применяют медиану вследствие ее нечувствительности к «выбивающимся» данным. В качестве меры разброса в этом случае уместно представить межквартильный размах (Q1-Q3).

            Для визуального представления результатов при больших объемах данных рекомендуется использовать столбчатые гистограммы, «ящик с усами», индивидуальные значения. Авторы настоятельно советуют не использовать таблицы для визуализации объемных результатов ввиду сложности прочтения при их представлении.

Категориальные данные

Категориальные данные оцениваются с помощью построения матрицы сопряженности и дальнейшего применения метода Пирсона или точного теста Фишера (если в таблице сопряженности есть нули).

Программы для расчета различных статистических критериев

Расчет статистических критериев удобно проводить в следующих программах:

1. GraphPad Prism;
2. Statistica;
3. SPSS;
4. R;
5. MedCalc;
6. Python.

Финансирование

Финансирование настоящего исследования осуществлено в рамках бюджетной темы FGWG-2025–0020 «Поиск молекулярных мишеней для фармакологического воздействия при аддиктивных и нейроэндокринных нарушениях с целью создания новых фармакологически активных веществ, действующих на рецепторы ЦНС».

Конфликт интересов

Авторы работы подтверждают отсутствие конфликта интересов.

В настоящее время можно наблюдать довольно упрощенный уровень представления результатов, что связано с некорректным использованием статистических методов. Это затрудняет сравнение результатов, полученных различными авторами, а также результатов, полученных разными методами, что приводит к искаженным и ошибочным выводам исследований.

Таким образом, можно констатировать наличие насущной проблемы в корректности применения современных статистических методов и стандартизации представления результатов, дающей возможность проведения сравнительных обзоров в области экспериментальной фармакологии.

Наиболее распространенными неточностями при использовании статистической обработки данных можно считать следующие:

1. Малое количество особей в группе.
2. Некорректное использование статистических критериев.
3. Формальное указание статистических критериев без количественных показателей. Например, в случае использования однофакторного дисперсионного анализа и последующего апостериорного теста следует указывать не только значение уровня значимости «р», полученного в результате post-hoc-критерия, но и само значение F-критерия (например F _(2,35) = 9.1, p =0.01, n = 12).
4. Редкое использование критериев согласия. Перед непосредственным проведением сравнительного анализа необходимо установить принадлежность данных определенному распределению.
5. Пренебрежение описательной статистикой: мерой центральной тенденции (среднее), мерой рассеяния (стандартное отклонение).
6. Не репрезентативность представления данных.

Из-за подобных неточностей или некорректного использования статистических методов изначально актуальные результаты могут потерять свою правильность. Также иногда это приводит к невозможности сравнения результатов. Таким образом, актуальным представляется создание кратких рекомендаций по применению разных методов использования статистики.

Расчет размера выборки

В подавляющем большинстве случаев стандартные исследования в сфере фармакологии направлены на нахождение различий между контрольными и экспериментальными группами, выявление токсичной дозы и взаимосвязи между двумя признаками. В зависимости от типа данных используют те или иные статистические критерии.

Для начала необходимо отметить, что при планировании эксперимента важно заранее иметь представление, какие именно статистические тесты будут использованы. Здесь важную роль играют чувствительность (мощность критерия), которая зависит от уровня значимости α (в стандартном случае равен 0.05), размер эффекта, деленный на стандартное отклонение (параметр нецентральности), и объем выборки [1].

Для достижения нужного объема выборки, достаточного для оптимальной чувствительности критерия, используют ряд формул. Например, формула для расчета размера выборки для сравнения двух групп имеет вид:

где SD – стандартное отклонение,  – Z-оценка для значения, соответствующего ,  – Z-оценка для значения, соответствующего  (вероятность ошибки II рода, стандартно равна 0.2), d – размер эффекта. Величины SD и d являются эмпирическими, их находят из пилотного эксперимента либо из предыдущих исследований, однако такая возможность имеется не всегда. В случае невозможности нахождения эмпирических переменных для нахождения количества животных в группе также используют так называемый «метод уравнения ресурсов» («resource equation method») [2]. Предполагается, что данный расчет используется для последующего применения дисперсионного анализа. Этот метод опирается на то, что число степеней свободы, достаточное для достижения предела погрешности статистической модели, должно находиться в диапазоне от 10 до 20. Значение из этого диапазона должно получаться путем вычисления разности между общим количеством животных и общим количеством групп. Например, при наличии 4 групп по 5 животных в каждом получится 5*4-4 = 16, то есть наличие 5 особей в группе достаточно для дальнейшего анализа. Данный метод является достаточно грубым и не рекомендуется для регулярного пользования. Использовать его надлежит только в случае невозможности расчета по стандартным формулам, подобным указанной выше. Следует помнить, что данный расчет предполагает большие размеры эффекта [3].

            Автоматический расчет выборок доступен в некоторых пакетах программ, как, например, G Power.

Проверка массива данных на соответствие нормальному распределению

Начальным этапом анализа данных следует считать проверку массива данных на принадлежность определенному виду распределения. Обычно осуществляется проверка на нормальность, что впоследствии сужает круг используемых критериев.

Оценить, принадлежат ли данные нормальному распределению, возможно рядом способов.
            Визуально такую задачу можно решить графическим методом, построив частотное распределение, график вероятности-вероятности (P-P график), график квантиль-квантиль (Q-Q график) и рядом других способов. Такие методы не подразумевают использование статистического теста [4].

Самым мощным критерием проверки на нормальность считается W-критерий Шапиро-Уилка [5]. В случае если уровень критерия значимости более 0.05, то эти распределения совпадают, что дает право использовать параметрические методы статистики, которые являются более строгими относительно аналогичных непараметрических. Одной из его особенностей является возможность использования для малых выборок (формально – 3–4 точки, но настоятельно рекомендуется брать больше), но при этом он эффективен и для больших.

Также во многих пакетах программ предлагается использование критерия Колмогорова-Смирнова – менее мощного, чем критерий Шапиро-Уилка [6]. Он рекомендуется для анализа исключительно больших выборок. Нет точного описания, насколько большой должна выборка для этого, но в некоторых источниках можно найти информацию, что требуется выборка более 15 точек.

Менее популярными считаются тесты Андерсона-Дарлинга (Anderson-Darling test), Д'агостино-Пирсона (D'Agostino-Pearson test) и другие. Первый тест основан на тесте Колмогорова-Смирнова, более чувствительно подчеркивая отклонения к концам распределений. Тест Д'Агостино-Пирсона проверяет нулевое предположение о том, что распределение данных симметрично, и проверяет нулевое предположение, что эксцесс равен нулю. Однако, перечисленные тесты являются менее мощными и также не могу быть использованы при маленьких выборках, что зачастую важно для экспериментальной фармакологии.

Анализ парных наблюдений

Часто в экспериментальной фармакологии используются сравнения двух групп, например группы без воздействия, так называемая контрольная группа, и группа с введением препарата (экспериментальная группа). В таких случаях статистический анализ можно проводить по двум сценариям: анализ парных наблюдений и анализ независимых наблюдений.

В первом случае, например, при введении подопытным животным препарата в течение длительного времени и измерения неких показателей в начале и в конце эксперимента у одних и тех же особей, следует применять парный t-тест (если данные соответствуют нормальному распределению) или его непараметрический аналог – критерий Вилкоксона, либо критерий знаков (если выборка очень мала или данные не соответствуют нормальному распределению).

При анализе непарных наблюдений можно использовать непарный t-критерий: при небольших выборках он ссылается к t-распределению, однако при больших выборках (от 30 точек) это распределение стремится к нормальному. Стоит отметить, что параметрические критерии сильно чувствительны к выбросам: значительно выбивающиеся из общей массы значения могут сильно повлиять на результат анализа. При отклонении гипотезы о нормальном распределении для сравнения двух независимых выборок следует использовать непараметрический аналог t-теста – U-критерий Манна-Уитни.
            В случае использования параметрических критериев также не стоит забывать об условии равенства дисперсий. Данную проверку можно выполнить с помощью F-теста Фишера. В некоторых пакетах программ он выполняется автоматически при использовании параметрических тестов.

Множественное сравнение

В случае, когда требуется сравнить более чем 2 группы, следует применять дисперсионный анализ. Если данные соответствуют нормальному распределению, то обращаются к однофакторному либо двухфакторному/многофакторному ANOVA. Авторы напоминают, что дисперсионный анализ не дает знаний о конкретных различиях между группами – его результаты лишь дают сведения о том, принадлежат ли выборки к одной генеральной совокупности. Для определения наличия статистически значимых изменений используют апостериорные тесты (post hoc-критерии).

Поправка Бонферрони – достаточно консервативный метод, к которому в настоящее время относятся с осторожностью. Это строгий критерий, который минимизирует вероятность допустить ошибку I рода, однако при большом количестве групп может допустить ошибку II рода.

Метод Холма-Бонферрони также имеет большую мощность, чем поправка Бонферрони. Он также решает проблему падения мощности поправки Бонферрони при возрастании количества групп.

Метод Шидака (Сидака), подобно перечисленным выше методикам, способствует предотвращению ошибки I рода путем коррекции p value [7]. Является более предпочтительным, чем поправка Бонферрони.

Критерий Тьюки так же, как и поправки Бонферрони, является модификацией критерия Стьюдента, однако считается более либеральным методом, проводящим сравнения средних. Активно используется в настоящее время. Работать с этим критерием необходимо, когда размеры выборок совпадают или очень близки.

Критерий Ньюмена-Кейлса – более мощный метод, сравнивающий средние значения аналогично критерию Тьюки, однако он в некоторой мере пренебрегает предотвращением ошибки I рода [8]. В отличие от критерия Тьюки, он не предусматривает расчет доверительных интервалов. Авторы не рекомендуют использование этого метода, в обратном случае необходимо тщательное обоснование причины его использования в статистической обработке экспериментальных данных.

Критерий Даннета используется для сравнения среднего значения экспериментальных групп со средним значением контрольной группы [9].

            Следует напомнить, что все вышеупомянутые критерии требуют равенства дисперсий в анализируемых группах.

            В случае отрицательного теста на нормальность вместо дисперсионного анализа следует пользоваться его непараметрическим аналогом, а именно критерием Краскела-Уоллиса. Для множественных сравнений в данном случае также существует перечень критериев.

            Для непараметрического дисперсионного анализа с повторными измерениями используют критерий Фридмана.

Основополагающий метод работы с ненормально распределенными данными – критерий Данна – считается основным непараметрическим тестом для множественных сравнений. Его используют в том числе и для неравных выборок. Так как непараметрические тесты оперируют сравнением рангов, некоторые параметрические анализы легко преобразуют в непараметрические: например, используют варианты критериев Ньюмена-Кейлса и Даннета для выборок одинакового объема.

Описательная статистика и представление данных

            В настоящее время можно констатировать пренебрежение описательной статистикой: при описании результатов нередко не приводят сведения о мерах центральной тенденции и изменчивости либо представляют их некорректно. Хотя графическое представление данных является исчерпывающим, во многом полезно указывать и численные данные. К тому же, для наглядности результатов также следует указывать доверительный интервал или размер эффекта.

            Авторы напоминают, что при графической визуализации данных необходимо придерживаться некоторых правил.

            В случаях, когда распределение выборки нормальное, самой удобной мерой положения является выборочное среднее. Общепринятым считается указывать на графиках также стандартное отклонение как меру изменчивости. Наглядным является и представление доверительного интервала. Представление ошибки среднего также встречается, однако следует помнить, что стандартная ошибка среднего ничего не говорит о разбросе данных – это оценка того, насколько выборочное среднее отличается от такового по генеральной совокупности.

            Для описания данных, не согласующихся с нормальным распределением, применяют медиану вследствие ее нечувствительности к «выбивающимся» данным. В качестве меры разброса в этом случае уместно представить межквартильный размах (Q1-Q3).

            Для визуального представления результатов при больших объемах данных рекомендуется использовать столбчатые гистограммы, «ящик с усами», индивидуальные значения. Авторы настоятельно советуют не использовать таблицы для визуализации объемных результатов ввиду сложности прочтения при их представлении.

Категориальные данные

Категориальные данные оцениваются с помощью построения матрицы сопряженности и дальнейшего применения метода Пирсона или точного теста Фишера (если в таблице сопряженности есть нули).

Программы для расчета различных статистических критериев

Расчет статистических критериев удобно проводить в следующих программах:

1. GraphPad Prism;
2. Statistica;
3. SPSS;
4. R;
5. MedCalc;
6. Python.

Финансирование

Финансирование настоящего исследования осуществлено в рамках бюджетной темы FGWG-2025–0020 «Поиск молекулярных мишеней для фармакологического воздействия при аддиктивных и нейроэндокринных нарушениях с целью создания новых фармакологически активных веществ, действующих на рецепторы ЦНС».

Конфликт интересов

Авторы работы подтверждают отсутствие конфликта интересов.

Об авторах

Платон Платонович Хохлов

Институт экспериментальной медицины

Email: platonkh@list.ru
ORCID iD: 0000-0001-6553-9267
SPIN-код: 8673-7417

кандидат биологических наук

Россия, 193736, Санкт-Петербург, ул. Акад. Павлова, д. 12

Алина Алексеевна Нужнова

Институт экспериментальной медицины

Email: lin.panaiotis@yandex.ru
ORCID iD: 0009-0002-1607-1471
Россия, Санкт-Петербург

Марина Игоревна Костина

Институт экспериментальной медицины

Автор, ответственный за переписку.
Email: koctena@list.ru
ORCID iD: 0009-0005-1060-5489
SPIN-код: 3909-2574
Россия

Александра Александровна Блаженко

Институт экспериментальной медицины

Email: alexandra.blazhenko@mail.ru
ORCID iD: 0000-0002-8079-0991
SPIN-код: 8762-3604

мл. науч. сотр. отдела нейрофармакологии им. С.В. Аничкова Института экспериментальной медицины

Россия, Санкт-Петербург

Евгений Рудольфович Бычков

Институт экспериментальной медицины

Email: bychkov@mail.ru
ORCID iD: 0000-0002-8911-6805
SPIN-код: 9408-0799

канд. мед. наук

Россия, Санкт-Петербург

Список литературы

Дополнительные файлы