Development of nomograms to assess the risk of clinical outcome

Abstract


A methodology is presented for developing nomograms for assessing and stratifying the risk of a clinical outcome based on the created virtual data set using the R software environment. The virtual data set included input numerical and factor variables (variable types correspond to the R software documentation) and outcome. For quantitative variables, descriptive statistics were calculated at all levels of the outcome variable, and mosaic diagrams were constructed for factor variables. As a model that describes the association of input variables with the outcome, a logistic regression model was used. A bootstrap method was applied to validate and evaluate the model performance. The calculated validity indicators showed an acceptable discriminatory ability of the predictive model. The statistical calibration demonstrated the proximity of the model’s calibration curve to the ideal calibration curve. Based on the logistic regression coefficients, a nomogram was constructed using which the risk value of a specific outcome was calculated for each subject (patient). It is shown that with the help of the presented technique it is possible to stratify patients effectively by the risk of an adverse outcome, thus adequately altering the diagnosis and treatment tactics. The use of a nomogram greatly simplifies risk assessment and can be used in paper form as a supplement to the patient examination protocol. The article contains the codes of the R programming language with explanations.

Full Text

Введение. Оценка и стратификация риска не- благоприятных исходов играют важную роль в клини- ческой медицине. Создание простых в практическом использовании инструментов для поддержки при- нятия врачебных решений является важной задачей медицинской информатики и статистики. Благодаря достижениям в области информационных технологий и доступности медицинских данных из электронных историй болезни можно разработать эффективные оценочные модели оценки риска мало распростра- ненных заболеваний в популяции. Как правило, в основе моделей риска лежит аддитивная модель про- гноза, в которую факторы входят в виде алгебраиче- ской суммы, а их вклад в вероятность интересующего исхода представляется в виде весового коэффи- циента. Использование этих моделей требует при- менения компьютерной техники или калькуляторов, однако существуют способы значительно упростить их использование на практике, к которым относятся номограммы, шкалы, скоринговые карты и др. Для создания практических инструментов прогно- зирования риска нами использовался язык R, предна- значенный для статистического анализа и управления данными. Язык R является языком программирования и программной средой с открытым исходным кодом, который доступен по адресу https://cran.r-project.org. Все функции, необходимые для разработки системы оценки, также доступны в составе соответствующих программных пакетов языка R. Синтаксис языка R хорошо документирован, что играет решающую роль при проверке решения задач. Предполагается, что пользователь рассматриваемой методики владеет базовыми знаниями и навыками использования языка R, описанными, например, в известной книге Р. Кабакова [3]. Цель исследования. Разработать номограммы для оценки риска определенного клинического исхода на основе виртуального набора данных с использова- нием R-языка. Материалы и методы. Для иллюстрации приме- няемых методов использованы виртуальные данные, сгенерированные на основе опубликованных резуль- татов клинических исследований факторов риска осложнений при оперативном лечении пациентов, страдающих болезнью Меньера [1]. Генерация вир- туальной выборки обеспечивает воспроизводимость данных и решения всех задач. Результаты и их обсуждение. Генерация исход- ных данных предусматривает использование про- граммного кода R-языка (табл. 1), который создает набор данных, содержащий 5 переменных, включая бинарный (дихотомичный) результат «Исход» (out- come), две факторные переменные и две числовые переменные «Возраст» (age) и «СКУ» (sku) (сводный 114 2 (66) - 2019 ВЕСТНИК РОССИЙСКОЙ ВОЕННО-МЕДИЦИНСКОЙ АКАДЕМИИ Экспериментальные исследования Таблица 1 Программный код создания виртуальной выборки Строка Программный код R-языка library(dummies) set.seed(666) n<-150 b0<-22 age<-round(rnorm(n, mean=46.3, sd=10)) sku<-round(rnorm(n, mean=65.6, sd=2.7),1) NYSTAGMUS<-as.factor(sample(x=c("no", "yes"), size=n, replace=TRUE, prob=c(0.42, 0.58))) VOMITUS<-as.factor(sample(x=c("no", "yes"), size=n, replace=TRUE, prob=c(0.47, 0.53))) VOMITUS<-relevel(VOMITUS, ref="yes") lp<-b0+0.12*age-0.41*sku+cbind(1, dummy(NYSTAGMUS) [, -1]) %*% c(0.001, 2.5)-cbind(1,dummy(VOMITUS)[,-1]) %*% c(0,2.2)+0.001*age^2-0.001*sku^2 pi.x<-exp(lp)/(1+exp(lp)) OUTCOME<-rbinom(n=n, size=1, prob=pi.x) df<-data.frame(OUTCOME, age, sku, NYSTAGMUS, VOMITUS) df$dataset<-sample(x=c("train", "validate"), size=n, replace=TRUE, prob=c(0.75, 0.25)) f.y<-glm(OUTCOME~age+sku+NYSTAGMUS+VOMITUS, data=df, family="binomial") summary(f.y) коэффициент устойчивости - СКУ) - суммарный по- казатель отклонения центра тяжести в ответ на раз- личные динамические стимулы, дающий комплексное представление о состоянии статического и динами- ческого равновесия. Переменная «Рвота» (vomitus) имеет два уровня: «no», «yes» (т. е. отсутствие признака и его наличие). Переменная «Спонтантанный нистагм» (nystagmus) также имеет два уровня: «no», «yes». Зна- чение переменной «Исход» равное 1 соответствует наличию осложнения операции, 0 - его отсутствию. Описание программы следующее. Строка 1 вызы- вает функцию «library» для загрузки пакета «dummies» в программу R. В строке 2 с помощью функции «set. seed» устанавливается произвольное значение пере- менной генератора случайных чисел, чтобы сделать результаты полностью воспроизводимыми. Строка 3 устанавливает размер выборки для примера (150 наблюдений). В строке 4 присваивается значение свободному члену регрессионного уравнения (b ). Строки «no», «yes», количеством наблюдений n (строка 8), с заменой имеющихся значений на вставляемые (строка 9), и соответствующими пропорциями каждого из двух уровней (строка 10). В строках 11-14 таким же образом создается факторная переменная «Рвота». В строке 15 уровни этой переменной переопределяются, базовым уровнем назначался «yes». Строка 16 создает линейный предиктор «lp» уравнения логистической регрессии. Функция «dummy» используется для преобразования факторной переменной в фиктивные или «дамми» (dummy) переменные. Символом «%*%» обозначается матричный оператор умножения. Для каждой перемен- ной задается линейный предиктор. Например, коэффи- циент 2,5, соответствующий уровню «yes» (строка 16) переменной «Спонтанный нистагм», интерпретируется как увеличение линейного предиктора на 2,5 единицы для «yes», по сравнению с «no». Строка 17 преобразует линейный предиктор в вероятность посредством логит- преобразования, а строка 18 генерирует переменную исхода, которая распределена по биномиальному распределению. Строка 19 объединяет все перемен- ные в фрейм данных (data frame). Весь набор данных с помощью функции «sample» разделяется на подмно- жества данных для обучения и для валидации (строки 20-23). Три четверти всего набора сгенерированных данных используется для обучения модели (строка 23), а оставшаяся четверть используется для ее проверки. С помощью кода в строке 24 формируется обобщенная линейная модель «glm» под именем «f.m», по которой для общего контроля процесса c помощью функции «summary» выводятся коэффициенты и показатели созданной модели. Перед созданием модели переменные были стати- стически описаны и оценены. Среди анализируемых в наборе данных 2 переменные: «Возраст» и «СКУ», являются числовыми переменными, выраженными в абсолютной шкале и 2 переменных «Спонтанный нистагм» и «Рвота» - факторными, выраженными в шкале наименований. Названия типов переменных соответствует документации R-языка. Для представления результатов описательной статистики числовых переменных (табл. 2) приводятся команды языка R. В первой строке с помощью функции «library» указывается пакет «Hmisc», из которого ис- пользуются некоторые функции. В строке 2 задается опция вывода отчета в формате LaTeX (формат вывода научных результатов, принятый в большинстве веду- щих научных журналов). Во второй строке определя- ется перечень переменных, из которых в строке 4 фор- мируется набор данных. В строках 5 и 6 переменные «Возраст» и «СКУ» определяются как числовые пере- менные и в строках 7 и 8 им присваиваются единицы измерения «лет» и «%» соответственно. Командой в 5 и 6 генерируют количественные 0 переменные: «Возстроке 9 выводится отчет с описательными статираст» и «СКУ», которые распределены по нормальному закону распределения со средним значением 46,3 лет и 65,6%, а также стандартным отклонением 10 лет и 2,7% соответственно. В строке 7 создается факторная переменная - «Спонтанный нистагм» с двумя уровнями стиками в программных кодах формата LaTeX. Чтобы преобразовать полученные коды в изображение или pdf-файл был использован один из многочисленных бесплатных LaTeX-редакторов и LaTeX-вьюверов - Pa- peeria (https://papeeria.com). ВЕСТНИК РОССИЙСКОЙ ВОЕННО-МЕДИЦИНСКОЙ АКАДЕМИИ 2 (66) - 2019 115 Экспериментальные исследования Таблица 2 Программный код описательной статистики числовых переменных модели Таблица 3 Программный код для создания мозаичной диаграммы ассоциации спонтанного нистагма и рвоты с переменной исхода Описательная статистика переменных, включая квантили числовых переменных «Возраст» и «СКУ», представлена на скриншоте отчета-машинограммы (рис. 1), полученного при выполнении программно- го кода R-языка. В отчете используется несколько обозначений, которые требуют пояснения: «distinct» - указывает на число уникальных значений в наборе данных, «Info» - относительная мера информации, связана с тем, насколько непрерывна переменная. Наименьшее значение «Info» имеет переменная, имеющей только одно уникальное значение. «Gmd» - средняя разница или коэффициент Джини (англ., Gini’s mean difference) - мера дисперсии, которая представляет собой среднюю абсолютную разницу между любыми парами наблюдений в наборе данных. «Lowest» и «highest» - соответственно минимальные и максимальные значения в наборе данных. Графические методы для описания категориальных или факторных переменных и их ассоциации с исхо- дом используются не так часто, как для количествен- ных переменных. Метод логистической регрессии является аналогом дисперсионного и регрессионного анализа, в котором вместо количественного исхода моделируется категориальный, точнее, дихотомиче- ский исход. Графическое представление ассоциации между категориальными факторными переменными и дихотомическим исходом обычно ограничивается малопривлекательными диаграммами на основе таблиц сопряженности R×C (от англ., row - строка, column - столбец). В качестве примера визуализации данных из таблиц сопряженности можно привести эффектный метод построения и анализа мозаичных диаграмм. Мозаичные диаграммы, предложенные J.A. Hartigan, B. Kleiner [6], представляют каждую ячейку таблицы сопряженности прямоугольником (или плиткой), площадь которого пропорциональна частоте ячейки. Рисунок из плиток на мозаичной диаграмме полезен для выдвижения статистических гипотез, визуального сравнения частот в таблице сопряженности и выделе- ния среди них необычно больших и малых значений. Для решения нашей задачи визуализации ассоци- ации факторных переменных: «Спонтанный нистагм» и «Рвота» с бинарным исходом была использована мозаичная диаграмма. В первой строке кода (табл. 3) подключается пакет «vcd», с помощью которого реали- зуется построение мозаичной диаграммы. В строке 2 формируется таблица «mytable» с факторными пере- менными и результирующей переменной исхода из фрейма данных «df». В строках 3-7 создается мозаи- чная диаграмма с метками категорий переменных. В строках 8 и 9 формируются метки в центре плиток мозаичной диаграммы с округленными до двух знаков после запятой частотами. На рисунке 2 представлен результат формирова- ния мозаичной диаграммы для представления ассоци- ации трех переменных модели: «Исход», «Спонтанный нистагм» и «Рвота». Цвета плитки представляют величину остатков (разности наблюдаемых и ожидаемых частот) для ячейки или комбинации уровней. Синий цвет плитки означает, что в этой ячейке больше наблюдений, чем Рис. 1. Скриншот отчета в формате LaTeX с описательной статистикой числовых переменных 116 2 (66) - 2019 ВЕСТНИК РОССИЙСКОЙ ВОЕННО-МЕДИЦИНСКОЙ АКАДЕМИИ Экспериментальные исследования Рис. 2. Мозаичная диаграмма ассоциации переменных спонтанного нистагма, рвоты и исхода можно было бы ожидать при нулевой модели (модель, соответствующая нулевой гипотезе H0 - независимо- сти переменных). Красный цвет означает, что наблю- дений меньше, чем можно было бы ожидать. Цвета, тестовая статистика остатков, значение p в легенде справа от мозаичной диаграммы показывают, какие ячейки вносят статистически значимый вклад в исход по тесту хи-квадрат. Более сложным методом визуализации нелиней- ной ассоциации предикторов и вероятности исхода является метод сглаживания «loess». Метод «loess» или метод локальных полиномиальных регрессий (от англ. LOcal regrESSions - «LOESS» или LOcally WEighted Scatterplot Smoother - «LOWESS») в настоящее время широко используется в прогнозировании, исследо- вании различных тенденций [2] и подробно описан в работах W.S. Cleveland [4]. Метод позволяет сгладить ряд значений, используя простую линейную либо по- линомиальную зависимость двух переменных у и х. При этом предлагается строить модель не по всему ряду данных, а по его отдельным частям или диапазо- нам. Идея метода заключается в том, чтобы рассчи- тать множество регрессионных моделей, центрами каждой из которых поочередно являются значения из ряда данных. Поскольку это непараметрический метод, он не требует предположения о параметрах распределения. В таблице 4 представлен программный код R-языка для построения четырех loess-диаграмм с использованием пакета «ggplot2». В строках 3-6 формируются четыре диаграммы p1, p2, p3, p4 на основе взаимодействия разных переменных. Чтобы можно было различать линии разных переменных, им присваиваются разные характеристики, для пере- менной «Рвота» - цвет, для переменной «Спонтанный нистагм» - размер линии и на четвертой диаграмме их сочетание. Таблица 4 Программный код построения loess-диаграмм Строка Программный код R-языка library(ggplot2) yl<-ylab(NULL) p1<-ggplot(df, aes(x=sku, y=OUTCOME))+histSpikeg(OUTC OME~sku, lowess=TRUE, data=df)+ylim(0,1)+yl+ylab("Proba bility of Bad Outcome") p2<-ggplot(df, aes(x=sku, y=OUTCOME, color=VOMITUS))+ histSpikeg(OUTCOME~sku+VOMITUS, lowess=TRUE, data=df)+ylim(0,1)+yl p3<-ggplot(df, aes(x=sku, y=OUTCOME, size=NYSTAGMUS ))+histSpikeg(OUTCOME~sku+NYSTAGMUS, lowess=TRUE, data =df)+b+ylim(0,1)+yl+ylab("Probability of Bad Outcome") p4<-ggplot(df, aes(x=sku, y=OUTCOME, color=VOMITUS, si ze=NYSTAGMUS))+histSpikeg(OUTCOME~sku+VOMITUS+N YSTAGMUS, lowess=TRUE, data=df)+b+ylim(0,1)+yl gridExtra::grid.arrange(p1,p2,p3,p4,ncol=2) В строке 7 производится объединение этих диа- грамм в две колонки (ncol=2) на одном общем рисунке (рис. 3). Все представленные методы позволяют одним из многочисленных способов провести предваритель- ный анализ факторного пространства, определить ассоциации переменных, сформулировать статисти- ческие гипотезы и т. д. Следующим этапом разработки номограммы является создание логистической ре- грессионной модели. Чем качественнее и точнее логи- стическая регрессионная модель, тем качественнее и точнее предсказывающая способность номограммы. Цель логистической регрессии - найти наилучшим образом подогнанную (но все же биологически раз- умную) модель, описывающую взаимосвязь между интересующей дихотомической результирующей ВЕСТНИК РОССИЙСКОЙ ВОЕННО-МЕДИЦИНСКОЙ АКАДЕМИИ 2 (66) - 2019 117 Экспериментальные исследования Рис. 3. Loess-диаграмма зависимости вероятности неблагоприятного (bad) исхода от СКУ и от меняющихся на фоне СКУ значений факторных переменных спонтанного нистагма и рвоты переменной и набором независимых факторных переменных (предикторов). Логистическая регрессия формирует коэффициенты регрессии (их стандартные ошибки и уровни значимости) по формуле логит-пре- образования вероятности интересующего значения результирующей переменной: Таблица 5 Программный код для рисунка с ранжированием важности предикторов , где р - вероятность наличия признака, представляю- щего интерес, b - коэффициенты модели, X - значения предикторов. Логит-преобразование определяются как логарифм шансов: Модель может использоваться для расчета пред- сказанной вероятности исхода (p) для заданных зна- чений предикторов: После оценки коэффициентов модели существует несколько шагов, связанных с оценкой адекватности и полезности модели. Вначале важность каждой из объ- ясняющих переменных оценивается путем проведения статистических тестов значимости коэффициентов. За- тем проверяют общую пригодность модели. Кроме того, оценивается способность модели различать две группы, определенные результирующей переменной исходом. Наконец, если это возможно, модель подтверждается проверкой валидности и дискриминационной способ- ности на отличном от того набора данных, который ис- пользовался для разработки и обучения модели. В таблице 5 представлены команды для создания диаграммы (рис. 4), отражающей значимость преди- кторов по хи-квадрату. В строке 1 представлен код для создания модели логистической регрессии с помо- щью функции «lrm» (от англ., logistic regression model). В строке 2 проводится дисперсионный анализ созданной модели, в строке 3 - графический вывод его результатов. Для вывода результатов моделирования в формате LaTeX используется функция «latex». Вероятность ис- хода, Prob{Outcome=1}, рассчитывается по формуле: где - линейный предиктор модели. Рис. 4. Ранжированная по возрастанию важность (χ2 - df) предикторов модели 118 2 (66) - 2019 ВЕСТНИК РОССИЙСКОЙ ВОЕННО-МЕДИЦИНСКОЙ АКАДЕМИИ Экспериментальные исследования Валидация модели включает в себя оценку пока- зателей дискриминационной способности модели и калибровку. Для получения этих показателей исход- ные данные специальным образом подготавливают- ся с помощью метода бутстрапа (bootstrap methods), который в настоящее время является методом вы- бора для решения подобных задач [5]. Суть метода заключается в том, что из имеющегося набора дан- ных случайным образом отбирается заданное число выборок, по каждой из которых рассчитываются не- обходимые показатели дискриминационной способ- ности и калибровки. Эти показатели используются для корректировки показателей, рассчитанных на исходном наборе данных (оригинальной выборке), таблица 6. Таблица 6 Программный код для вывода результатов валидации модели Строка Программный код R-языка 1 cal<-calibrate(f, B=200) 2 plot (cal) 3 options(prType='latex') 4 v <- validate (f , B =200) 5 print (vfull , digits =3) Применительно к нашей задаче, в начале моде- лирования исходный набор данных (original sample) был случайным образом в соотношении 75:25 раз- делен на две выборки: обучающую (training sample) и пробную (test sample) выборки. Считается, что мо- дель по обучающей выборке имеет лучшие значения показателей производительности, поэтому она об- ладает определенным «оптимизмом» по сравнению с моделью, полученной на пробной выборке. Разница показателей производительности для обучающей и пробной выборок называется «оптимизмом» (opti- mism) модели, для получения скорректированного показателя (corrected index) значение «оптимизма» вычитается из показателя, полученного на исходном наборе данных. Прогнозируемая вероятность исхода (Predicted Pr{Outcome=1}) строится на фоне наблюдаемой веро- ятности (Actual Probability), а отклонение от идеальной линии указывает на разницу между прогнозируемыми и наблюдаемыми рисками (рис. 5). Близость калибровочной кривой к диагональной линии 45° демонстрирует приемлемую валидацию по шкале абсолютной вероятности. В таблице 7 представлены показатели (индексы) дискримина- ционной способности полученной модели. Напри- мер, Dxy - ранговая корреляция Сомерса (Somers’ D) между прогнозируемой вероятностью того, что переменная исхода = 1, и наблюдаемыми значе- ниями переменной исхода; D - показатель дискри- минации, отношение правдоподобия модели χ2, деленное на размер выборки; R2 - псевдо R-квадрат (R2 Nagelkerke-Cox-Snell-Maddala-Magee), коэф- фициент детерминации модели. Более подробную информацию о представленных валидационных показателях можно почерпнуть из описания пакета «rms» в книге F.E. Harrell [7]. Основные показатели демонстрируют приемлемую оценку валидации модели (табл. 7). Конечным методом отображения взаимосвязи между несколькими предикторами и вероятностью ответа является построение номограммы. В таблице 8 представлены программные коды для построения номограммы. На рисунке 6 показана номограмма, порядок ис- пользования которой можно проиллюстрировать следующим примером. Обследуется пациент в возрасте 45 лет, показатель СКУ=65%, рвота не на- блюдается (Vomitus=«no»), спонтанный нистагм есть (Nystagmus=«yes»). Для возраста 45 лет находится соответствие на шкале «Points» = 50 баллов. СКУ равное 65% соот- ветствует примерно 33 баллам, отсутствие рвоты (vomitus= «no») равно 0 баллам, наличие спонтанного нистагма (Nystagmus= «yes») дает примерно 24 балла. В сумме 50+33+0+24=107 баллов соответствуют зна- чению линейного предиктора около 0 и вероятности осложнения (т. е. Outcome =1) около 50%. Рис. 5. Калибровочная кривая (КК) для модели исхода (Apparent - КК по оригинальному набору данных, Bias-corrected - КК, скорректированная на оптимизм, Ideal - идеальная КК) ВЕСТНИК РОССИЙСКОЙ ВОЕННО-МЕДИЦИНСКОЙ АКАДЕМИИ 2 (66) - 2019 119 Экспериментальные исследования Статистика валидации модели Таблица 7 Показатель Для исходного набора данных Для обучающей выборки Для пробной выборки Значение «оптимизма» Скорректирован- ный показатель n Dxy 0,878 0,884 0,867 0,017 0,861 200 R 2 0,697 0,711 0,681 0,030 0,668 200 Intercept 0,000 0,000 -0,005 0,005 -0,005 200 Slope 1,000 1,000 0,889 0,111 0,889 200 Emax 0,000 0,000 0,027 0,027 0,027 200 D 0,709 0,731 0,685 0,046 0,663 200 U -0,013 -0,013 0,007 -0,020 0,007 200 Q 0,723 0,715 0,678 0,067 0,656 200 B 0,098 0,093 0,104 -0,011 0,109 200 g 1,015 1,393 3,822 0,571 3,475 200 g p 0,413 0,414 0,408 0,006 0,407 200 Рис. 6. Номограмма, вычисляющая (Linear predictor - линейный предиктор) и для осложнения. Для каждого предиктора определяются соответствующие значения баллов на шкале 0-100, которые затем суммируются. Результат считывается по шкале «Total points», а затем вероятность осложнения считывается на нижней шкале «Probability of compilation» Таблица 8 Программные коды для рисования номограммы Строка Программный код R-языка 1 nom <- nomogram (f, fun = plogis, funlabel ="Probability of comlication", 2 fun.at =c(.01, .05, .1, .25, .5, .75, .9,.95, .99)) 3 plot (nom, xfrac = .45) Заключение. Представленная методика постро- ения номограммы с помощью R-языка позволяет улучшить понимание всего процесса создания этого эффективного диагностического инструмента. По- добные диагностические инструменты относятся к скрининговым методам диагностики, они позволяют стратифицировать пациентов по риску неблагопри- ятных исходов, увеличивая таким образом шанс пациента получить именно то лечение, которое бу- дет для него наиболее результативным и наименее опасным. Кроме того, построение номограмм, как и скорин- говых карт, калькуляторов риска является хорошим способом отчуждения знаний и опыта экспертов для их использования молодыми специалистами, которые таким опытом и знаниями не обладают. Современные достижения медицинской информатики и статистики значительно упрощают этот процесс, обеспечивая его прозрачность и воспроизводимость.

References

  1. Корнеенков, А.А. Использование модифицированной процедуры последовательного распознавания Вальда для определения исхода оперативного лечения у пациентов с болезнью Меньера / А.А. Корнеенков [и др.] // Росс. ото- риноларингол. - 2018. - № 3 (94). - С. 54-59.
  2. Светуньков, И.С. Методы социально-экономического прогнозирования в 2 т. Т. 2 Модели и методы: учебник и практикум для академического бакалавриата / И.С. Светуньков, С.Г. Светуньков. - М.: Издательство Юрайт, 2018. - C. 17-25.
  3. Кабаков, Р.И. R в действии. Анализ и визуализация данных в программе R / И. Кабаков; пер. с англ. П.А. Волковой. - М.: ДМК Прес, 2016. - 588 с.
  4. Cleveland, W.S. Robust Locally Weighted Regression and Smoothing Scatterplots / W.S. Cleveland // American Statistical Association. - 1979. - Vol. 74, № 368. - P. 829-836.
  5. Efron, B. Bootstrap methods: Another look at the jackknife / B. Efron // Ann. Statist. - 1979. - № 7. - P. 1-26.
  6. Hartigan, J.A. Mosaics for Contingency Tables / J.A. Hartigan, B. Kleiner // Computer Science and Statistics: Proceedings of the 13th Symposium on the Interface. - New York: Springer, 1981. - P. 268-273.
  7. Harrell, F.E.Jr. Regression Modeling Strategies / E.F.Jr. Harrell. - Switzerland: Springer International Publishing, 2015. - 582 p.

Statistics

Views

Abstract - 39

PDF (Russian) - 13

Cited-By


Article Metrics

Metrics Loading ...

PlumX

Dimensions


Copyright (c) 2019 Korneenkov A.A., Kuzmin S.G., Dergachev V.B., Borisov D.N.

Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.

This website uses cookies

You consent to our cookies if you continue to use our website.

About Cookies