Evaluation of the psychometric qualities of methods for identifying signs of deviant behavior in military personnel

Vladimir V. Kukhtalev; Кухталев Владимир Владимирович; Ivan I.  Dorofeev; Дорофеев Иван Иванович; Vladislav V. Yusupov; Юсупов Владислав Викторович; Konstantin P. Golovko; Головко Константин Петрович; Anastasia G. Shibaeva; Шибаева Анастасия Геннадьевна

doi:10.17816/rmmar112280

Evaluation of the psychometric qualities of methods for identifying signs of deviant behavior in military personnel

Authors: Kukhtalev V.V.¹, Dorofeev I.I.¹, Yusupov V.V.¹, Golovko K.P.¹, Shibaeva A.G.¹
Affiliations:
1. Military Medical Academy
Issue: Vol 42, No 1 (2023)
Pages: 5-13
Section: Original articles
URL: https://journals.eco-vector.com/RMMArep/article/view/112280
DOI: https://doi.org/10.17816/rmmar112280
ID: 112280

Cite item

Full Text

Abstract
Full Text
About the authors
References
Supplementary files
Statistics

Abstract

AIM: To assess the psychometric qualities of the methodology for identifying signs of deviant behavior in military personnel developed at the S.M. Kirov Military Medical Academy.

MATERIALS AND METHODS: The ISADA method is a screening questionnaire for assessing the presence of a propensity for deviant forms of behavior in military personnel. The questionnaire was developed at the S.M. Kirov Military Medical Academy. The abbreviation “ISADA” was used as a name for the methodology, consisting of the names of its main scales — “Avoidance”, “Suicidality”, “Aggressiveness”, “Delinquency” and “Addictiveness”. The questionnaire consists of 60 questions directly related to well-being, behavior or character, to which the subject must answer only “yes” or “no”. Also, the “Dynamic Observation Questionnaire” and the “Questionnaire for Evaluating the Professionally Important Qualities of a Serviceman” were used to determine the success of the military professional activities of servicemen.

RESULTS: According to the results of the assessment of the psychometric qualities of the technique for identifying signs of deviant behavior in military personnel, the majority (from 75 to 95%) did not reveal a tendency to deviant (deviant) forms of behavior. The scales of the ISADA questionnaire generally comply with the requirements of the Guidelines for the development, examination, implementation and use of professional psychological selection methods in the Armed Forces of the Russian Federation.

CONCLUSION: The ISADA method has a high social significance, since its application will allow diagnosing the propensity of military personnel to deviant (deviant) forms of behavior. This technique can be recommended for use. In the course of the practical use of the ISADA methodology, it is advisable to continue work on assessing its predictive validity.

Keywords

deviant behavior, neuropsychic stability, professional psychological selection, professionally important qualities, psychometric qualities, reliability, validity

Full Text

АКТУАЛЬНОСТЬ

Военная служба на современном этапе характеризуется повышенными нагрузками и высоким психоэмоциональным напряжением. Это обусловливает необходимость совершенствования мероприятий по диагностике и профилактике возникновения нервно-психических расстройств и психосоматических заболеваний. Для решения этих задач необходимы современные методики по диагностике отклоняющегося поведения [1–3].

Отклоняющееся (девиантное) поведение (ОП) определяется как социально значимое поведение личности, отклоняющееся от социальных норм:

а) не удовлетворяющее общепринятым, распространенным в обществе стандартам и эталонам поведения;

б) не совпадающее с социальными ожиданиями от личности общества, отдельных его групп или членов;

в) отступающее от конвенциональных ролевых предписаний.

Вся совокупность нарушений поведения состоит из отклонений в поведении здорового человека — собственно ОП (дисморесии) — и нарушений поведения при психических расстройствах — моресопатий [4].

В системе мероприятий по выявлению военнослужащих с признаками ОП и их дальнейшему сопровождению зоной ответственности медицинской службы является ранняя диагностика ОП в структуре психических расстройств (моресопатий), а также определение наличия вероятных факторов риска их развития [5].

Видами ОП, актуальными для Вооруженных сил Российской Федерации, являются:

Избегающее поведение, характеризующееся различными формами попыток получения послабления по службе и уклонения от выполнения обязанностей военной службы, обусловленное сниженными адаптационными и морально-волевыми качествами военнослужащих и, соответственно, низкими способностями к овладению воинской специальностью.
Суицидальное поведение — аутоагрессивное поведение, проявляющееся в виде фантазий, мыслей, представлений или действий, направленных на самоповреждение или самоуничтожение и, по крайней мере, в минимальной степени мотивируемых явным или скрытым намерением покончить с собой.
Агрессивное поведение — физическое или вербальное поведение, направленное на причинение вреда кому-либо. Для данного типа поведения характерны склонность к решению проблем силой, повышенная импульсивность, несдержанность.
Делинквентное поведение — поведение, при котором действия конкретной личности отклоняются от установленных в данном обществе и в данное время законов, угрожают благополучию других людей или социальному порядку и являются уголовно наказуемыми в крайних своих проявлениях.
Аддиктивное поведение — это поведение, связанное с формированием стремления человека к уходу от реальности путем искусственного изменения своего психического состояния посредством приема некоторых веществ или постоянной фиксацией внимания на определенных видах деятельности с целью развития и поддержания интенсивных эмоций (эмоциональных состояний) [6].

Цель исследования — оценить психометрические качества методики по выявлению признаков отклоняющегося поведения у военнослужащих, разработанной в Военно-медицинской академии имени С.М. Кирова.

МАТЕРИАЛЫ И МЕТОДЫ

Для выявления склонности к отклоняющимся формам поведения у военнослужащих была использована методика «ИСАДА», которая представляет собой скрининговый опросник для оценки наличия склонности к отклоняющимся формам поведения у военнослужащих. Опросник разработан в Военно-медицинской академии имени С.М. Кирова. В качестве названия для методики была использована аббревиатура «ИСАДА», состоящая из названий основных ее шкал — «Избегание», «Суицидальность», «Агрессивность», «Делинквентность» и «Аддиктивность». Опросник состоит из 60 вопросов, касающихся непосредственно самочувствия, поведения или характера на которые обследуемый должен ответить только «да» или «нет».

Также были использованы «Анкета динамического наблюдения» и «Анкета оценки профессионально важных качеств военнослужащего» для определения успешности профессиональной деятельности военнослужащих.

РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ

В период весеннего призыва граждан на военную службу в 2021 г. профессорско-преподавательским и научным составом Военно-медицинской академии имени С.М. Кирова в военных комиссариатах муниципальных образований Калининградской области в период с 1 апреля по 15 июля было проведено психологическое тестирование 1150 призывников по методике «ИСАДА». Тестирование проводилось в военных комиссариатах Калининграда, Советска, Черняховска, Гурьевска, Зеленоградска, Гусева, Багратионовска, Балтийска, Гвардейска.

Начальниками медицинских служб, психологами и командирами подразделений войсковых частей Калининграда и Калининградской области было организовано заполнение «Анкеты динамического наблюдения» и «Анкеты оценки профессионально важных качеств военнослужащего» для определения успешности профессиональной деятельности военнослужащих весеннего 2021 г. призыва граждан на военную службу. В дальнейшем заполненные бланки «Анкеты динамического наблюдения» и «Анкеты оценки профессионально важных качеств военнослужащего» были направлены в Военно-медицинскую академию имени С.М. Кирова.

С целью минимизации ошибок измерения был проведен расчет трудности и дискриминативности пунктов (вопросов), определяющих шкалы методики, с целью выявления пунктов, не работающих на шкалу. Также были проведены оценка валидности и надежности теста, стандартизация и нормирование методики.

Трудность заданий определялась, как значение доли ключевых ответов (в процентах) по каждому вопросу. Под дискриминативностью вопросов (пунктов) понимается их способность дифференцировать обследуемых в континууме оцениваемого свойства. Дискриминативность пунктов определялась путем расчета коэффициента точечно-бисериальной корреляции. Помимо вычисления коэффициентов трудности и дискриминативности, было рассчитано процентное соотношение вариантов ответов по результатам выполнения методики «ИСАДА».

В качестве минимально приемлемого значения дискриминативности ориентировались на уровень >0,2; для шкал, содержащих менее 15–20 пунктов (в личностных опросниках), минимальные уровни дискриминативности должны повышаться. Пункты с неудовлетворительной дискриминативностью должны быть переформулированы или исключены из методики. Соответственно, расчетные коэффициенты дискриминативности пунктов шкал методики «ИСАДА» в целом соответствуют рекомендуемым значениям (≥0,2).

Оптимальная трудность заданий (пунктов) для некогнитивных методик с дихотомическим форматом ответов находится в диапазоне 16–84 %. Расчет трудности заданий показал, что некоторые вопросы не в полной мере соответствуют оптимальному диапазону трудности заданий и находятся ниже референсного значения 16 %, т. е. более 84 % тестируемых отметили вариант ответа, не совпадающий с «ключом». В основном это вопросы, относящиеся к шкалам «Делинквентность» и «Аддиктивность», что свидетельствует либо об отсутствии этих признаков у данной выборки, либо о желании демонстрировать социально приемлемые формы поведения.

Надежность — это характеристика теста, отражающая устойчивость и точность психодиагностических измерений (чем выше надежность, тем меньше ошибка измерения). Была использована ретестовая надежность, характеризующая устойчивость результатов во времени, и если методика предъявляется один раз, проверяется одномоментная надежность, характеризующая согласованность пунктов. Одномоментная надежность шкал опросника оценивалась при помощи коэффициента внутренней согласованности Кьюдера–Ричардсона (KR-20). Этот коэффициент отражает адекватность пунктов (вопросов), включенных в шкалы методики, в отношении определяемых шкалами конструктов (в данном случае отклоняющихся форм поведения) и их достаточности для формирования шкалы.

Полученные коэффициенты внутренней согласованности шкал опросника и результаты проверки надежности методики по шкалам представлены в табл. 1. Для личностно-характерологических методик, имеющих высокие показатели внешней валидности, допустимы значения 0,6 (0,7)–0,8.

Таблица 1. Коэффициенты внутренней согласованности шкал методики «ИСАДА»

№ п/п	Наименование шкалы	Коэффициент внутренней согласованности KR-20
1	«Избегание»	0,612
2	«Суицидальность»	0,718
3	«Агрессивность»	0,729
4	«Делинкветность»	0,54
5	«Аддиктивность»	0,616
6	«Социальная желательность»	0,559

Анализ одномоментной надежности показал, что значения внутренней согласованности по шкалам «Избегание», «Суицидальность», «Агрессивность», «Аддиктивность» находятся в диапазоне приемлемых значений. Значения внутренней согласованности по шкалам «Делинкветность» и «Социальная желательность» находятся ниже рекомендуемых значений.

Проверка внешней валидности проводилась путем определения конвергентной валидности шкал методики «ИСАДА» и рассматривалась как величина взаимосвязи между оценками шкал методик, направленных на диагностику девиантных форм поведения, и оценками уже известной и применяемой методики «Прогноз». Результаты представлены в табл. 2.

Таблица 2. Коэффициенты корреляций между шкалами методики «ИСАДА» и шкалой «НПУ» методики «Прогноз»

Шкала методики «Прогноз»	Шкалы методики «ИСАДА»
Шкала методики «Прогноз»	«Избегание»	«Суицидальность»	«Агрессивность»	«Социальная желатедьность»	«Делинкветность»	«Аддиктивность»	«Склонность к девиантному поведению»
«НПУ»	0,329**	0,343**	0,172**	0,034	0,139*	0,273**	0,338**

Примечания: * — взаимосвязь является статистически достоверной, p < 0,05; ** — взаимосвязь является статистически достоверной, p < 0,01.

При анализе результатов видно, что показатели шкал методики «ИСАДА» имеют достоверную взаимосвязь с показателем уровня нервно-психической устойчивости методики «Прогноз».

С целью проверки характера распределения показателей была проведена описательная статистика полученных результатов в программе SPSS Statistics 17. Характер распределения исследуемого признака вычислялся при помощи первичных статистических величин: среднее арифметическое значение (М), мода (М_о), медиана (М_е), стандартное отклонение, коэффициенты асимметрии и эксцесса. Мода — это наиболее часто встречающаяся величина признака в данной выборке. Медиана — значение признака, приходящееся на середину ранжированного ряда, одна половина которого меньше медианы, а другая больше.

Частотное распределение полученных баллов также показано в графическом изображении в виде гистограммы или кумуляты. На гистограмме по оси абсцисс откладываются «интервалы значений», на которые разбиваются первичные показатели суммарных баллов по шкалам, а по оси ординат — количество обследованных, набравших по результатам методики данное количество баллов.

Для характеристики величины отклонения индивидуальных показателей от их средних значений (вариативности) использовались следующие показатели: дисперсия и среднее квадратичное отклонение. Чем больше величина полученной дисперсии, тем больше вариативность исследуемого показателя.

Выявление общего характера распределения предполагает также вычисление вторичных показателей асимметрии и эксцесса. Показатель асимметрии (As) показывает, является ли данное распределение симметричным относительно середины ряда. Для симметричных распределений Аs = 0. Величина коэффициента Аs по модулю, равная 2, является критической величиной.

Параметры распределения приведены в табл. 3. Гистограммы распределения значений по шкалам изображены на рис. 1–7.

Таблица 3. Параметры распределения по шкалам

Шкала	Среднее	Медиана	Мода	Стандартное отклонение	As	Эксцесс	Минимум	Максимум
«Избегание»	2,93	3	2	2,01	0,68	–0,07	0	9
«Суицидальность»	3,10	3	2	2,18	0,82	0,04	0	10
«Агрессивность»	2,82	2	1	2,36	0,80	–0,11	0	10
«Социальная желательность»	5,43	6	6	2,12	–0,29	–0,51	0	10
«Делинкветность»	2,30	2	2	1,74	0,72	0,24	0	9
«Аддиктивность»	1,90	2	0	1,8	1,18	1,42	0	9
«Склонность к девиантному поведению»	13,05	12	7	7,44	0,80	0,33	0	39

Рис. 1. Гистограмма распределения баллов по шкале «Избегание»

Рис. 2. Гистограмма распределения баллов по шкале «Суицидальность»

Рис. 3. Гистограмма распределения баллов по шкале «Агрессивность»

Рис. 4. Гистограмма распределения баллов по шкале «Делинкветность»

Рис. 5. Гистограмма распределения баллов по шкале «Аддиктивность»

Рис. 6. Гистограмма распределения баллов по шкале «Социальная желательность»

Рис. 7. Гистограмма распределения баллов по интегральной шкале «Склонность к девиантному поведению» Доля испытуемых, %

Для определения нормальности распределения использовался статистический критерий Колмогорова–Смирнова. Расчет показал, что вероятность того, что распределение показателей по шкалам имеет нормальное распределение, практически равна нулю. Однако следует учесть, что коэффициенты As и эксцесса по модулю не превышают критического значения 2.

Как видно из табл. 3, показатель As по всем шкалам методики «ИСАДА», за исключением шкалы «Социальная желательность», носит положительный характер и по модулю стремится к единице, а величина среднего значения превышает величину моды. Исходя из вышесказанного можно говорить об умеренной правосторонней As. Подобное распределение свидетельствует о том, что у большинства обследуемых ответы не совпадают с «ключевым» ответом и их шкальные оценки находятся ниже средних значений. По шкале «Аддиктивность» 25 % обследуемых набрали ноль баллов (М_о = 0), по шкале «Агрессивность» 16 % набирают 0 баллов и более 19 % от всей выборки один балл (М_о = 1). Скорее всего, рассматриваемые шкалы методики будут недостаточно дифференцировать обследуемых, имеющих низкий уровень выраженности качества.

Вместе с тем социальная значимость выявления военнослужащих с выраженной склонностью к отклоняющимся от общепринятых формам поведения является очевидной. Поэтому, возможно, речь должна идти не о нормировании распределения, а об установлении некоторых «критических» пороговых значений.

Распределение обследуемых по уровням склонности к девиантным формам поведения в зависимости от рассчитанных шкальных оценок представлено в табл. 4.

Таблица 4. Распределение обследуемых по уровням склонности к девиантным формам поведения

Номер п/п	Название шкалы	Нормальный уровень	Пограничный уровень	Патологический уровень
Номер п/п	Название шкалы	n	%	n	%	n	%
1	«Избегание»	754	78,62	149	15,54	56	5,84
2	«Суицидальность»	728	75,91	140	14,60	91	9,49
3	«Агрессивность»	815	84,98	96	10,01	48	5,01
4	«Лoжь»	504	52,55	263	27,42	192	20,02
5	«Делинквентность»	914	95,31	39	4,07	6	0,63
6	«Аддиктивность»	870	90,72	68	7,09	21	2,19
7	«Склонность к девиантному поведению»	745	77,69	99	10,32	115	11,99

Как видно из табл. 4, большинство обследуемых имеют нормальный уровень по шкале «Склонность к девиантному поведению» (склонность к девиантным формам поведения не выявлена): от 75 % по шкале «Суицидальность» до практически 95 % по шкале «Делинкентность».

По шкале «Социальная желательность», напротив, коэффициент As носит отрицательный характер. У большинства обследуемых количество баллов по шкале находится выше среднего. Это свидетельствует о том, что полученные результаты в большинстве случаев являются достоверными.

Распределение показателей по шкалам «Избегание», «Агрессивность» и «Социальная желательность» носит уплощенный характер (отрицательный эксцесс).

Анализ результатов тестирования по методике «ИСАДА» в различных сборных пунктах показал, что существенных нарушений в процедуре исследования, судя по полученным данным, не было, все основные статистические показатели подчинялись закону нормального распределения на изученных сборных пунктах.

При анализе результатов расчета диагностической ценности методики показатель ее чувствительности (вероятность того, что результат теста будет положительным при наличии ОП) оказался невысоким — 16,7 %, при этом специфичность (вероятность того, что результат теста будет отрицательным при отсутствии ОП) была заметно лучше — 88,5 %. Соответственно, и прогностическая ценность положительного результата (PPV, вероятность того, что ОП присутствует, когда тест положительный) составила всего 25,0 %. Прогностическая ценность отрицательного результата (NPV, вероятность того, что ДП отсутствует, когда тест отрицательный) равнялась 82,1 %. Отношение правдоподобия положительного результата теста (LR+, отношение между вероятностью положительного результата теста при наличии ОП и вероятностью положительного результата теста при отсутствии ОП) составило 1,44. Отношение правдоподобия отрицательного результата теста (LR–, отношение вероятности отрицательного результата теста при наличии ОП и вероятности отрицательного результата теста при отсутствии ОП) равнялось 0,94. В целом, диагностическая эффективность методики по имеющимся данным составила 75,0 %, однако низкий индекс Юдена (всего 5,1 %) и показатель числа, необходимого для диагностики (19,5), свидетельствуют о необходимости продолжения работы по валидизации методики [8].

По результатам оценки психометрических качеств методики по выявлению признаков ОП у военнослужащих у большинства из них (от 75 до 95 %) не выявлено склонности к девиантным (отклоняющимся) формам поведения. Шкалы опросника «ИСАДА» в целом соответствуют требованиям Методических указаний по порядку разработки, экспертизы, внедрения и использования методик профессионального психологического отбора в Вооруженных силах Российской Федерации. Методика «ИСАДА» имеет высокую социальную значимость, так как ее применение позволяет диагностировать склонность военнослужащих к девиантным формам поведения. После приведения психометрических характеристик (трудности и надежности) в соответствие с требованиями, отраженными в Методических указаниях по порядку разработки, экспертизы, внедрения и использования методик профессионального психологического отбора в Вооруженных силах Российской Федерации, методика может быть рекомендована к применению. В ходе практического использования методики «ИСАДА» целесообразно продолжить работу по оценке ее прогностической валидности.

ЗАКЛЮЧЕНИЕ

Таким образом, методика «ИСАДА» может быть использована для диагностики признаков склонности военнослужащих к девиантным (отклоняющимся) формам поведения. В ходе практического использования методики «ИСАДА» в дальнейшем целесообразно продолжить работу по оценке ее прогностической валидности. Реализация методики возможна и в системе медико-психологического сопровождения, так как она позволяет оценивать склонность к ОП в динамике.

ДОПОЛНИТЕЛЬНАЯ ИНФОРМАЦИЯ

Источник финансирования. Финансирование данной работы не проводилось.

Конфликт интересов. Авторы декларируют отсутствие явных и потенциальных конфликтов интересов, связанных с публикацией настоящей статьи.

Вклад авторов. Все авторы внесли существенный вклад в проведение исследования и подготовку статьи, прочли и одобрили финальную версию перед публикацией.

About the authors