DIAGNOSTIC APPARATUS OF PROFESSIONAL AND PSYCHOLOGICAL CERTIFICATION OF NAVAL ACADEMY OFFICERS

Full Text

Практически значимые аспекты военно-профессиональной деятельности в общем виде заданы заказчиком кадров для ВС РФ и выражены в формулировках пункта 3 приказа Министра обороны от 29 февраля 2012 г. № 444 «О порядке организации и проведения аттестации военнослужащих, проходящих военную службу по контракту в Вооруженных силах Российской Федерации». Для максимально объективной оценки профессионально важных качеств офицера требуются результаты экспериментально-психологического обследования (тестирования). В модернизированной тестовой библиотеке автоматизированного рабочего места специалиста профотбора (АРМ СПО) имеется надлежащий психодиагностический инструмент - тестовая батарея КРД («Кандидат на руководящую должность»). Прототипом методики, составляющей основу тестовой батареи (ТБ), является Калифорнийский психологический опросник (California Psychological Inventory, CPI), который был разработан в начале 50-х годов XX века под руководством американского психолога Х. Гауха (Gough H.G., 1951). Опросник CPI был рекомендован для изучения деловых и личностных качеств, оценки управленческого потенциала офицеров в фундаментальном методическом пособии, предназначенном для оптимизации работы специалистов кадровых органов ВС РФ в случаях, требующих обоснованного принятия кадровых решений [1]. Опыт применения различного психодиагностического инструментария в нашей практике показал, что интегральные шкалы ТБ КРД (разработчик К. В. Сугоняев, 2011) наилучшим образом отвечают требованиям, предъявляемым к описанию профессионально важных качеств офицера, и позволяют полно и всесторонне характеризовать практически все уровни профессиональной компетентности при решении разных аттестационных задач, а не только при назначении на руководящую должность. Шесть интегральных шкал: интеллектуальный, лидерский, адаптационный, исполнительский, коммуникативный потенциал, шкала нормопринятие, а также седьмая индикативная шкала достоверность практически полностью воспроизводят уровни профессиональной компетентности - функционально-профессиональная, интеллектуальная, личностная (социальная), межличностная (коммуникативная), рефлексивная и сверхкомпетентность - в модели профессиографического описания воинских должностей всех классов и уровней, подлежащих замещению офицерами [1, 2]. Как показала практика, краткая интерпретация шкал представляет собой емкую психологическую характеристику профессионально-должностных и личностных качеств аттестуемого офицера. При необходимости шкалы ТБ КРД могут легко подвергаться комплексированию в профили более высокого порядка и, вместе с тем, каждая методика из состава ТБ в отдельности предоставляет специалистам достаточное количество диагностической информации для работы с ней и в экспертных случаях. Однако, значимым ограничением для применения ТБ КРД на всех контингентах военнослужащих, имеющих офицерские звания, в решении разнородных аттестационных задач является то, что она стандартизована на выборке старших офицеров. Между тем, в практике подразделений профессионального психологического отбора (ППО) ВУНЦ ВМФ «Военно-морская академия» с 2013 года ТБ КРД применялась и на контингентах младших офицеров в качестве дополнительного инструментария с корректировкой весовых коэффициентов и срезовых оценок значимых показателей. Таким образом, нами накоплен достаточно обширный экспериментальный материал для верификации психометрических качеств методик ТБ КРД, оценки характеристик ее модели, полученных по результатам обследования младших офицеров. Перед проведением анализа весь массив данных подвергся изучению на предмет выявления невалидных протоколов и последующего удаления всех некондиционных наблюдений. ЦЕЛЬ ИССЛЕДОВАНИЯ Провести экспресс-оценку психометрических качеств методик из состава тестовой батареи «КРД», а также проверить факторную структуру модели психологических профилей на различных выборках офицеров ВМФ с целью оценки перспектив применения изучаемого методического аппарата для решения разнородных аттестационных задач. МАТЕРИАЛ И МЕТОДЫ ИССЛЕДОВАНИЯ Выборочную совокупность исследования составили свыше полутора тысяч офицеров (N = 1507) мужского пола в звании от лейтенанта до капитана 1 ранга (полковника) включительно. Возрастные статистики: средний возраст (М) - 31,1 года; мода (Мо) - 28 лет; медиана (Ме) - 30 лет; минимальный (Min) - 22 года; максимальный (Max) - 50 лет; среднеквадратичное отклонение (СКО) - 5,03. Обследование офицеров проводилось в период прохождения воинской службы в составе экипажей кораблей (лодок), в береговых частях ВМФ, на должностях в штабах (управлениях), а также на должностях слушателей в ходе обучения в Военном институте (дополнительного профессионального образования) ВУНЦ ВМФ «Военно-морская академия» и в Военно-морской академии по программам с высшей военной оперативно-тактической подготовкой (магистратуры). Сравнению подверглись результаты тестирования, проведенного на выборках, выделенных из совокупности (N = 1507) по воинскому званию: группы младших офицеров (nмл.оф. = 974, статистики возраста: М = 28,4; Мо = 28; Ме = 28; Min = 22; Max = 42; СКО = 2,88) и группы старших офицеров (nст.оф. = 533, статистики возраста: М = 37,5; Мо = 35; Ме = 36; Min = 33; Max = 50; СКО = 3,73); а также на выборках, сформированных по возрасту: группы 1, куда вошли офицеры в возрасте от 22 до 27 лет (n1 = 377, статистики: М = 25,7; Мо = 27; Ме = 26; Min = 22; Max = 27; СКО = 1,38); группы 2 - возраст от 28 до 34 (n2 = 786, статистики: М = 30,4; Мо = 28; Ме = 30; Min = 28; Ma x= 34; СКО = 1,90); группы 3 - возраст от 35 до 45 (n3 = 328, статистики: М = 38,2; Мо = 35; Ме = 38; Min = 35; Max = 45; СКО = 2,86). Надежность шкал (показатель одномоментной надежности - ОМН) методик как степень точности измерения истинных значений относительно ошибки измерения оценивалась с помощью вычислений коэффициента альфа Кронбаха для дихотомий и по формуле Кьюдера-Ричардсона-20 для полихотомий. Дискриминативность рассчитывалась как точечно-бисериальный коэффициент корреляции пункта со своей шкалой [3]. Расчеты проводились с использованием программных средств АРМ СПО «Отбор-В» и утилиты ItemsAn. Для проверки гипотез о структуре факторов и корреляций между ними в моделях, построенных на пяти выборках, проводился конфирматорный (подтверждающий) факторный анализ (КФА) с использованием техники моделирования структурными уравнениями в статистическом пакете TIBCO STATISTICA version 13. РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ И ОБСУЖДЕНИЕ Изучение показателя одномоментной надежности (ОМН) методик из состава ТБ КРД, рассчитанного для различных выборок, показало следующие результаты. Конструктная валидность показателей (шкал) методик из состава ТБ КРД (за исключением методики М-профиль-1, для которой ОМН не рассчитывается) возрастает от выборки младших офицеров к выборке старших офицеров, а также от возрастной группы 22-27 лет к группе 35-45 лет. Наиболее заметно это проявляется в профиле «Лидерский потенциал», и несколько менее очевидно в профиле «Исполнительский потенциал». Низкие значения ОМН (меньше 0,750) во всех выборках определяются у показателей «Справедливость» и Атипичность ответов» методики Шкала БУ-1 и у показателей «Самовлюбленность», «Готовность к деятельности» и «Эмпатия» методики ЛОР-1. Следует отметить, что наихудший показатель ОМН демонстрирует шкала «Готовность к деятельности» (методика ЛОР-1) - так, в пяти выборках надежность шкалы в среднем равна 0,662 и приближается к вероятности случайного угадывания. Еще у трех шкал - «Справедливость», «Атипичность ответов» (методика Шкала БУ-1) и «Эмпатия» (методика ЛОР-1) - ОМН в разных выборках опускается ниже 0,7, что не отвечает требованиям стандартов [3, 4]. Вместе с тем, из 31 показателя, представленного в таблицах, 20 шкал («Эффективность» из методики Словарь-1, «Самооценка» и «Позитивное мировосприятие» из методики Шкала БУ-1, «Общительность», «Самоконтроль», «Чувство благополучия», «Толерантность», «Самореализация», «Враждебность», «Депрессия», «Тревожность», «Интернальность общая», «Доминирование», «Способность к статусу», «Экстраверсия», «Нормопринятие», «Лидерский потенциал», «Социальное присутствие», «Социальная желательность», «Атипичность ответов» из методики ЛОР-1) показали ОМН приемлемого качества (больше 0,750) во всех выборках. Отдельного обсуждения заслуживают результаты, полученные по методике Матрицы Равена (режим 3, гибридная 20-пунктовая версия с 8-ю альтернативами), которая, будучи одним из самых надежных психометрических тестов, на всех выборках показала пониженные значения ОМН - от 0,715 до 0,726. Расчет дискриминативности пунктов на всей совокупности (N = 1507) показал, что корреляция всех пунктов методики со шкалой «Продуктивность» отвечает требованиям стандартов и превышает значения в 0,2 [3, 4]. Однако дискриминативность первых двух пунктов соответствует нижней границе нормы, а у 3-го задания значение дискриминативности чуть превышает ее - 0,22. Удаление этих пунктов из шкалы приводит к понижению ОМН, следовательно повышение психометрических качеств методики требует иных подходов. На один из возможных путей оптимизации методики, предназначаемой к применению на наших выборках, могут указать значения Индекса трудности пунктов. Анализ показал, что Индекс трудности первых шести заданий лежит в диапазоне от 0,037 до 0,133, что заметно ниже границы в 0,2, определяемой психометрическими стандартами [3, 4]. От 86 до 96% обследуемых решают эти пункты в соответствии с ключом. На наш взгляд, здесь вряд ли эффективным будет уменьшение времени (12 мин), отводимого на выполнение теста, но потребуется работа по подбору иных вариантов заданий. Конфирматорный факторный анализ (КФА) проводился на модели, воспроизводящей структуру факторов и пути (связи), предложенной разработчиком ТБ КРД, в которой латентными переменными являлись 7 психологических профилей, а эндогенными - выступали показатели (шкалы) всех методик (включая М-профиль-1) из состава тестовой батареи. Оценка качества подгонки моделей проводилась для всех пяти выборок обследуемых. Анализировалась матрица корреляций модели, значение функции несогласия вычислялось по методу ОМНК-МП (сочетание обобщенного метода наименьших квадратов с методом максимального правдоподобия). При существующем среди исследователей разногласии во взглядах на оптимум ряда показателей качества подгонки теоретической модели к эмпирическим данным мы руководствовались несколькими рекомендациями [5-7]. В таблице представлен ряд таких индексов, позволяющих сравнить пять экспериментальных выборок. Показаны: значение функции несогласия (ФН); относительный хи-квадрат (Relative Chi-Square or Normal (Normed) Chi-Square - CMIN/DF - индекс отношения критерия согласия к числу степеней свободы χ2/df); индекс Стейгера-Линда (RMSEA - Root Mean-Square Error Of Approximation - квадратичная усредненная погрешность аппроксимации); сравнительный индекс подгонки Бентлера-Боне (CFI - Comparative Fit Index); индекс экономичности Джеймса-Мулаика-Бретта (PNFI - Parsimony Normed Fit Index -нормированный показатель соответствия с поправкой на экономичность); Байесовский критерий Шварца (BIC - Bayesian Information Criterion). Согласно литературным источникам, решение о приемлемости качества подгонки модели к эмпирическим данным выносится, если один из показателей CMIN/DF, RMSEA или CFI отвечает требованиям согласия, а остальные не очень сильно отклоняются от критериального интервала [5-7]. Принято считать, что модель оптимальна при CMIN/DF не больше 2,0, при RMSEA меньше 0,05 и при CFI больше 0,9 [5-7]. Полученные нами данные указывают на низкое качество подгонки во всех пяти выборках. Но в проведенном исследовании нас интересует потенциал модели в перспективной стандартизации ТБ КРД на релевантных выборках. И здесь, во-первых, мы отмечаем, что при сравнении данных, полученных на выборках младших и старших офицеров, по значениям индексов RMSEA и CFI две выборки отличаются несущественно, и, кроме того, имеют хороший ресурс для повышения качества подгонки. Абсолютные значения индекса CMIN/DF, а также PNFI и BIC указывают на недостаточную экономичность модели - настоящая модель в соответствии с этими индексами для обеих выборок является слишком сложной, с большим количеством параметров в сравнении с количеством переменных и корреляций в ней. Вероятно, это связано с тем, что согласно конструктивным особенностям методик (в частности, ЛОР-1) и спецификации ТБ КРД, в выведении интегральных шкал первого и второго порядка участвует большое количество одноименных пунктов и первичных шкал. Сравнение индексов при изучении трех выборок, сформированных по возрасту, показывает сходную картину. При этом в целом согласие несколько выше в модели, проверенной на выборке n1 = 377 (возрастная группа 22-27 лет), и хуже по качеству подгонки к выборке n3 = 328 (возрастная группа 35-45 лет). Поскольку индексы согласия, будучи общими тестами соответствия, не оценивают, какие именно пути в модели являются значимыми, то переходить к интерпретации путевых коэффициентов в модели следует после того, как модель будет подогнана, - «значимые» путевые коэффициенты в моделях с плохим соответствием не несут смысла [6]. На этом этапе исследования перед нами стояла задача экспресс-оценки качества ТБ КРД, поэтому приведем здесь некоторые результаты анализа путей. Так, в ходе выполнения КФА подтвердилась факторная структура профиля «Интеллектуальный потенциал» во всех выборках за исключением двух - nст.оф.=533 (старшие офицеры) и n3=328 (возрастная группа 35-45), - в которых вклад показателя «Креативность» (методика М-профиль-1) в профиль оказался статистически незначим. Полностью подтвердилась на всех выборках структура профиля «Адаптационный потенциал». Не подтвержден вклад показателя «Эффективность» (Словарь-1) и «Признание» (М-профиль-1) в структуру профиля «Лидерский потенциал» во всех выборках за исключением группы в возрасте от 22 до 27 лет (n1 = 377). Вклад остальных 17 показателей в этот профиль подтвердился на всех выборках. В структуре профиля «Исполнительский потенциал» из 13 показателей не подтверждается вклад показателей «Структурирование» и «Интерес и полезность» (М-профиль-1) во всех выборках, а в выборке старших офицеров и в группе возраста 35-45 лет не «сработал» показатель «Самовлюбленность» (ЛОР-1). В профиле «Коммуникативный потенциал» у младших офицеров не имеют значения два из десяти показателей - «Взаимоотношения» (М-профиль-1) и «Эмпатия» (ЛОР-1), а группе старших офицеров только один - «Враждебность» (ЛОР-1). По одному показателю из десяти не получено подтверждения при сравнении возрастных групп: по показателю «Взаимоотношения» в группах 22-27 и 28-34 (n1 = 377 и n2 = 786), а в группе 35-45 (n3 = 328) - по показателю «Враждебность». Наименьшее число подтверждений получили шкалы, составляющие профиль «Нормопринятие». Так, во всех изучаемых выборках, по 5 из 9 показателей в разных сочетаниях получили неприемлемо низкие значения оцениваемых параметров. Структура профиля «Достоверность» так же, как и структура «Адаптационного потенциала», в ходе расчетов была полностью подтверждена во всех выборках. Отдельно отметим, что вклад показателя «Продуктивность» (методика Матрицы Равена-3) подтвердился во всех соответствующих профилях всех выборок. ЗАКЛЮЧЕНИЕ Анализ психометрических характеристик методик из состава ТБ КРД по данным, полученным на экспериментальных выборках, а также результаты конфирматорного факторного анализа указывают на возможность применения ТБ не только для обследования старших офицеров. Особенности конструкции ТБ и ее спецификации позволяют применять ее для решения различных аттестационных задач в рамках профессионально-психологической поддержки кадровых решений в ВС РФ. Данные анализа ПМХ и КФА показывают, что для применения ТБ на любой из описанных выборок требуется небольшая доработка, для которой качество ТБ, входящей в состав методического аппарата настоящих технических средств специалиста профотбора (АРМ СПО) представляет хорошую перспективу.

About the authors

L M Rudenko

Military Training and Research Center of the Navy “ Naval Academy named after Admiral of the Fleet of the Soviet Union N. G. Kuznetsov”

Saint Petersburg, Russia

A V Syrtsev

Military Training and Research Center of the Navy “ Naval Academy named after Admiral of the Fleet of the Soviet Union N. G. Kuznetsov”

Saint Petersburg, Russia

References

Supplementary files