Новый метаанализ о валидности инструментов оценки

Фрэнк Шмидт умер и теперь можно... (хотя сам Сэккитт уверяет, что подготовил свой текст еще при жизни титана)
Полагаю (мое субъективное, разумеется, мнение), что сей опус в значительной степени носит конъюнктурный характер.
Напомню, что наши американские коллеги жутко страдали из-за требований законодательства (Uniform Guidelines on Employee Selection Procedures (Equal Employment Opportunity Commission, Civil Service Commission, Department of Labor, & Department of Justice, 1978), запрещающего "расовую дискриминацию" при приеме на работу.
А тут такая незадача - уровень IQ афроамериканцев даже по самым мягким оценкам оказывался на 0,8 SD ниже чем у белых и разница сия никак не желала нивелироваться.
Работодателям приходилось крутиться как уж на сковородке, дабы не попасть под судебное преследование. Каких только уверток не было предложено амерпсихологами за последние 30 лет, чтобы решить нерешаемую задачу - и персонал отобрать, способный работать качественно, и закон не нарушить. А тут еще BLM разбушевался...
И вот, наконец, тов. Сэккитт предлагает решение, которое вся либеральная общственность встретит, разумеется, бурными и продолжительными аплодисментами (уже встретила): интеллект вовсе не так значим, как об этом писали Шмидт и Хантер. Без него вообще можно обойтись, потери будут невелики! Ура, товарищи!
Почему бы это? Ну вот вам объяснение: 1) характер труда изменился; 2) неправильно RR-коррекция проводилась.
На этом группа ниспровергателей роли интеллекта не остановилась и в более поздней публикации (Revisiting the design of selection systems in light of new findings regarding the validity of widely used predictors // Industrial and Organizational Psychology, 2023, 1–18) опустила его еще ниже (кажется, на 8-ю позицию).
Интересно, что Сэккитт воюет с метанализом 1998 г. и ни словом не упоминает поздний (2016 г.) текст Шмидта с соавт., в котором они приводили уточненные метааналитические оценки валидности предикторов/методов, свидетельствующие (по их мнению) о еще более высокой роли IQ, нежели это следовало из метаанализа 1998 г.

На всякий случай хотел бы обратить внимание тех, кто, может быть, захочет построиться в стройные ряды за тов. Сэккиттом: вся эта муть (см. выше) никак не поколебала принципов и методов отбора в ВС США: как отбирали по интеллекту (ASVAB), так и продолжают делать это.
Стоит задуматься.

Приветствую наших замечательных эрудитов! И особенно - Константина Владимировича!
У меня на мой непросвещенный взгляд (маловато последние годы я слежу за
метаанализами, честно признаюсь), что-то не знаю я попыток применения таких простых
в методическом плане приемов для сравнения межрасовых и межнациональных
различий по уровню IQ (хотя бы в отношение тестов на визуальную логику).
Ведь можно было давно уравновесить группу "белокожих" и "небелокожих"
испытуемых по таким дополнительным показателям как количество прочитанных
книг, количество часов в день за компьютерными играми (в детстве), количество
часов "натаскивания на тесты", количество попыток улучшить результат в ходе
"серийного тестирования" (вот это последнее меня больше всего интересует).
Может быть, Вы в курсе? - Может быть, такие попытки выравнивания выборок по
эффекту "натасканности" уже кто-то предпринимал?

В этом сезоне, к вашему сведению, организаторы конкурса "Лидеры России"
отказались от дистанционного тестирования интеллекта. Официальный
аргумент (произнесенный в паблике) таков: "Надо бы удивить тех, кто
продает и покупает тесты для "натаскивания". А при этом подразумеваемый
аргумент такой, что натаскивание все-таки дает эффект подъема тестового IQ.
Мне кстати, попадались книги под рубрикой "Up your score!" и в них
авторы сообщают о достижения эффекта в размере до 15 очков
на шкале IQ. Вот Вам, пожалуйста, та самая пресловутая сигма.
Черные дети играют в стритбол часами и днями напролет,
а белые - в компьютерные игры, причем и днем, и ночью.

Ваш АШ

Я не так давно касался проблемы расовых различий в интеллекте в своей статье: https://www.elibrary.ru/item.asp?id=49839682
Там есть ссылки на другие источники. Проблема до сих не решена окончательно, но каждый раз вызывает бурю вненаучного возмущения.
Кстати, преимущество евреев-ашкенази в интеллектуальных тестах никого не удивляет?

При этом никто до сих пор не знает, что такое интеллект. Вопрос намного сложнее, чем кажется на первый взгляд (сейчас пишу статью на связанную с этим вопросом тему).

Вы правы, Ирина Алексеевна: не по нему, к великому сожалению...
Последним оплотом отбора по интеллекту (в значительной мере, благодаря наследию Бориса Викторовича Кулагина) до недавнего времени оставался отбор в военные ВУЗы. Даже несмотря на то, что его результаты очень сильно искажались "с помощью" опросника "Адаптивность". Даже несмотря на фальсификации (в отдельных ВВУЗах) и натаскивание (а это уж кому как повезет...)
Но - увы - несколько лет назад этот оплот пал (роль интеллекта была снижена до символической).
В разработанной мной в 16-17 гг. новой методологии отбора на в/службу по контракту я пытался в предложенном мной механизме вынесения заключения обеспечить приоритет интеллекта.
Но после 4-х лет закулисных "терок" (после моего ухода из огранизации, которая формально отвечала за этот продукт), с этой методологией произошло примерно то же, что и с отбором в ВВУЗы.
Впрочем, это еще не дно...

Никита Александрович,

а Вы в курсе, были ли попытки элиминирования эффекта "натаскивания".
То есть могли бы Вы ответить на мой вопрос?

С ув,
АШ

Специально этим вопросом я не занимался. Насколько я знаю, предварительная тренировка на заданиях такого же типа даёт прирост около 1 стандартного отклонения, причём для числовых субтестов этот эффект проявляется сильнее, чем для вербальных. Предполагаю, что помогло бы использование разного типа заданий в случайном порядке. Тогда тестируемому придётся каждый раз переключаться от одного принципа решения к другому (примерно как в тесте Лачинса на гибкость мышления).
Ещё один подход состоит в том, чтобы всем тестируемым предлагать пройти тренинг перед процедурой тестирования. Иными словами, организаторы отбора создают ситуацию формирующего эксперимента, а отклик на него (обучаемость) и является диагностически значимым показателем.

Можно также использовать косвенные признаки. Например, мне удаётся прогнозировать интеллект детей и подростков на основе нейропсихологической диагностики. Используется 40 методик, оцениваются 171 переменная, а с интеллектом связаны лишь несколько десятков. Очевидно, что на эти методики натаскать намного сложнее, чем на формальный тест, тем более, что обследуемый совершенно не понимает, на что я обращаю внимание и какие показатели фиксирую.

Уверен, что Константин Владимирович знает об этих методиках намного больше, но от себя могу добавить, что в 2013 г. мы с А.Ф. Гасимовым написали статью об исследовании срочников с помощью этих методик. В том исследовании мы среди прочего показали, что результаты тестирования нервно-психической устойчивости заметно связаны со шкалой социальной желательности и по сути образуют единый фактор адаптивности за счёт умения имитировать согласие с новыми социальными нормами. У студентов МГУ результаты со шкалой лжи практически не связаны (достоверность одних и тех же методик варьирует в зависимости от того, кого и в какой ситуации тестируют). Психометрические характеристики данных опросников ниже тех требований, которые описаны в Стандарте тестирования персонала. На мой взгляд, пользоваться ими нельзя. Тем более, использование их при работе с военнослужащими является ситуацией экспертизы, предъявляющей повышенные требования к контролю установочного поведения.

Начнем с того, что такого психологического конструкта, как "нервно-психическая (не)устойчивость" попросту не существует.
За полвека бесконечных заклинаний на эту тему никаких серьезных попыток изучить, что сие означает, так и не было сделано. А раз так, то что измеряется?
Поскольку Никита Александрович любит ссылаться на свои труды, поступлю и я таким же образом, приведя цитату из одной из своих статей 2019 г.:
"Что мы узнали о шкалах «НПУ» за это (немалое) время? Была ли исследована их конструктная валидность? Было ли проведено всестороннее исследование их психометрических характеристик? Были ли представлены эмпирические доказательства измерительной эквивалентности одноименных шкал «НПУ» разных опросников – хотя бы тех, которые были возведены в статус непререкаемых, обязательных к массовому применению, эталонов («Адаптивность», «Прогноз», НПН-А)? Были ли изучены особенности функционирования этих шкал в разных возрастных, гендерных, национальных группах или, хотя бы, в популяциях военнослужащих по призыву и по контракту? Исследовалась ли динамика показателей НПУ в когортах и в лонгитюде? Были ли представлены убедительные, статистически корректные и воспроизводимые доказательства их критериальной валидности? Нужно ли вообще пытаться сводить все многообразие поведенческих проблем военнослужащих к одному показателю? Наконец, если даже на какие-то из этих вопросов ответ окажется утвердительным, то как это отразилось на практике применения упомянутых методик в войсках?"
Нынче число упомянутых выше мусорных методик пополнилось еще несколькими, якобы выявляющими "девиантное поведение" (новая "любимая жена" в некоторых силовых структурах). Опять-таки, без ясного теоретического анализа этого гуттаперчевого термина.
Разумеется, мной накоплены циклопические массивы данных, полученных с помощью "Прогнозов", "Адаптивностей" и т.п.; неоднократно доводилось описывать в различных отчетах психометрические анализы полученных с их помощью данных, но не хотелось бы терять свое и Ваше время детальным разбором всего этого богатства. Скажу лишь, что практически во всех безразмерных шкалах "НПУ" до 25% пунктов недискриминативны по отношению к интегральной оценке по шкале. Нужно ли задавать 100 вопросов там, где ответ аналогичного психометрического качества можно получить с помощью 8-10, - вопрос риторический.
Искренне жаль военных психологов, вынужденных (директивно) изводить тонны бумаги и значительную часть своей профессиональной жизни на бессмысленные многократные обследования по одним и тем же "утвержденным" методикам миллионов военнослужащих - без какой-либо реальной пользы, а лишь для того, чтобы в случае ЧП чиновники могли (или не могли) найти "отмазу".
С чем не соглашусь (категорически) из уже высказанного в данной дискуссии, так это с тезисами Никиты Александровича о какой-то, якобы, благодати, исходящей от шкал "лжи" (социальной желательности). Никакой лжи они, конечно, не измеряют, и это известно уже давно и, кажется, везде, кроме России. К сожалению.

А можете дать библиографическую ссылку для Вашей цитаты? Я сошлюсь на Вас, если буду когда-нибудь снова об этих проблемах писать. Кстати, я недавно готовил доклад по MMPI и включил туда ссылку на Вашу публикацию: Сугоняев К.В. О психометрическом качестве тестовых «брендов» // Развитие теории и практики профессионального психологического отбора в Вооруженных Силах нового облика: материалы науч.-практ. конф. (Москва, 31 октября 2012 г.) / под общ. ред. Ю.Н. Тучкова. – М.: ВАГШ, 2012. – С. 228–252.

Относительно шкал социальной желательности я, вероятно, не очень точно выразился, поэтому сложилось впечатление о "благодати". Речь идёт в первую очередь об отсутствии дискриминантной валидности между основными шкалами и шкалами социальной желательности. Естественно, в современной психодиагностике никто всерьёз не оценивает достоверность через эти шкалы, но в обсуждаемых методиках-то они есть.

Что касается конструкта НПУ, то сомнения есть в первых двух словах "нервно-психическая". Это как любимое слово у судебных экспертов - "психоэмоциональное". Но вот "устойчивость - неустойчивость", как мне кажется, имеет право на существование по крайней мере как синоним Айзенковского нейротизма. Другой вопрос, чем её измерять (на самом деле есть ЭЭГ-корреляты, что описано у Э.А. Голубевой, но кто же будет всем проводить ЭЭГ; реакции периферической нервной системы тоже можно смотреть, как это делал Ф.Б. Березин).

Если всем было известно, что эти три методики для отбора военнослужащих работают плохо, и были собраны большие данные, это подтверждающие, то почему их продолжали использовать? Вы ведь проводили соответствующие исследования и наверняка имели возможность донести их результаты до лиц, принимающих решения? Как они это обосновывали? Вряд ли прямо говорили, что это возможность избежать ответственности; была же какая-то формальная мотивировка продолжать их использовать.

Никита Александрович, чиновники никогда ничего не обсновывают, он просто принимают единственно верные решения.
Альтернативные точки зрения? Они давно уже научились их не замечать.
Да и зачем? Ведь за глупости и вызванный ими ущерб никакой ответственности не будет...
Как-то так это работает, по моим наблюдениям

Павел Сергеевич, я Вам не скажу за всю Одессу (госсектор), поскольку контактирую лишь с весьма ограниченной его частью.
Но могу припомнить и привести в качестве такого примера разумное отношение, которое было проявлено к внедрению компьютерных психодиагностических комплексов в одной из силовых структур. Уже через пару-тройку лет после поступления первых партий комплексов была заказана НИР, имеющая целью оценить, как реально работают "зашитые" в них методики.
Я выполнял эту (и смежную с ней) НИР, в ходе которой получил доступ к почти 0,5 млн. электронных протоколов обследований по более чем сотне методик.
В результате были исправлены неизбежные ошибки, около двух дюжин методик были признаны психометрически безнадежными (и заменены обновками), а для большинства оставшихся были рассчитаны репрезентативные нормы (это если очень кратко).
Тяжелая работа, конечно, но крайне необходимая - без нее любая автоматизация превращается в профанацию.
Жаль только, что эти шаги в правильном направлении продлились недолго: сменилось руководство и... процесс адаптации методобеспечения к целевому контингенту остановился, а потом все начало потихоньку откатываться назад.
К сожалению, в части внедрения в практику автоматизированной психодиагностики это единственный известный мне позитивный пример

Отчетные материалы, к сожалению, ограниченного доступа. Увы.