Тестовая критика или ЧТО и ЧЕМ мы измеряем?

Уважаемые коллеги!
Полтора года назад я вступил в число участников этого форума и вот – сделал карьеру: мне доверен ПЕРСОНАЛЬНЫЙ БЛОГ.
Как бы я хотел распорядиться оказанным доверием?
Во-первых, я приглашаю заглядывать сюда тех психологов, которые стоят перед выбором: каким инструментарием воспользоваться при проведении того или иного исследования или решения практических задач.
Во-вторых, я бы очень хотел, чтобы сюда иногда заглядывали и те, кто учит студентов психодиагностике.
Я постараюсь (постепенно, конечно) представлять здесь сведения о РЕАЛЬНОМ ФУНКЦИОНИРОВАНИИ известных психометрических тестов, которое может СУЩЕСТВЕННО отличаться от того, что вам поют продавцы и популяризаторы.
Поэтому одна из долгоиграющих тем на этом блоге может быть озаглавлена как «ТЕСТОВАЯ КРИТИКА». Обещаю, что это будет честное повествование, сопровождаемое выкладками результатов анализа. Желающие перепроверить мои результаты смогут запрашивать экселевские таблицы с первичными данными, в том числе, на пунктовом уровне (обезличенными, конечно).
В первую очередь внимание будет уделено методикам из «малого джентельменского набора практического психолога» (затронутого, в частности, в публикациях Е.Лурье). К сожалению, это не только то, за что почти рефлекторно хватаются невзыскательные практики при появлении любой задачи, но и то, что зачастую НАВЯЗЫВАЕТСЯ многоуважаемыми членами ученых советов аспирантам и соискателям ученых степеней.
Думаю, что мало, кому интересно мое МНЕНИЕ, поэтому говорить будут в основном данные. При этом, конечно, будем помнить о том, что данные тоже могут вводить в заблуждение (Schmidt F.L. How to detect and correct the lies that data tell // Perspectives on Psychological Science, 2010, 5:3, 233–242), поэтому я очень надеюсь, что на этом блоге найдется место для дискуссий, а не только моих монологов.

Вторая тема, которой хотелось бы со временем коснуться, может быть названа так: «МИФЫ И ГОРОДЛСКИЕ ЛЕГЕНДЫ РОССИЙСКОЙ ПСИХОДИАГНОСТИКИ». Здесь я, возможно, в еще большей степени рискую оказаться под огнем несогласия, но, полагаю, что провокации иногда могут оказываться полезными на бесконечном пути движения к истине...

Сразу обозначу пределы своих возможностей.
С одной стороны я располагаю 6-7-значными количествами протоколов в электронном формате, доступных для психометрического анализа. Они охватывают 3-значное число методик, применявшихся на разных популяциях.
С другой стороны, абсолютное большинство этих данных получено в аттестационных ситуациях. Насколько справедливы полученные в этих условиях результаты и выводы для других ситуаций – вопрос открытый. Поэтому наибольший интерес они могут представлять для организационных психологов, а не консультантов. Однако мне представляется, что если тест хронически ненадежен и не подтверждает структурную валидность в аттестационных ситуациях, для консультантов это, как минимум, повод задуматься.
Второе ограничение связано со спецификой популяций, на которых эти данные получены. В большинстве случаев это – военнослужащие и гражданский персонал нескольких силовых ведомств. Но не только. Во всех случаях, когда будет возможность, будут представляться и результаты психометрического анализа данных, полученных на цивильных выборках. Если кто-то полагает, что сотрудники силовых структур – это нечто совершенно не похожее на работников гражданских организаций, то должен сразу сказать: на уровне психометрических характеристик тестов эта гипотеза не находила своего подтверждения во всех случаях, когда такие сопоставления нами проводились (во всяком случае, в части тех, кто служит и работает по контракту).

Сюда подтянуты некоторые из ранее опубликованных на форуме материалов. Но в качестве увертюры я хотел бы приложить к этому посту одну из моих некогда опубликованных статей под названием «О психометрическом качестве тестовых «брендов». Там как раз рассмотрены некоторые психометрические характеристики методик, упомянутых Е.Лурье в его статье «Две психодиагностики российского бизнеса: обзор тестов и технологий» (2010).

Константин Владимирович,

я обратил внимание на очень важную, ценную и... редкую оговорку, которую
Вы сделали насчет того, что практика работы с методиками у организационных
психологов (решающих задачи в пользу организации) и у консультантов-
психотерапевтов существенно РАЗЛИЧАЕТСЯ. Спасибо, что наметили
такую содержательную программу по вашему персональному разделу (блогу).

Ваш АШ

Уважаемые коллеги, конечно же я никак не мог пройти мимо теста №1 отечественной психодиагностики - 16-факторного личностного опросника. В выложенной вчера статье частично рассматривался вопрос о надежности шкал 16-ФЛО. Однако, известно, что Кэттелл парировал упреки критиков по поводу низкой надежности шкал его опросника, используя аргументацию в духе "психометрического парадокса" Лёвинджер (рост согласованности достигается ценой сужения содержания и приводит к снижению внешней валидности). Поэтому кому-то низкая надежность шкальных оценок может показаться... не очень убедительным аргументом в пользу тезиса о том, что пора перестать рассматривать сей инструмент в качестве лучшего личностного опросника всех времен и народов.
Следующий этап анализа психометрического качества связан с тем, что опросник именуется не "многофазным" (как MMPI) и не многошкальным, а 16-ФАКТОРНЫМ. Название обязывает: из него следует, что каждая шкала репрезентирует именно латентную размерность (фактор), которая, по идее, должна выявляться (подтверждаться) методами факторного анализа. Какова же реальная структурная валидность опросника?
Результаты исследования этого вопроса отражены в статье, прикрепленной к этому посту.
Она была опубликована в прошлом году и здесь приводится в слегка отредактированном (в части текста, не цифрового материала) виде.

Для тех, кому некогда читать 10 с небольшим страниц текста, привожу здесь только конечные выводы.

1) Рейтинг популярности тестов не может рассматриваться в качестве адекватной оценки их реальной полезности и психометрического качества. Пример 16-ФЛО доказывает этот тезис со всей очевидностью.
2) Результаты факторизации пунктов 16-ФЛО абсолютно недвусмысленно свидетельствуют: ни о каких шестнадцати факторах, якобы представленных в этом опроснике, не может быть и речи.
3) То, что известно в России под наименованием «16-факторный личностный опросник Кэттелла», в действительности представляет собой массив пунктов разного качественного уровня, из части которых при желании может быть синтезирован 6–7 факторный опросник с доказанной структурной (но неизвестной конструктной и критериальной) валидностью достаточно заурядного качества. Хотя имеется опыт применения морально устаревшего опросника MMPI-2 с реструктурированными шкалами, распространение подобного опыта на 16-ФЛО представляется нам нецелесообразным.
4) Продолжение использования 16-ФЛО в его нынешнем виде в качестве «референтного» личностного теста не согласуется не только с принципами психометрики, но и с элементарным здравым смыслом.
5) Ответы на личностные пункты 16-ФЛО в существенной мере детерминируются случайными факторами. По нашему мнению, по крайней мере, отчасти это связано с их содержанием. Если вчитаться в пункты 16-ФЛО без восторженного трепета, придется признать, что многие из них сложны для понимания, нередко апеллируют более к воображению, нежели интроспекции или жизненному опыту, и обладают сомнительной содержательной валидностью. Не удивительно, что большинство таких пунктов демонстрируют низкие факторные нагрузки, а более трети вообще оказались за рамками выделенных латентных размерностей. Это полностью согласуется с данными Дж. Джонсона, продемонстрировавшего относительно низкую валидность т.н. «тонких» (subtle) пунктов.
6) Способ, которым пункты 16-ФЛО распределены по шкалам, явно не имеет ничего общего с факторным анализом в его современных версиях. Хаотическое распределение нагрузок пунктов, включенных в разные шкалы, по латентным размерностям дает основание выдвинуть два предположения о возможном механизме появления 16 шкал в их нынешней редакции:
- канцелярская ошибка (серия ошибок) в ходе подготовки данных и/или вычислительная ошибка в ходе их анализа в докомпьютерную эру; в этом случае ответственность за результат может быть поделена между автором методики-прототипа и ее российскими переводчиками и популяризаторами;
- неизвестный герой, который ввел этот «опросник» в отечественный оборот, был большим мистификатором (решившим пошутить над коллегами либо исследовать влияние магии именитого «бренда» на психолого-педагогическую общественность) и раскидал пункты по шкалам почти наугад.
Первое предположение представляется гораздо более правдоподобным. Но если верно второе, то, как говорилось в одном известном произведении, «шалость удалась».

Константин Владимирович,

что мне понравилось в Вашем анализе 16ФЛО (а понравилось, увы, не все), так это рефлексия того, что в России к использованию этого тест-опросника в значительной степени примешался известный социально-психологический феномен ППЗ - "Преклонения Перед Западом", который от себя добавил в имидж этого инструмента изрядную долю "ореола"...

Но Вы, видимо, не учли (или не слишком изучали) то, сколько много РАЗНЫХ
вариантов перевода этой методики ходило по рукам уже в 80-е годы. И дело
не только в том, что разные переводчики придавали разный вес разным
параллельным формам этого теста (их, как известно, в 80-е годы было 3 пары -
каждая пара на разный уровень образования), но и одну и ту же форму А
по-разному переводили. В 80-е годы, когда мы с коллегой Владимиром
Похилько, стали собирать для факторного анализа данные по этой методике,
обнаружили, что существует 5 (пять!) разных переводов формы А (только
из числа тех, которые нам стали доступны). Уже к середине 80-х мы
произвели факторный анализ и получили, конечно, РАЗНЫЕ факторные
структуры для разных версий. Но даже больше, чем разные переводы,
вносили вклад в разнообразие факторных структур РАЗЛИЧИЯ в
выборках (точнее в популяциях), на которых производилось тестирование
и в условиях. Одно дело - клиенты брачных консультаций, другое
дело - соискатели на службу пожарной охраны г. Москвы и т.п.

Наша статья с Похилько пролежала 2 с лишним года без движения
в редакции "Психологического журнала", но все-таки вышла в 1987
году в соавторстве с Ю.М.Забродиным (научный руководитель В.И.Похилько,
который в те годы обучался в аспирантуре ИПРАНа). Эта публикация
вызвала возмущение в среде практических психологов, которым она
мешала продолжать некое "триумфальное шествие с шестнадцатью факторами
наперевес"... Мифология торжествовала над наукой еще перед самым
мракобесием, а в 90-е годы Мракобесие вошло уже в полную силу.

Параллельно в середине 80-х годов мы с Владимиром Похилько (моим бывшим
студентом) и Артемом Соловейчиком (это были 2 его курсовые работы
под моим руководством) занялись заменой пунктов, которые НЕ работали
на свои шкалы. Были заменены почти 50 пунктов в форме А. И в таком
виде опросник 16ЛФ был издан крошечным тиражем в сборнике учебных
материалов для эмгэушного практикума по психодиагностике в 1988 году...
Мы никогда не называли его 16ФЛО. В 92-м году именно эта версия,
которую мы еще пар раз подправляли, была одобрена Институтом ИПАТ
Кэттелла как психометрически-корректная адаптация 16PF на русском
языке. Но было поздно, началась эпоха Анархии и Мракобесия. Злоключения
с этой версией я позднее описал в "Психологической газете".

Определенная прогностичность этого инструмента, конечно, Вы правы
является вовсе не следствием 16 факторов, а прежде всего следствием
того, что на 184 оригинальных пунктах (в формах А и Б их именно столько)
хорошо работали действительно независимые и устойчивые факторы
"Большой пятерки" (я об этом пытался написать в своей монографии
"Психодиагностика личностных черт").


И "Большую пятерку", собственно говоря, и открыл первым сам Раймон
Кэттелл (вначале в виде вторичных факторов). Именно Кэттеллу, по моему
убеждению, принадлежит приоритет открытия "Большой пятерки", хотя
сам он этим термином не пользовался, и лавры открывателей достались
тем, кто пустил в оборот этот более маркетиногов-броский термин (Норман
и Голдберг).

Что происходило в нашей стране? - А то. что и сейчас во многом происходит.
Даже о-очень официальные ведомства (силовые и не только) берут на
вооружение не то, что можно купить (более или менее проверенные версии),
а то, что можно "слямзить бесплатно", то есть на самом деле менее
качественные версии. То, что Вам попало в руки (думаю, что "по-наследству"),
- это именно такого качества версия 16ФЛО, как я догадываюсь.


... продолжение следует.

С уважением,
А.Г.Шмелев

Екатерина Эдуардовна, вы можете разместить сырые данные прямо в этой ветке, а желающие могут их проанализировать. Хочу обратить Ваше внимание, что мы проводили экспертизу 16PF адаптация Капустиной, см. Официальный сайт проекта http://monex-online.ru а также смотрите раздел wiki или найдите материалы показательной экспертизы в обсуждениях на форуме через поиск

Если отвечать на вопрос, почему психологи пользуются тем, что перестало быть надежным, отвечаю: в отношении этих методик и ранее были неизвестны их пчихометрические характеристики, точнее -- только постулировалась надежность и валидность, но не устанавливалась. В части переводных методик еще больше

Забавная у меня полуичлась опечатка при наборе ответа на телефоне. Следует читать: психометрические, а не пчихометрические хотя, в отношении ряда методик можно сказать, что они только пчихометрическими характеристиками и обладают, в том смыле, что это такойц пчих на измерения

Екатерина,

единой государственной службы, которая контролировала бы ситуацию с диагностическим инструментарием
в РФ нет. В различных ведомствах в свое время были созданы разрозненные подразделения, которые
в основном возглавили специалисты не очень высокой квалификации (мягко говоря). Ничего такого
особенного в том, что методики изначально принимаются "недоадаптированные" нет. Это общая
национально-государственная традиция (или беда): масса строительных объектов реально не
достроены, но подписываются бумаги об их приемке и вводе в эксплуатацию. В развитых
зарубежных странах (где имеется уже почти вековая традиция в этой области) ключевую
роль играет Профсообщество (национальная ассоциация психологов), но в нашей стране
в руководящих структурах РПО до сих пор преобладают специалисты, которые считают,
что главное - это не сама методика, а классный специалист, который ее применяет. Посмотрите
на высказывания на этом форуме виднейших специалистов. Даже здесь это точка зрения
представлена. Многие руководители псхиологических центров РФ не получали в свое
время никакой адекватной образовательной подготовки в этой области. так как фактически
до 80-х годов тесты в нашей стране были на подпольном положении. А ведь казалось бы, что
именно здесь - на этом форуме - должны собраться единомышленники, получившие сходную
образовательную подготовку (или прошедшие сходный путь в плане самообразования),
но это не так.

Самое печальное и тревожное состоит в том, что несмотря на вполне современную
программу обучения псхиодиагностике в университетах, которая давно утверждена в РФ,
ее реализуют опять-таки чаще всего преподаватели, не прошедшие в свое время адекватной
психометрической подготовки. И они передают свои ученикам соответствующее
отношение к методикам (волюнтаристское, я бы сказал). А что говорить тогда
о научных руководителях, которые руководят курсовыми и дипломными работами
студентов?- Многие из них вообще не могут дать различительных определений
для надежности и валидности и ни разу в своей жизни ничего толкового
в этой области не читали (не то, чтобы "считали").

Но я верю в то, что в РФ может все быстро поменяться. Как в петровские времена:
главное, чтобы император вдруг заинтересовался строительством флота, и тогда
все за ним потянутся.

С ув,
АШ

А есть данные не обработанные? Т.е. ответы каждого испытуемого на пункты опросника?
В бланковой / компьютерной форме проводили тестирование?
Почему некоторые проходили по 2-3 раза?

Спасибо, понял.
Стандартизированные баллы по шкалам интереса не представляют.Разве только распределение посмотреть, но тоже не имеет смысла, так как ничего неизвестно о том, какие нормы использовались.
Мне не протокол важен был, а выгрузка ответов в виде матрицы n х m, где n - испытуемые, m -- пункты опросника (если у вас форма C, то 105 столбцов получается).
Что за компьютерная реализация 16 PF?
Повторное тестирование: тут дело даже не в том, что первый профиль будет повторяться.

Распределение баллов по шкалам

Для заинтересованных:
Скрипт на R и исходные данные в формате csv во вложении

Код:

library(readr)
data16pf_c <- read_csv("~/16pf_c.csv")
 
library(purrr)
library(tidyr)
library(ggplot2)
 
data16pf_c %>%
  keep(is.numeric) %>%
  gather() %>%
  ggplot(aes(value)) +
  facet_wrap(~ key) +
  geom_bar(fill = "#02818a")

Очередная компьютеризированная пиратская свалка методик

Александр Георгиевич,
большое спасибо за Ваш содержательный комментарий.
Я, конечно, в курсе "хождения" среди психологов многих версий 16-ФЛО.
Сам в 80-е годы пользовался некоей версией А (автор неизвестен), которую дополнил шкалой социальной желательности (в результате в ней стало стало 197 пунктов). В таком виде она до сих пор используется в РВСН и некоторых других структурах Минобороны.
Именно по причине этого вавилонского столпотворения в статье описан анализ структурной валидности не абы каких версий, а исключительно формы "А" в исполнении "Иматон" (т.н. "Кэттелл-95").

С уважением, К.Сугоняев

Екатерина Эдуардовна,
именно форма С (версия Капустиной) вскользь упомянута в последней статье как имеющая среднюю одномоментную надежность шкал аж 0,24 (!). В статье о ПМ-качестве тестовых "брендов" ей уделено чуть больше внимания (несколько разных выборок представлено в таблице). С тех пор количество доступных мне данных, к сожалению, возросло, но ситуация с надежностью (у многих шкал - практически неотличимой от нуля) нисколько не изменилась.

И еще: Юрий Александрович абсолютно прав: ценность для психометрического анализа представляют только данные на пунктовом уровне.

Гистограммы, построенные Ю.А.Тукачевым по Вашим данным, указывают на то, что либо нормы были не репрезентативными, либо тестирование не вполне корректным.

Что же касается инициативы от инстанции об обновлении психодиагностического инструментария... Про такое я даже при социализме не слыхивал. Думаю, что сегодняшние "инстанции" могут генерировать исключительно "глубоко продуманные" указания о выявлении психодиагностическими методами наркоманов и суицидентов. Боюсь сглазить, но как бы от психологов не потребовали выявлять потенциальных террористов... А что, очень даже актуально!

С уважением, К.Сугоняев