Надежность аппаратных психофизиологических методик.

Когда я писал Александру Георгиевичу о "фишках", я имел в виду творческий вклад в разработку компьютерного психодиагностического комплекса (у меня, кстати, именно этому была посвящена диссертация) и, естественно, исключил из этого числа воспроизведение (пусть даже с определенными коррективами) заимствованных методик.

Уважаемый коллега
Большое спасибо за высокую оценку моего труда, который теперь оказался отчужден от автора. Поэтому моя работа с 2011 г. сосредоточена исключительно на разработке нового и совершенствовании уже имеющегося методического обеспечения. На мой взгляд, это направление работы тоже дало неплохие результаты.
Я предпочитаю сейчас использовать словосочетание "программно-методическое обеспечение" - как некий сплав программной оболочки и ее методического наполнения. И совершенствовать наполнение мне никто не может помешать.
Я продолжаю это делать в интересах трех силовых ведомств, лишь в одном из которых получаю некоторую поддержку (или получал... все так быстро меняется).
О психометрике компьютеризированных тестов (а их сотни) в разных средах имею столько информации, что основной проблемой становятся физические и временные ограничения на возможность их изложить. Поэтому делаю это поэтапно, в рамках отдельных статей или в рамках конкретного ведомства (в нынешнем году запланирована публикация одного УМП, где будут представлены соответствующие ведомственные данные).

На всякий случай хотел бы уточнить, что не существует "психометрических характеристик теста", но есть ПМХ тестовых оценок в данных условиях применения на данном контингенте. В других условиях и на другом контингенте они могут оказаться иными (хотя мой опыт показывает, что различия, связанные с контингентом, как раз не столь велики). Поэтому любые сведения о ПМХ, рассчитанных где-то, могут иметь лишь ограниченную полезность для Ваших собственных данных.
Если у Вас есть конкретные вопросы по конкретным тестам или нюансам использования программы - буду рад предоставить имеющуюся информацию. Утилита для проведения пунктового анализа - действительно очень полезный инструмент для вдумчивого пользователя и разработчика. Без проблем могу Вам выслать ее на Ваш e-mail.
С уважением, К.Сугоняев

Добрый вечер!
Из перечисленных Вами методик лишь одна тянет на 4-4,5 звезды из 5 возможных (D-48); все прочие могли бы претендовать лишь на позиции от "единицы" (т.н. управленческая решетка Блейка-Моутона) до "троечки" (СОП). Поскольку список большой и проблемы у разных методик тоже весьма различны, то и комментарии требуются довольно пространные; постараюсь их дать, но не одномоментно.
Для того, чтобы мои комментарии были актуальны, уточните, пожалуйста (хотя бы примерно), для какого контингента Вы планируете все это применять?
По составу методик я этого не понял (в перечень попали от подростковых до бизнес-ориентированных).

О "Цикле управленческих умений" отвечу сразу: действительно, долгое время у меня не было никаких сведений о ее применении пользователями "Мультика", но в недавнем прошлом по крайней мере двое знакомых психологов экспериментировали с этой методикой, так что при желании можно отыскать данные для какой-то предварительной стандартизации. Я с ней не работал, но даже поверхностное знакомство дает основание предположить, что 1) не может быть и речи о возможности психометрического подтверждения структуры этой методики; 2) она совершенно прозрачна для респондента и, стало быть, беззащитна перед любыми попытками намеренного искажения информации. Думаю, кроме исследовательского, никакого иного применения у нее быть не может.
Также сразу могу сообщить, что среди известных мне пользователей никто, к сожалению, так и не воспользовался МАК-шкалой (посему никакой психометрической информацией о ней не располагаю). Сейчас, может быть, более актуально было бы воспользоваться не монометрическим опросником, а одной из методик, предназначенных для оценки "Черной триады" (Паулюса или Джонса) либо 6-факторным личностным опросником, который включает аспект "манипулятивность".

О тестовых батареях: в механизм вынесения интегральной оценки (ИО) действительно заложена множественная регрессия, только в качестве переменных используются не абсолютные значения предикторов, а дистанции до оптимального значения (в нормализованных стэнах). Таким образом, можно учесть, в том числе, и нелинейные связи. Введение отсекающих оценок позволило объединить компенсаторную и некомпенсаторную модели соответствия. Сам по себе "срез" на ИО практически не влияет, если только предиктору, на который установлен "срез", не присвоен существенный вес.

Утилиту высылаю на указанный Вами адрес.

С уважением, К.Сугоняев

Добрый день, Сергей
Мне приятнее всего начать описание ПМХ методик из Вашего перечня с "Домино", поскольку это очевидный лидер.
Достоинства:
1) методика, кажется, не изгажена многочисленными перепечатками в разного рода "тестовых справочниках", "энциклопедиях", "компендиумах" и иже с ними. В российских реалиях - это одно из важнейших преимуществ. Хотя мои данные в этом пункте могут уже устареть (я перестал следить за психологической поп-литературой, надоело).
2) замечательная надежность: на выборке кандидатов на службу в силовую структуру (N=11251) KR-20 = 0,89. Ни одного недискриминативного пункта! Картинка с результатами пунктового анализа после преобразования матрицы ответов в дихотомическую форму прилагается.
3) фактически открытый характер ответов (хотя конечность числа вариантов позволила автоматизировать обработку результатов даже при бланковом варианте проведения) обеспечивает прекрасную защиту от попыток "обмануть тест": никакой халтурщик не имеет ни малейших шансов получить результат, выходящий за рамки первого стэна (этим могут похвастаться далеко не все когнитивные тесты, применяемые в России, к сожалению);
4) высокая нагруженность тестовых оценок на фактор g
5) широкий диапазон уровней общей когнитивной способности, охватываемый тестом (от весьма низких до выдающихся)
6) прогрессия в возрастании трудности заданий, позволяющая даже лицам с низким уровнем способностей все же набрать некоторый балл (хотя и не 100%-ная и не настолько идеально-спиральная структура, как в случае СПМ или ППМ Равена, но все же).
7) распределение тестовых баллов (левосторонняя асимметрия) идеально для решения задачи отсева меньшинства менее способных;
И все же я поставил 4-4,5, а не 5. Почему? Есть некоторые моменты, снижающие удовольствие от применения теста:
1) Количество заданий представляется избыточным (можно достичь приемлемых уровней измерительной точности и при меньшем их количестве).
2) Соответственно, время на его выполнение слишком велико (25 минут) и не все могут его себе позволить (время - это издержки).
3) Эффект Флинна делает свое дело: сегодня многие из заданий теста стали уже слишком простыми для многих популяций (в еще большей степени это относится к СПМ Равена), т.о. имеется перекос в сторону простых заданий (на представленной картинке можно видеть, что 12 из 44 заданий успешно решает более 90% выборки).
4) В тесте присутствуют как слишком простые, так и слишком сложные (38, 42-44) задания. С точки зрения оптимизации под конкретную популяцию либо те, либо другие являются избыточными.
Дальше идут некоторые технологические нюансы, которые, конечно, не могут быть отнесены к психометрическим недостаткам теста, но влияют на экономику его компьютерной реализации:
- Двухфазный ответ несколько затрудняет компьютеризацию теста и пришлось поломать голову, чтобы реализовать тест в форме, пригодной для бланкового обследования и автоматической обработки.
- Поскольку тест создавался в 40-х годах, понятно, что автор (Энстей) не имел в виду его компьютерную реализацию. Для того, чтобы ее осуществить, пришлось несколько модифицировать размещение элементов задания для придания им большей эргономичности, причем, в диалоговой версии поворот был выполнен в одном направлении, а в бланковой - в другом.
И последнее. То, что было упомянуто в качестве достоинства №1, наводит на подозрение, что тест, возможно, имеет коммерческий статус. Не знаю этого наверняка, но есть сомнения...

Продолжение следует

Сергей, считаю необходимым кое-что добавить в отношении "Домино"
Никакие групповые психометрические количественные индексы не заменят гистограмм распределения первичных оценок; они гораздо больше могут рассказать опытному психодиагносту о возможных сферах применения методики, чем голая "цифирь".
То, что я не представил графических материалов сразу - моя промашка; исправляю.
К сожалению, пока не овладел искусством вставлять картинки в пост, поэтому подгружаю файл с гистограммами.

Следующая на очереди методика, которую хотелось бы прокомментировать, - ОЧХ-В.
Тут как раз на одной из смежных веток на короткое время вспыхнула (и сразу была подавлена) небольшая дискуссия по поводу первой русскоязычной методики, попытавшейся операционализировать взгляда Леонгарда - опросника Шмишека. Поэтому предлагаемый материал с достаточно подробным анализом психометрики ОЧХ-В можно считать попыткой довести несостоявшееся обсуждение до некоторого логического многоточия.
Вообще, данных по этой методике у меня предостаточно (тысяч 50 протоколов или что-то в этом районе), но в анализ, отраженный в подгруженном файле, включено лишь около 27 тысяч.
В файл включены извлечения из одного из моих отчетов, подготовленных в 2013 году.
Для тех, кому некогда читать фрагменты отчетов, поясню кратко:
- структурная валидность опросника неадекватна (в принципе, на этом можно было бы поставить точку...)
- надежность многих шкал не отвечает даже весьма либеральным требованиям стандарта РПО;
- некоторые из шкал существуют лишь благодаря тавтологичным формулировкам;
- теоретический фундамент, на который опирается опросник, сомнителен.
Особого внимания заслуживает тот факт, что средние оценки по шкалам варьируют в разы (могут различаться почти в 4 раза). Из этого (косвенно) следует полная абсурдность системы интерпретации результатов Шмишека, основанная на тупом делении теоретического размаха баллов пополам и отнесения всех, кто превысил выдуманный порог в 50%, к акцентуантам. В принципе, интерпретация, предложенная авторами ОЧХ-В, не очень далеко отошла от этой идеи...
Однако, по сравнению с опросником Шмишека, ОЧХ-В, несомненно, шедевр.
Или, если отбросить политкорректность, опросник Шмишека - абсолютный мусор. К сожалению, не единственный в "арсенале" наших практических психологов.

Теперь об опроснике "Стиль мышления"
Основной вопрос, конечно, состоит в том, действительно ли методика оценивает нечто такое, что отличает ее от других классов опросников (личностных, мотивационных и пр.)? И если да, то насколько хорошо она это делает с точки зрения психометрических характеристик?
Увы – полученные нами результаты анализа протоколов обследования целевой популяции (1625 чел.) не слишком вдохновляют.
- одномоментная надежность шкал (0,481–0,688) находится вблизи нижней границы приемлемости, установленной стандартом РПО, причем две шкалы (из пяти) не смогли до нее дотянуть (особенно шкала «креативность»). Для 15-пунктовых шкал – даже с учетом дихотомического формата – такой уровень не может быть назван респектабельным. Разумеется, при таких параметрах применение этой методики в аттестационном контексте выглядит очевидным нонсенсом (не говоря уже о загадочном смысле включения такого рода методики в программу обязательного обследования десятков тысяч весьма занятых людей);
- в составе методики имеется ряд пунктов, которые не коррелируют в должной мере (хотя бы на 0,2) ни с одной из шкал. Наиболее «рыхлой» оказалась шкала креативность: исключение каждого второго пункта приводило к тому, что его корреляция со «своей» шкалой скатывалась к уровню 0,1 и ниже;
- в составе методики имеются явно тавтологичные / антонимичные пары (например, пункты 42 и 52; 12 и 49), что не может быть отнесено к числу достоинств конструирования;
- попытки подтвердить структурную валидность методики оказались неудачными: ни в одном из факторных решений (рассматривались варианты, включающие от 3 до 8 факторов) не удалось получить латентных факторов, которые хотя бы отчасти подтвердили правомерность выделения предложенных авторами пяти шкал;
- наиболее логичным нам показалось трехфакторное решение, в котором первый (самый мощный) фактор можно интерпретировать как «интерес к искусствам», второй – как «интерес к интеллектуальным формам деятельности», а третий отразил интересы, характерные для «реалистического» типа личности по Холланду.
- дальнейшее дробление приводит к выделению факторов, представляющих собой смесь пунктов из разных шкал. На седьмом шаге от 1-го фактора отпочковался субфактор, который можно отождествить с воображением, включивший 6 из 15 пунктов шкалы «образное мышление». В этом же решении выделилась группа пунктов, которые можно отождествить с социабельностью (их связь со «стилем мышления» представляется наиболее загадочной).
- о внешней валидности: большая часть содержания опросника проецируется на фактор «открытость опыту» 5ФМ, но лишь на часть аспектов (см. прилагаемый файл). Инкрементная валидность методики сверх 5ФМ представляется неочевидной.
Некоторые подробности можно увидеть в прилагаемом doc-файле.

Таким образом, наши ответы на вопросы, поставленные в начале поста, скорее отрицательные.
Психометрическое качество методики низкое, а те оценки, которые с ее помощью получаются, едва ли могут быть надежной основой для вынесения суждений об индивидуальных особенностях «стиля мышления».

Екатерина Эдуардовна, к сожалению утилита для пунктового анализа заточена только под работу с базой "Мультипсихометра" и родственных комплексов (см. мой ответ Н.А.Хохлову в начале этой ветки).
Уточните, документацию по какому из комплексов Вы хотели бы получить?
Некоторые из них я продолжаю развивать в методическом плане, некоторые умерли в 2010 году (соответственно, документация на них также находится с этого времени в замороженном виде).

С уважением, К.Сугоняев

Евгений Иванович, а Вы психолог?

1) Присоединяюсь к вопросу Юрия Александровича
2) И опять: о каком комплексе речь?
3) Если у Вас уже есть некий комплекс, то должна быть и документация к нему. Если нет, то что Вам даст обладание этой документацией без самого комплекса?