Короткие и длинные соционические тест-опросники

В августе в клубе "КИТТ" мы запустили по согласию с авторами 2 соционических тест-опросника:

а) Суперкороткий тест из 4 вопросов. Авторы - А.Мегедь и А.Овчаров.
б) Более длинный тест из 20 вопросов. Авторы - Е.Горенко и В.Толстиков.

Цель нашего сравнительного небольшого исследования - это прежде всего
выяснение того, насколько совпадают результаты между тестами в определении
"соционического типа" (ТИМа). А во-вторых, мы хотели бы сравнить конструктную
валидность коротких и более длинных тестов на основе общей для них базы
сравнения - тестов на измерение "Большой пятерки" личностных факторов,
а также других тестов, которые выполнили участники проекта КИТТ.

В настоящее время короткий тест из 4 вопросов прошли уже 615 человек,
а более длинный тест из 20 вопросов - 255 человек.

Ниже опубликованы гистограммы, на которых можно увидеть, с какой
частотой определяются ТИМы с помощью этих двух тестов.






Итак, что мы видим на этих гистограммах?

1) Между тестами наблюдается несомненное сходство в обнаружении самых частотных и самых редких социотипов (ТИМов). Особенно, когда в более длинном тесте из 20 вопросов СТ-20 берется более низкий порог в 70 процентов (процент совпадения ответов респондента с "ключевыми" для определенного тима). Ранговая корреляция между тестами в этом случае приближается к 0,8, что не так плохо. Почему не блестяще? - А потому, что мы сравниваем между собой в данном случае не индивидуальные результаты, а групповую статистику по всей выборке обследованных.

Таким образом, и по короткому, и по более длинному тесту преобладают в наших выборках следующих тимы:
ИЭЭ Вдохновитель, ЛСИ Администратор, ИЭИ Идеалист, ЭИИ Гуманист.
А самые редкие тимы тоже повторяются: ЛСЭ Управляющий, ЛИЭ Экспериментатор,
СЛЭ Лидер. Но есть и яркие различия: например, короткая методика обнаруживает
гораздо больше "Новаторов" (ИЛЭ), а длинная - больше "Традиционалистов" (ЭСИ).
Может быть, традиционалисты - это просто более терпеливые люди, чем новаторы,
и они соглашаются чаще, чем новаторы, проходить более длинные тесты, то есть
срабатывает механизм "самоселекции выборки"? - Это, конечно, только предположение.
Более вероятное объяснение - это различие в содержании эмпирических индикаторов (вопросов).

Примечание: по просьбе Валентины Васильевны Мегедь в этом профессиональном обсуждении
я не использую популистский язык "персонажей" в обозначении ТИМов, а главным образом
трехбуквенные обозначения и "вспомогательные ролевые ярлычки", облегчающие восприятие и
интерпретацию результатов (кстати, от одного автора социональной методики к другому эти ярлычки тоже заметно варьируют).

2) А теперь о том, что нам позволяет увидеть длинный тест, и НЕ позволяет короткий.
Короткий тест всех "запихивает" в 16 категорий "хочешь-не хочешь". Дело в том,
что короткий просто так устроен - он перебирает все 16 возможных комбинаций
ответов на 4 парных вопроса и никто не может оказаться "атипичным". Длинный
тест позволяет увидеть, что даже носители "чистых типов" отвечают с неполной степенью
соответствия с ключем. Из 255 респондентов обнаружить удалось только 2 (двух) человек,
у которых достигает 100-процентов совпадение ответов со "своим тимом" - 20 вопросов
из 20. У большинства максимальное число совпадений - это не больше 15 вопросов.
В результате получается, что при установке порога на уровне 80 процентов (16 из 20)
только 78 человек из 255 получают однозначный "диагноз" - попадают в определенный
ТИМ (это только немногим более 30 процентов), а почти 70 процентов на самом
деле остаются без диагноза? - Почему? Считать ли это артефактом данной методики
или отражением реального положения вещей (наличие, как и в обычных тестах,
примерно 70 процентов людей, которые не имеют "типологической акцентуации").
Кстати, к месту будет напомнить, что 70 процентов - это процентаж так называемой
"средней группы". попадающей в средний коридор при использовании тестовых
шкал, порождающих нормальное распределение.


ВЕРОЯТНОСТНОЕ РАССУЖДЕНИЕ-ОТСТУПЛЕНИЕ.

Надо подчеркнуть, что только порог 16 из 20 на самом деле порождает стандартный уровень
значимости p<0,01 в отклонении от "нулевой гипотезы" (о случайном выборе ответов).
Ведь респондент в данном случае осуществляет выбор не из 4-5 ответов (как в тестах знаний),
а только из двух вариантов. Вспомните, вероятностные эксперименты с киданием монетки.
Может ли случайно монетка упасть 15 из 20 раз "орлом" и только 5 раз "решкой"? - Да,
причем довольно часто - примерно в 3 случаях из 100.

Таким образом, только при снижении порога до уровня в 70% (по доле случаев
совпадения с ключом, то есть до 14 из 20) мы получаем отнесение к определенному
типу значимого большинство обследованных по методике СТ-20 - 199 респондентов
из 255 (почти 60 процентов). Но... важно и тут подчеркнуть, что почти половина
из этих респондентов получает "смешанный диагноз" - относится не к одному
"чистому типу", а сразу к нескольким. Среднее число "тимов" на уровне этого
низкого порога оказывается на одного испытуемого более 2 (!), то есть средний
человек оказывается отнесенным не к одному, а сразу к двум типам. Хотя...
эти выкладки следует в данном случае воспринимать как весьма условные.
И не потому, что выборка испытуемых, прошедших СТ-20, пока не велика
по численности для таких "точных выводов", а главным образом потому,
что порог 14 из 20 дает значительный риск смешения реальных и случайных
результатов, ибо этот порог даже не достигает вероятностного уровня ошибки p<0,05 -
минимального стандартного вероятностного уровня.


3) Конечно, найдется (и уже нашлось, если посмотреть реплики на ФБ
по поводу этих методик) немало коллег, которые будут критиковать длинную
методику! За что? - За то, что она частенько не позволяет выявить "чистый тип"?
В этом смысле звучат даже такие радикальные заявления - А КОРОТКАЯ
МЕТОДИКА ЛУЧШЕ! Но тут для того, чтобы как-то рассудить этот спор,
нам очень пригодится возможность сравнить индивидуальные результаты
не только между короткой методикой и длинной, но и между двумя разными
короткими методиками между собой. Прямо сегодня мы договорились на ФБ
с еще одним автором-социоником - Иваном Карнаухом, что попробуем
подключить к нашему исследованию его короткую методику из 4 вопросов.
Иван принадлежит как раз к тому кругу специалистов по соционике, которые
склонны утверждать, что короткие опросники работают ЛУЧШЕ (!?).
На мой взгляд, короткие опросники из 4-х вопросов просто "автоматически
вписывают" человека в один из 16 типов, так что две трети "смешанных и
атипичных" оказываются более или менее случайным образом приписанными
к одному из 16 типов. Как только эти люди выполняют еще одну короткую
методику они увидят, что "диагноз" поменяется - он обязательно поменяется
у очень многих, так как "чистых типов" меньше, чем "смешанных и атипичных".
Вот в чем суть моего видения, моей гипотезы.

Сейчас позанимаюсь анализом частот совпадения индивидуальных результатов.
Посмотрим, достаточно ли уже накопилось респондентов, которые выполнили
сразу обе методики - короткую и длинную (ведь почти половина заходили
по прямым ссылкам, а не из клуба, и для таких случаев трудно объединить
разнородные протоколы по разным тестам, подписанные людьми по-разному
- разными псевдонимами и мейлами. Для того и Клуб нам нужен, чтобы
у каждого был постоянный "клубный идентификатор"...).

Я вот два раза прошел короткий тест и получил два разных результата. Все потому, что мне там очень недоставало среднего ответа, так как крайне трудно было по ряду показателей отнести себя к одному из двух выборов.

@Шмелев А.Г. Александр Георгиевич, кстати, было бы любопытно на индивидуальном уровне соотнести с результатами по Big5 - в свое время мы делали такое сравнение с ТОП-ЮНИТ, можно построить взгляд с третьей стороны)

Итак, коллеги, а теперь приготовьтесь узнать горьковатую статистическую правду.
Она либо о соционических тестах, либо о соционических типах,
но нам в нашем случае важнее обсудить именно тесты (инструмент).

Ниже приведена таблица сопряженности частот встречаемости типов
у 150 испытуемых (членов клуба КИТТ) по двум методикам - СП-20 (строки)
и СП-4 (столбцы). В клетках таблицы указано количество респондентов,
которые принадлежат одному типу по одной методике и другому типу -
по другой методике.


Посмотреть вложение 1912

Оговорка относительно размеров выборки. Конечно, было бы приятней анализировать матрицу сопряженности,
если бы у нас была выборка численностью в 15 тысяч человек или хотя бы в 1500 человек. Но у нас только 150.
Впрочем, определенные тенденции и в этом случае уже просматриваются.

Если бы методики давали полностью на 100 процентов совпадающие результаты, то
все 150 респондентов разместились по так называемой "главной диагонали" -
в клеточках с одинаковыми номерами строк и столбцов. Но... у нас таких
оказалось только 49 человек из 150. Это примерно одна треть или 32 процента.
Это несколько больший процент совпадений, чем опубликован в статье "Соционика"
на Википедии (напомню, что там по данным Петровой опубликована цифра только в 25 процентов
совпадений между методиками), но результат оказался не намного лучше. Таким образом,
у двух третей наших участников при смене методики "тип сменился".

Однако, полная таблица сопряженности дает возможность извлечь больше содержательной
информации, чем просто банальный процент совпадений диагнозов. Мы здесь можем
увидеть, какие типы в большей степени оказывались устойчивыми, а какие - смешивались
с определенными другими. Очень поучительно и красиво, что самыми устойчивыми оказались
у нас "полярные типы": номер 1 (ЛСИ "Администратор") и номер 15 (ИЭИ "Лирик", или "Романтик").
В каждом из этих ярких полярных случаев более 10 респондентов подтвердили по другой
методике свой тип. Из 21 "Администратора" по короткой методике 13 тоже оказались
"Администраторами" и по длинной методике (это 62 процента совпадений). А из 19
"Лириков" по короткой методике остались "Лириками" по длинной 11 человек (это 58 процентов).

Примечание. В клубе КИТТ оказалось, кстати, меньше этих самых "Гексли", чем в сети Фейсбук,
где действительно доминирование психологов привело к тому, что самый частотный тип
там оказался номер 16 ИЭЭ "Вдохновитель" (или "Советчик" у других авторов).

Так с кем же смешиваются "Администраторы"? - Это тоже легко просто глазами увидеть прямо по матрице
сопряженности (без всякого автоматизированного кластерного анализа). Они смешиваются с
"Аналитиками", "Традиционалистами" и "Мастерами". Можем ли мы этот кластер проинтерпретировать?
- Да, очень легко. Это же все практически-мыслящие "физики-материалисты-скептики"! Недаром матрицу
сопряженности иногда называют "матрицей смешения"... Она подсказывает нам, какие типы
оказываются более родственными друг с другом на эмпирическом уровне (за этим стоят доминирующие
классифицирующие признаки). Что еще любопытно? - Родство типов в рамках выделенного мной кластера
не зависит вовсе от какого-то одного "соционического признака" (факторной шкалы),
а возникает сразу на множестве признаков, которые оказываются в рамках этого
класса фактически "скоррелированными".

А с кем смешиваются "Лирики" (так называемые "Есенины")? - С "посредниками", "экспертами",
"гуманистами". В меньшей степени с "вдохновителями" и "политиками". Я бы этот кластер
обязательно бы проверил на... "склонность к мистицизму" (с помощью нашего опросник ПЭМ),
ибо, допускаю, что скептицизм у этих людей явно уступают "гуманитарным убеждениям" и ...
"верованиям".

Но давайте отложим серьезную, а не юмористическую интерпретацию этих кластеров
до того момента, когда у нас появится достаточно данных, чтобы проверить конструктную
валидность наших соционических тестов.

Здесь же нам пока важно сравнить матрицу смешения и матрицу Кэмпбелла-Фиске - попарных
корреляций 16 на 16 для всех шкал-типов из двух методик - короткой и длинной (Напомню,
что метод Кэмбелла-Фиске называется multitrait-multimethod matrix).



Итак, здесь в клеточках указывается уже не число испытуемых, у которых повторился диагноз (повторился "тип"), а коэффициент корреляции между шкалами-типами. Напомню, что в методике СП-4 градаций в степени принадлежности типу 5 (от 0 до 4 включительно) а в более длинной методике СП-20 таких градаций 21 (от 0 до 20 включительно). Это создает возможность посчитать обыкновенные линейные корреляции - прямо с помощью самой доступной функции КОРРЕЛ в Эксель (не будем пока "заморачиваться" по вопросам нормализации данных и прочих строгостей).

Что мы видим? - Не такие уж низкие коэффициенты по главной диагонали! Можно сказать, что с учетом выборки в 150 человек это просто очень высокие коэффициенты. Среднее значение коэффициентов по главной диагонали (подтверждающих "Диагноз") равняется 0,5. Это заведомо высоко-значимый коэффициент! Тем самым как бы подтверждается конверергентная валидность двух методик. Но... не будем торопиться с апплодисментами. Давайте рассмотрим, что происходит вне главной диагонали - для разноименных шкал-типов. А тут, увы, тоже встречаются очень высокие коэффициентами. Более того - в четырех строках вне главной диагонали стоят даже более высокие коэффициенты, чем по главной диагонали (эти четыре клетки выделены желтым фоном!). То есть, дополнительным видом конструктной валидности данная пара методик НЕ обладает, а именно - не обладает дискриминантной (различающей) валидностью. То есть шкалы-типы опять смешиваются. Но не всякие, а опять прослеживается уже известная закономерность в том, какие шкалы смешиваются.

Те, кто были выше по длинной методике по шкалам "Управляющие" и "Традиционалисты" чаще становятся выше по шкале "Администратор", чем по своей родной шкале. А "Новаторы" и "Лирики" по длинной методике чаще оказываются "Советчиками" (Гексли) по короткой методике.

Таким образом, для "субтипов" (таких, которые не являются "чистыми", а вторыми-третьими - вслед за лидирующим типом) сохраняется та же тенденция объединения в кластеры "Физиков" и "Лириков".

С помощью корреляций мы гораздо убедительней видим, что диагностика происходит не с точностью до отдельных типов, а с точностью до кластеров типов - до некоторого подмножества родственных между собой типов. Корреляции оказываются выше, чем данные матрицы сопряженности, так как здесь не отбрасываются "смешанные типы", а принимаются тоже в расчет. 0,5 - это не суперская, но неплохая конвергентная валидность. Особенно если учесть, что одни из двух методик является сверх-короткой - включает только 4 тестовых задания.

Итак, краткие выводы выглядят пока следующими образом.

Длинные методики позволяют учитывать более дифференцированно, что происходит с респондентами, у которых наблюдаются "смешанные типы", включающие кроме ведущего типа, также весьма вероятные "субтипы" - возможные альтернативные диагнозы, не сильно уступающие по вероятности основному диагнозу. Короткие методики (из 4-х вопросов) "загоняют" всех респондентов в определенные категории (типы) во многом искусственно - значительная часть (почти две трети) респондентов при этом попадают в определенный тип с точностью до "кластера" - до подмножества родственных типов, внутри которого диагноз может легко варьировать как день ото дня, так и от одной методики к другой.

Но давайте пока считать эти выводы предварительными. Окончательные мы будем формулировать, когда соберем данные по еще одной короткой методике.

Надежда,

я пригласил Виктора Львовича Таланова поучаствовать здесь на этом форуме в нашем обсуждении.
Но пока не получил ответа. Может быть, лето.

Вижу, что Вы в курсе дела и понимаете, что короткие методики НЕ МОГУТ работать лучше,
чем длинные. Если длинные только не совсем "бредовые". Но... многим коллегам это до
сих пор не очевидно, так что приходится доказывать экспериментальным путем - с цифрами
в руках. Заметьте, требование "Стандарта тестирования персонала" (СТП) гласит: "Не
менее 20 градаций сырой шкалы". В случае парных ипсативных опросников с бинарным
выбором это означает, что на шкалу должно быть 20 вопросов. Тест-опросник Горенко-Толстикова
казалось бы проходит по самой "нижней границе". Но... у него все четыре различающих
шкалы работают на одном и том же пуле из 20 парных вопросов (а надо бы, чтобы на разных,
то есть нужно иметь 80, а не 20 заданий). Это серьезно снижает различительную (диагностическую)
силу инструмента. Тем более, что стоит задача различения не 4-х факторов, а целых 16 типов (!).

В факторном анализе есть заповедь, известная всем, кто мало-мальски работал с этой
техникой анализа данных, - первичных индикаторов (также как и испытуемых) должно
быть В РАЗЫ больше, чем число факторов, которые мы надеемся дифференцировать.
Но... кто у нас уважает и понимает факторный анализ?! Особенно когда речь идет
о том, чтобы "не утомлять" испытуемого и оторвать у него на диагностику не 20-30
минут его жизни, а 1-2 минуты только...

Ваш АШ

А вот как выглядят результаты кластерного анализа ТИМов
на основе длинного опросника СП-20. В пакете СПСС я
использовал иерархическую кластеризацию с использованием
метрики "Косинус" и метода "Межгрупповой связи". Впрочем,
использование других метрик и методов дает весьма сходные
результаты. Результат на удивление неплохо соответствует группировке
ТИМов на основе теории, но видны и определенные перестановки.
Они указывают на несовершенство системы эмпирических индикаторов
(или несовершенство теории - существует почти всегда неопределенность
в выборе источника несоответствия).

Для меня важно, что картинка, полученная с помощью кластерного анализа
подтверждает основную направленность ошибок из-за "смешения сходных
ТИМов": Администратор близок к Традиционалисту, а Вдохновитель к Новатору.

Для тех, кто следит за этой веткой, наверное, будет интересно увидеть,
как различаются частоты встречаемости ТИМов среди мужчин и женщин.

В этом плане пока обработаны данные только по короткому тесту СП-4.
154 респондента из 649 указали, что они - мужчины, 454 - женщины,
а 41 респондент не указал своего пола.




Из этой гистограммы видно, что различие по многим ТИМам между мужчинами и женщинами значимы (!).
Это видно прямо на глазок, так что даже не нужно применять никаких статистических критериев,
чтобы быть уверенными в статистической значимости этих различий (хотя можно и применить).

Особенно сильны различия по фактору-аспекту "Логика - Этика". Мужчины - это чаще Логики (32 процентов
логиков против 18% этиков), а женщины - чаще Этики (30% этиков против 20% логиков). Среди
мужчин больше интровертов, чем среди женщин (хотя по этому фактору различия не столь велики).
Среди мужчин несколько больше новаторов (Дон-Кихот), а среди женщин - традиционалистов (Драйзер).
Хотя, извините... различение "Новатор - Консерватор" - это идет от пятого фактора "Большой пятерки",
а не из четырехфакторной системы Юнга-Майерс-Бриггс-Аугустинавичюте. По фактору "Интуиция-Сенсорика"
различия между мужчинами и женщинами оказываются не значимыми, как и по фактору "Планирование -
Импульсивность".

Можно ли сказать, что различия между "Физиками" и "Лириками" - это различия между "мужским"
и "Женским" когнитивными стилями? - Да, видимо, в значительной степени различение "Физиков и лириков" сводится к "Ян - Инь"...
Ну так мне кажется. Хотя, как мы видим, среди женщин встречаются "логики" (рационально
мыслящие), а среди мужчин - "этики" (эмоциональные, чувствующие).

А вот как выглядит оценка значимости различий между мужчинами
и женщинами по фактору "Логика-Этика" (Мышление - Чувство)
с помощью четырехклеточной таблицы сопряженности и критерия
Хи-квадрат:

Коллеги,

публикую 2 таблицы, позволяющие сравнить данные мужчин и женщин по СП-20.
Почему две? - В одном случае (первая таблица) данные представлены в усредненных
баллах по шкале стэнов. Во втором - в процентах для самых ярких типов (тимов).
Эти данные, на мой взгляд, только подчеркивают, что тест СП-20 является
слишком несовершенным инструментом. Многие его пункты ПЛОХО коррелируют
со своей типологической шкалой. Но... это мы покажем в следующих публикациях
на этой ветке.

Чтобы измерить "сходимость" результатов по супер-коротким методикам
мы предложили на этой неделе участникам КИТТ еще один тест-опросник
на тему соционики. Это тест-опросник Ивана Карнауха (конечно, имеется
согласие автора на использование его опросника в клубе).

За пару дней опросник прошли уже 271 респондент.

Вот как выглядит гистограмма частот встречаемости ТИМов.



Возможно, кто-то будет утверждать сходство результатов - о том, что есть очевидная перекличка с аналогичной гистограммой для двух предыдущих тестов - Мегедь-Овчеровой и Горенко-Толстикова. В самом деле опять лидирует ИЭЭ "Вдохновитель", а резко отстает по частотности появления ЛИЭ "Экспериментатор" (его иногда называют "Предприниматель", но еще чаще - Джек Лондон).

А я бы акцентировал внимание на различиях! - Приближается вдруг к "Вдохновителю" и становится вторым по частоте не ЛСМ "Администратор", а СЭИ "Посредник"? - Сказываются различия в эмпирических индикаторах. У Ивана Карнауха они значительно короче, а главное несколько иные акценты сделаны по содержанию. Например, "Интроверсия-Экстраверсия" предстает в этом опроснике как "социальная черта" - как "общительность-замкнутость", за что коллеги-соционики Ивана остро критикуют (я стал невольным свидетелем этой критике на ФБ).


А вот как различаются гистограммы для мужчин и женщин.




Эта картинка позволяет выдвинуть "ситуационную гипотезу": в данном случае сказался определенный ситуационный фактор в "самофильтрации добровольцев". Мы обратились
к членам клуба КИТТ в очередной рассылке с призывом - бескорыстно помочь науке
и пройти еще один, сверхплановый соционический тест. Кто откликнулся? - Как видим,
чаще откликнулись "этики", а не "логики". Даже среди мужчин их в данном случае оказалось
больше. Откликнулись, надо полагать, из сочувствия - из стремление оказать поддержку исследователям (организаторам проекта КИТТ). Ну и, наверное, "администраторов" побольше откликнулось, но ... по-другим мотивам - из-за определенной "дисциплинированности" (конечно, это не более, чем гипотеза). Но что еще "льет на мельницу", что ситуационный фактор влияет на частотность определенных типов? - Если, как мы уже знаем, "этиков" больше среди женщин, то доля женщин в выборке СП-4к должна, по идее, оказаться повыше, чем доля женщин при прохождении прежних методик. Смотрим. В случае СП-4к доля женщин в самом деле возросла, хотя совсем не намного (191 из 245 респондентов, сообщивших свой пол, то есть женщин стало почти 79 процентов, а было меньше 75%). Впрочем, все это не позволяет объяснить, почему настолько более популярным типом стал СЭИ "Посредник".

Чему нас учит (и меня в том числе!) произведенный анализ распределений частотности с расщеплением по полу? - А тому, что для получения более объективной картины частотности типов требуется брать не всех испытуемых, а выравнивать выборку по полу - брать мужчин и женщин в равных долях, то есть складывать (усреднять) проценты отдельно для мужчин и отдельно для женщин.

Ну а что насчет процента совпадающих диагнозов по СП-4 и СП-4k?
189 респондентов откликнулись на нашу просьбу и выполнили обе эти методики.
Из 189 у 51 человека ТИМ повторился в точности. Это немногим более 30 процентов
(а по двум прежним методикам, напомню, было очень похожее число, хотя чуть
повыше - 32 процента).

Таким образом, между двумя короткими методиками конвергентная валидность
оказалось даже несколько ниже, чем между первой короткой СП-4 и длинной СП-20.

Хотя... если взглянуть на матрицу попарных корреляций всех ТИМов (построенную
опять-таки по 189 наблюдениям), то получим примечательный факт - в этом
случае получше обстоит дело с дискриминантной валидностью: все максимумы
распложились строго по главной диагонали, то есть связывают одноименные тимы.
Хотя средняя корреляция по главной диагонали тоже оказалось пониже - 0,44,
что впрочем совпадает с данными по доле полных совпадений.




Матрица МММ дает нам уже известную информацию, какой тип чаще смешивается с каким другим (при сравнении результатов разных тестов). "Администратор" смешивается опять с "Управляющим", "Аналитиком" и "Традиционалистом". А "Вдохновитель" смешивается с "Лириком", "Новатором" и "Политиком". Впрочем,
в тесте Ивана Карнауха типажи названы немного по-другому. Хотя... узнаваемо.

Что впереди? Что еще осталось проанализировать? - Да, немало еще чего!
Пусть те наши коллеги, которые увлекаются соционикой, увидят немножко,
что эта за работа - анализ статистических результатов, полученных по сырой
версии теста, сколько всего надо проанализировать и сделать, чтобы сырой
авторский тест превратился в психометрический инструмент. Как правило,
в случае популярных соционических тестов такую работу авторы НЕ проделывали...

Впереди анализ связей между соционическими тестами и тестом на "Большую пятерку".
Данные от респондентов, выполнивших все методики, вроде бы достигли 100 наблюдений.
Это уже кое что. Но это уже не сегодня.

Да... и вот еще что. Длинный тест СП-20 весьма условно можем считать удачной методикой.
Невооруженный взгляд на самый простой анализ заданий (а в системе HT-LINE он производится
автоматически и очень быстро) показывает, что далеко не все задания в этом тесте обоснованно
связаны со своими шкалами - имеют обоснованный ключ. По каждой типологической шкале
в среднем 25 процентов заданий (по 5 из 20) оказываются неудачными - не работают на эту шкалу.
Надо бы посмотреть, что произойдет с СП-20, если мы произведем самую обычную процедуру,
с которой начинают улучшение сырого теста и превращение его в психометрический - с удаления
необоснованных ключей (связывающих с факторными шкалами "ложные задания", которые
на самом деле на шкалу НЕ работают и только усиливают "шум" - долю ошибки в результатах).

Так что... до какой-то степени понятны возражения социоников против длинных методик
в пользу коротких. Короткий набор тестовых заданий оказывается "умопостижимым образом" связанным
с факторными шкалами, а в длинном наборе более косвенных (не самооценочных, а более
поведенческих) вопросов глазами точность в подборе эмпирических индикаторов трудно
обеспечить. Так что правильнее-то сравнивать не короткие и сырые длинные тесты,
а короткие и "улучшенные" длинные тесты - очищенные от необоснованных ключей (авторских
ошибок в ключах).

Александр Георгиевич, спасибо за такой подробный анализ. Жду с интересом результатов корреляции с "Большой пятеркой".

Итак, коллеги, наконец, мы собрали достаточно материалов,
чтобы построить МТММ-матрицы, связывающие популярные
соционические тесты и одну из методик "Большой пятерки",
которая установлена в клубе КИТТ, - методику "Пента".
Поясню, что Пента - это нестрогий ипсативный выбор из
прилагательных, которые предъявляются на экране не парами,
а сразу пятерками. Похожий диагностический прием использован
в известной методике DISC, но там он работает на четверках и от
испытуемого требуется выбирать строго 1 подходящий дескриптор
(прилагательное) и 1 неподходящий (прилагательное). А в Пента
можно выбирать и на одном полюсе 1-2 слова, и на другом - то же 1-2, что
помягче. В методике Пента предъявляется 32 пятерки (всего 160 разных
прилагательных). Таким образом, на один фактор приходится 32
эмпирических индикатора (дескриптора). Шкалы в Пента сбалансированы
по фактору СЖ (социальной желательности) с помощью Тезауруса
личностных черт (но это уже "отдельная песня")...

Вот как выглядит МТММ-матрица для короткой методики, с которой
мы начали сбор данных в этом августе - для теста из 4-х вопросов Мегедь-Овчарова (ЦСТ-4).




Число участников КИТТ, которые одновременно выполнили ЦСТ-4 и методику Пента - 194 человека.
Уже неплохая по численности выборка!

Итак, видим, что получено множество высокозначимых корреляций. Цветом в первой половине
матрицы (в первых восьми столбцах) выделены все коэффициенты, значимость которых выше уровня
p<0,01) - все, которые выше по модулю, чем 0,2. Поскольку вторая восьмерка столбцов оказывается
(из-за устройства ключей в ЦСТ-4) просто симметричным отражением первой восьмерки, то цветовое
выделение для второй восьмерки не требуется, но при этом легко указать для всех столбцов ("тимов") число
значимых коэффициентов. Всего их оказывается 46 из 96 возможных (кроме Большой пятерки
учитывается еще и служебная шкала из Пенты - шкала СЖ , так что в таблице 6*16 = 96 клеточек).
Совершенно, очевидно, что при наличии 50 процентов значимых связей (из общего числа
возможных связей), большинство этих связей явно сохранится при делении выборки пополам
(при проверке устойчивости методом кросс-валидизации). Мы не станем утомлять читателей
этой самой "кросс-валидизацией" хотя бы потому, что она фактически нами будет выполнена
путем сравнения картинки (цветовых выделений) на двух других аналогичных МТММ-матрицах
- с использованием двух других соционических тестов.

О чем говорит полученная картина значимых связей? - О том, что соционические тимы НЕ являются
вовсе чем-то экзотическим и очень неплохо вписываются в пространство факторов Большой Пятерки,
более того - они неплохо описываются через комбинацию факторов Большой пятерка. Посмотрим,
кто такой с точки зрения Большой пятерки тип ЛСИ "Администратор" (очень условный "Максим Горький")?
- Это Консервативный (- Б5) Интроверт (-Б1) с высоким Самоконтролем (+Б3) и высокой Стабильностью (+Б4).
В этом случае на сработал только один фактор "Большой пятерки" - это тот самый, которые никак
и не должен работать в типологии Юнга - это самый морально-заряженный фактор "Независимость - Согласие".
Антиподом (с симметричным профилем) для ЛСИ оказывается тим ИЭЭ "Вдохновитель-Советник" (с
условным аналогом из мира литературы - Гексли). Гскси, как видим, получился Экстравертированным (+Б1)
Новатором (+Б5) с низким Самоконтролем (-Б3) и низкой Стабильностью (-Б4).

Важно подчеркнуть, что из 16 всего 12 соционических персонажей (75 процентов) описываются с помощью
факторов "Большой пятерки" - в количестве либо 4, либо 3 фактора. Плохо описываются только четверо
персонажей - Аналитик, Коммуникатор, Эксперт и Политик. Но... стоит обратить внимание,
что именно эти персонажи очень редко встречались в нашей выборке, поэтому-то они, очевидно,
и не "проявились" путем проецирования соционических типов в пространство "Большой пятерки".

Вас удивляет этот полученный результат? - Меня, признаться, нисколько не удивляет. Почему? -
У меня были все основания ожидать именно такой результат - высокую степень соответствия
соционических типов определенным квадрантам в пространстве факторов "Большая пятерка"
В нашей Лаборатории мы уже давно установили аналогичные эмпирические значимые
связи между результатами по "Большой пятерке" и по методике "Топ-Юнит", которая
является неким аналогом MBTI (на другом наборе вопросов и при другой - вероятностной - системе интерпретации
результатов). Начнем с того, что Интроверсия-Экстраверсия повторяется
во всех классификациях как универсальный различительный фактор-признак просто текстуально.
Фактор "Интуиция - Сенсорика" высоко-значимо коррелирует с фактором "Новаторство-Консерватизм"
(из Большой пятерки). Фактор "Воспринимающий - Решающий" из MBTI - это во многом
"Импульсивность - Самоконтроль" из Пятерки. А фактор "Мышление - Чувство" - это во многом
"Рациональная стабильность - Эмоциональная нестабильность" из Пятерки.

========================================================

Тест СТ-4к (соционический тест Ивана Карнауха)

Итак, следующая аналогичная таблица содержит 196 попарных корреляций между
6 факторным шкалами Пента (по строкам) и 16 типологическими шкала
в тесте СТ-4к. В этом случае данные подсчитаны по выборке несколько меньше численности.
Но все-таки 148 участников клуба КИТТ выполнили одновременно тест
СП-4к и тест Пента.



Здесь мы наблюдаем очень похожую структуру данных с той, которая получилась по методике Сп-4.
Из 196 возможных корреляций значимых получено 48 - примерно такое же число.
Причем 34 из 48 значимых коэффициентов разместились в точно тех клеточках, где они размещались
в предыдущей таблице по методике СТ-4 Мегедь-Овчарова. Огрубленно можно сказать, что рисунок
значимых корреляций в одной и другой таблице совпадает примерно на 75 процентов.

==========================================================

Ну а теперь рассмотрим, как коррелируют с тестом Пента более длинный соционический
опросник СТ-20 (авторы Горенко-Толстиков). В этом случае МТММ-матрица построена
по результатам 164 испытуемых, выполнивших обе методики. При этом важно заметить,
что для теста СТ-20 шкалы были предварительно оптимизированы по надежности
ключей - все неподтвержденные ключевые связи между пунктами и шкалами были
обнулены, чтобы на результаты данного теста меньше влияли случайные ответы
на случайные вопросы.




Невооруженным глазом видно, что в данном случае значимых (цветных) корреляций
побольше (50), а главное - они оказались более выраженными по модулю. Ну а как это
зрительное впечатление можно проверить количественно? Мы подсчитали среднюю сумму квадратов
корреляций для всех столбцов всех трех матриц. Если для коротких методик эта сумма оказалось равной 0,34 (СТ-4к) и 0,37 (СТ-4), то для длинной методики СТ-20 эта сумма оказалась гораздо выше (0,55). То есть, можно смело говорить о том, что длинная методика продемонстрировала более высокую конструктную валидность - лучше спроецировалась на пространство факторов "Большой пятерки". Кто-то, конечно, может не признавать саму концепцию "Большой пятерки" (несмотря на обилие данных из разных стран о стабильности этой факторной структуры), но тем не менее факт остается фактом: ДЛИННЕЕ оказались вектора, отображающие 16 соционических типов в факторное пространство "Большая пятерка" в случае более длинного теста СТ-20.

Хотя... стоит обратить внимание и на такой факт, что в случае длинного теста СТ-20 лучше сработали только три фактора Б5 по следующим строкам: Экстраверсия, Самоконтроль и Новаторство, а остальные факторы сработали гораздо слабее. То есть, шкальные типы в длинной методике вытянулись больше вдоль сильных факторов Большой Пятерки - произошло усиление конвергентной валидности при некотором ослаблении дискриминантной валидности. Другим выражением того же снижения дискриминантной валидности оказался тот факт, что в таблице для СТ-20 мы нашли только 28 повторяющихся клеточек со значимыми корреляциями (а не 34 как в таблице для СТ-4к) - потеряли значимость некоторые корреляции по "слабым" факторам (слово "слабый" мы берем в кавычки, так как они являются "слабыми" только в контексте разговора об их совместимости с соционическими типами).

Этот результат позволяет нам сделать важный вывод: повышение консистентности шкал в случае длинных тестов (путем стандартного приема - удаления ключей для "неработающих" пунктов) приводит к улучшению в диагностике частотных типов, но к ухудшению в диагностике редких типов (редких для данной популяции). Тем самым становится понятным, чем хороши короткие методики - они лучше сохраняют сравнительную независимость (ортогональной) факторов-признаков, чем длинные соционические тесты (да и не только соционические, очевидно).

Таким образом, метод МТММ-матриц не дал однозначных свидетельств в данном случае в пользу более длинного теста. В целом более длинный тест оказывается практичней в том смысле, что он лучше работает в случае более частотных типов, но... похуже - в случае менее частотных типов. А так как именно частотные типы встречаются чаще, поэтому с некоторым огрублением можно сказать, что длинный тест работает все-таки несколько лучше.

Хотя... все наши заботы о коротких и длинных методиках для кого-то покажутся совсем малозначимыми на фоне другого неожиданного (для многих, я уверен, это является все-таки неожиданностью) факта: соционические тесты и психометрические тесты типа "Большая пятерка" порождают результаты, которые могут быть проинтерпретированы в неком едином "личностном пространстве", в котором сосуществуют и факторы (интегральные черты), и вектора, которые принято называть "типами". Эти вектора оказываются в разной степени близкими друг к другу в этом пространстве, и более близкие вектора (типы) приводит к более частным ошибкам по типу "смешения": в одном случае респондент получает один диагноз, а в другом - альтернативный диагноз, хотя и "родственный".
Является ли такое представление о структуре описательного личностного пространства совместимым с теорией о существовании дискретных типов? - Только в том смысле, если типы осмысливать как "маяки" или "якоря", то есть некие реперные, знаменательные точки в едином непрерывном пространстве.

Итак, завершился августовский цикл в клубе КИТТ.
Он был посвящен соционическим тестам, как Вы знаете.
Участники клуба не только выполняли соционические тесты-опросники
в обычной позиции респондента, но в позиции "Экспертов" пытались
угадать ключ для эмпирических индикаторов. Вот как выглядит таблица
правильных ответов и ошибок, допущенных 213 участниками клуба
в работе с 8 описаниями из короткого теста СТ-4 Мегедь-Овчарова:






Как видим, вполне надежно испытуемые опознавали описания интровертов и экстравертов, а по другим описаниям допускали немало ошибок. Причем особенно много для описания "сенсориков", которых большинство путали с "рационалами" (почти 80% ошибок при наличии только 20% правильных ответов).

Вообще направленность ошибок совпадает с тем, что мы обнаруживали для "тимов". "Рациональные" тимы чаще смешиваются не только с "сенсориками", но и с "логиками". Что это за типы с точки зрения гендерной принадлежности? - Правильно, это МУЖСКИЕ типы. А "интуитивные" тимы чаще всего смешиваются с "иррационалами". Это, очевидно, женские типы.


Итак, ошибок много, их направленность отчасти проливает свет на причину тех иллюзий "самоузнавания". которые возникают при восприятии результатов соционического теста даже в тех случаях, когда по разным тестам (или в разных ситуациях) человек получает разные "диагнозы" - все "мужские" типы воспринимаются наивными испытуемыми как родственные, также как и все "женские".


Таким образом, "очевидная валидность" - крайне несовершенный
источник информации о валидности, о чем косвенно говорят эти данные.