НБО 1.0 - "разбор полетов" или анализ тестовых заданий

Я вообще была уверена, что так и будет, - полная свобода, и посмотрим, что из этого выйдет, и так и начала вопросы придумывать, и удивилась, когда мы стали привязывать всё к БигФайв, ни один из вопросов для этой схемы уже не подошел, и пришлось всё начинать с начала.

Коллеги,

обещаю Вам немножко позднее прокомментировать возникшие здесь реплики.

А пока тороплюсь успеть (уже наваливаются совсем другие заботы в сентябре)
опубликовать здесь кое-что важное по результатам анализа собранных
данных по первой, пилотной версии НБО-1.0.

Если Вы обратили внимание, на личной страницы каждого участника размещалась
кроме НБО еще и методика ПЕНТА - это "Большая пятерка" на базе 160 прилагательных,
которые предъявлялись на 32 экранах пятерками.

Так вот... 201 человек выполнил эту методику ПЕНТА, и 186 выполнили обе методики
- НБО и ПЕНТА. Это дает возможность на сравнительно приличной выборке построить
матрицу Кембелла и Фиске MTMM. См. статью в Википедии -
https://en.wikipedia.org/wiki/Multitrait-multimethod_matrix.

Вот как выглядит матрица 5 на 5. В каждой клеточке выделены значимые
корреляции между факторами НБО и ПЕНТА (уровень значимости p<0.001):

ФАКТОРЫ ПЕНТА => ФАКТОРЫ НБО V	ПЕНТА "ИНТРО ЭКСТРА"	ПЕНТА "НЕЗАВ - СОГЛАСИЕ"	ПЕНТА "ИМПУЛЬС - САМОКОНТРОЛЬ"	ПЕНТА "ТРЕВОЖ - СТАБИЛЬ"	ПЕНТА "КОНСЕРВ - НОВАТОР"
НБО "ИНТРОВЕРСИЯ - ЭКСТРАВЕРСИЯ"	0,60	-0,26	-0,35
НБО "НЕЗАВИСИМОСТЬ - СОГЛАСИЕ"	-0,44	0,52			-0,24
НБО "ИМПУЛЬСИВНОСТЬ - ОРГАНИЗОВАННОСТЬ"			0,26		-0,31
НБО "ТРЕВОЖНОСТЬ - СТАБИЛЬНОСТЬ"				0,34	-0,24
НБО "КОНСЕРВАТИЗМ - НОВАТОРСТВО"	0,34

Что можно сказать? - Не все плохо!
Первые 2 фактора получили вполне приличные показатели конвергентной валидности (корреляции 0,60 и 0,52 по главной диагонали, выделенные цветом). Это данные на "ХОРОШО".

Похуже - только на оценку "УДОВ" - у нас получились данные по третьему и четвертому факторным шкалам: конвергентная валидность только 0,26 и 0,34 соответственно.

Совсем провалился фактор номер 5 "Консерватизм - Новаторство". Видим, что не получен значимый коэффициент корреляции по главной диагонали (впрочем, это часто бывает в исследованиях на базе "Большой пятерки").

Но меня лично больше огорчил не провал в отношении Пятого фактора "Большой пятерки", а отсутствие дискриминантной валидности. То есть, обнаруживается то самое сцепление между разными факторами, о котором мы уже говорили в связи с интерпретацией вопросов, которые "зацепились" значимыми нагрузками сразу за несколько факторов. Это выражается в том, что вне главной диагонали стоят значения, которые тоже оказались значимыми, а должны были быть близкими к нулю. Самая высокая нежелательная "сцепка" - это приближение полюса "Независимость" по НБО к полюсу "Экстраверсия" по опроснику ПЕНТА (корреляция аж -0,44 - выше, чем многие показатели конвергентной валидности!). Ну и так далее.

Как объяснить появление этих сцепок? Как недостаток методики? - Да, но лишь отчасти. Не стоит забывать, что иногда очень хорошие многофакторные методики, отлаженные на больших выборках (как методика ПЕНТА, ортогональность факторов в которой мы не раз подтверждали на многотысячных выборках, включая "Лидеры России"), на каких-то специфичных узких выборках демонстрируют вдруг сцепление полюсов определенных факторов. Чтобы проверить это, давайте рассмотрим, а как повели себя факторные шкалы ПЕНТА на нашей выборке. Ведь она вовсе не сплошная, а составлена из добровольцев, которые интересуются... собственной биографией. Это весьма специфический психологический критерий фильтрации выборки (самоселекции) - "озабоченность своей биографией". Конечно, были среди респондентов и такие, которые хотели просто "послужить науке" и просто всегда выполняют все, что им позволяет углубиться в собственном самопознании. Но в данном случае инструмент самопознания был все-таки специфичным.

Итак, смотрим, какие интракорреляции (внутренние корреляции) обнаружились между факторными шкалами ПЕНТА:

Факторные шкалы	ПЕНТА 1 "ИНТРО - ЭКСТРА"	ПЕНТА 2 "НЕЗАВИС - СОГЛАСИЕ"	ПЕНТА 3 "ИМПУЛЬС - САМОКОНТР"	ПЕНТА 4 "ТРЕВОЖ - СТАБИЛЬ"	ПЕНТА 5 "КОНСЕРВ - НОВАТОР"
ПЕНТА 1: "ИНТРОВЕРСИЯ - ЭКСТРАВЕРСИЯ"	1,00	-0,56	-0,39	0,00	0,05
ПЕНТА 2: "НЕЗАВИСИМОСТЬ - СОГЛАСИЕ"	-0,56	1,00	-0,10	-0,46	0,02
ПЕНТА 3: "ИМПУЛЬСИВНОСТЬ - САМОКОНТРОЛЬ"	-0,39	-0,10	1,00	0,09	-0,60
ПЕНТА 4: "ТРЕВОЖНОСТЬ - СТАБИЛЬНОСТЬ"	0,00	-0,46	0,09	1,00	-0,41
ПЕНТА 5: "КОНСЕРВАТИЗМ - НОВАТОРСТВО"	0,05	0,02	-0,60	-0,41	1,00

Увы, как видим и здесь вне главной диагонали встречаются очень высокие значения.
Причем опять выделяется сцепка "Независимость - Экстраверсия".

Эти дефекты НБО как методики для измерения факторов "Большой пятерки" можно объяснить, таким образом, двумя причинами:

1) Определенными ошибками в организации работы экспертов (процедуру слишком упростили для них) и ошибками самих экспертов. Например, многие эксперты, видимо, руководствовались при отборе вопросов не глубоким научным пониманием факторов "Большая пятерка", а названиями, которые были для них упрощены и дали определенное оценочное смещение. Например, полюс "Независимость" интерпретировался слишком позитивно. Каким бы он был, если бы был использован оценочно-отрицательный дескриптор "Враждебность" или "Индивидуализм"? - Это остается только гадать. А в таком виде полюс "Независимость" наполнился в значительной степени смыслом "Уверенность в себе", что характерно не столько для "враждебных индивидуалистов", сколько для активных и оптимистичных экстравертов.

2) Самостоятельный фактор, который привел к сцеплению, вообще не связан с недостатками эспертной процедуры отбора тестовых заданий (вопросов). Очевидно, что выборка обследованных на сегодняшний день оказалось зауженной и перекошенной. В ней оказалось больше "зависимых интровертов", которые отвечали на опросник так,что появилась и усилилась сцепка полюсов "Независимость плюс Экстраверсия". А полюс "Новаторство" оказался именно на этой выборке сильно сцепленным с полюсам "Импульсивность" (-0,60) и "Тревожность" (-0,41) , и тогда "консерваторы" оказались "организованными" и "Эмоционально-стабильными". Причем более высокая тревожность "новаторов" проявилась не только внутри методике ПЕНТА, но и между методиками ПЕНТА и НБО (см. значимые корреляции -0,31 и -0,24) соответственно. Вот из-за таких особенностей выборки пятый фактор и ... "пропал" - растворился в других четырех факторах.

Ваш АШ

Факторы	Левый полюс	Правый полюс
НБО "ИНТРОВЕРСИЯ - ЭКСТРАВЕРСИЯ"	Застенчивый -0,50 Пассивный -0,45 Скованный -0,43 Осторожный -0,43 Замкнутый -0,36 Нерешительный -0,36	Переменчивый 0,33 Импульсивный 0,34 Самоуверенный 0,37 Раскрепощённый 0,40 Активный 0,40 Общительный 0,44
НБО "НЕЗАВИСИМОСТЬ - СОГЛАСИЕ"	Конфликтный -0,51 Рискующий -0,45 Импровизирующий -0,39 Решительный -0,38 Властный -0,37 Свободный -0,35	Скромный 0,36 Застенчивый 0,37 Соглашатель 0,37 Стадный 0,38 Ведомый 0,44 Покладистый 0,44
НБО "ИМПУЛЬСИВНОСТЬ - ОРГАНИЗОВАННОСТЬ"	Импровизирующий -0,27 Раскрепощённый -0,23 Мечтательный -0,22 Конфликтный -0,21 Любознательный -0,20 Безответственный -0,20	Консерватор 0,21 Собранный 0,22 Бережливый 0,24 Традиционный 0,24 Трезвомыслящий 0,25 Дисциплинированный 0,35
НБО "ТРЕВОЖНОСТЬ - СТАБИЛЬНОСТЬ"	Уязвимый -0,33 Мечтательный -0,32 Нервный -0,28 Неуверенный -0,27 Мятущийся -0,25 Жалостливый -0,24	Уверенный 0,21 Приземлённый 0,22 Уравновешенный 0,23 Равнодушный 0,25 Трезвомыслящий 0,31 Стрессоустойчивый 0,33
НБО "КОНСЕРВАТИЗМ - НОВАТОРСТВО"	Скромный -0,27 Застенчивый -0,27 Осторожный -0,25 Твёрдолобый -0,24 Покладистый -0,23 Пассивный -0,22	Увлечённый 0,25 Новатор 0,25 Оптимист 0,25 Импровизирующий 0,28 Самоуверенный 0,29 Рискующий 0,34

Итак, коллеги, а это результаты очень редкого вида анализа.
Это качественно-смысловой анализ дискриминантной валидности.

Из методики ПЕНТА извлечены личностные прилагательные, которые дали значимые корреляции по полюсам факторных шкал НБО. В результате шкалы можно лучше "качественно осмыслить". Вообще-то прилагательных из ПЕНТЫ, значимо коррелирующих с НБО, оказалось значительно больше, чем в этой таблице. Я несколько искусственно отсек большую часть, выделив только по 6 на каждом полюсе - с самыми высокими корреляциями (коэффициенты Пирсона указаны справа от каждого прилагательного, все они значимы на высоком уровне статистической занчимости p<0,01).

Этот анализ дает нам лучшее понимание того, что удалось и что не удалось сделать в НБО с точки зрения обеспечения удачными индикаторами полюсов "Большой пятерки". В таблице я выделил цветом такие прилагательные, которые встречаются в этой таблице ровно ОДИН и только один раз. Что это дает? - Выделенные цветом прилагательные лучше отражают качественно-смысловую специфику полюсов. А не выделенные цветом прилагательные - это те, которые встречаются в таблице на полюсах двух и более факторов. По этим бесцветным прилагательным можно судить о наличии сцеплений. Причем не только в количественном, но и в качественно-смысловом плане.
Например, мы видим, что слово "Застенчивый" повторяется и на полюсе "Интроверсия", и на полюсе "Согласие". Конечно, по замыслу оно должно было бы встречаться только на полюсе "Интроверсия", а попадание "застенчивых" на полюс "согласных" - это означает нечеткость в формулировках событий в НБО (вопросов о жизненных событиях).

Сколько же чистых получилось прилагательных (однократно встречающихся в таблице)? - 31 из 60 возможных, чуть больше 50 процентов (половины). А 29 прилагательных (почти половина) - это недостаток дискриминантной валидности НБО. Недостаток различимости факторных полюсов, которые сцепились. Качественные эти данные примерно соответствуют количественным оценкам. Мы только на 50 процентов справились с задачей обеспечения дискриминантной валидности. Наша "Большая пятерка" является именно "Большой пятеркой" пока, увы, только на 50 процентов.

Но... скажите, пожалуйста, коллеги, часто ли Вы видели в отечественных работах по психометрической диагностике такой анализ конвергентной и дискриминантной валидности? По-моему, дискриминантный анаиз вообще наши разработчики не делают. Или... не публикуют его результаты. Ибо добиться здесь высокого результата крайне трудно.

Ваш АШ

Я в первые такое вижу, Александр Георгиевич. Классно.. забавно, что мечтательность в импульсивности и тревожности. Это, видимо, к тому, что у тревожных буйная фантазия. Допустим, человек не позвонил, сильно тревожные барышня уже нарисовала себе ДТП со смертельным исходом. И ведь не специально...

Александр Георгиевич, опишите, пожалуйста, подробнее процедуру проведения такого анализа. Мне не совсем понятно, как прилагательные сочетаются с факторами, полученными при использовании пунктов, не являющихся этими прилагательными. Или это просто корреляция с результатами выполнения другой методики?

Да, Никита, это второе - корреляция с результатами другой методики.
Эта другая методика - это ПЕНТА, в которой используется довольно много - 160 индикаторов
в форме личностных прилагательных.

Если балл по Первому фактору из НБО (Экстраверсия) положительно коррелирует
с приписыванием прилагательного "Общительный", то это прилагательное попадает
в соответствующее гнездо таблицы. Причем не просто попадает, а с самым высоким
положительным коэффициентом +0,44, что вполне соответствует содержанию
вопросов в НБО по этому фактору.

Ваш АШ

Действительно, интересно, Александр Георгиевич! Когда-то в в известной Вам "докторской"
я сформулировал "задачу создания биографической теории личности, в которой структура и
развитие личности описывалась бы на языке жизненно-значимых событий и их связей" (1994, c. 19).

Каузометрия пытается решить эту задачу на "языке связей", а проект НБО - на "языке событий".
Эти "языки" дополняют друг друга как линии (связи) и точки (события) в каузограмме (картине жизни).
Прогнозирую: когда-нибудь и "переводчики" появятся для жизни тех, кто с искусственным интеллектом (ИИ),
а психобиографы (каузометристы и нбо-ошники) станут обучать "языкам" и тех, кто с ИИ

Спасибо за титанический труд (надеюсь, не сизифов) !
Ваш AK

Александр Александрович,

только Время сможет показать, насколько данный труд не оказался "сизифовым".

...вообще-то я призадумался: а не взять ли мне сетевой псевдоним Сизиф?

АШ

Не надо, Александр Георгиевич, Вам не подходит, на мой взгляд.

Александр Георгиевич, а можно как-то получить массив данных по НБО и ПЕНТА для самостоятельного анализа?

Юрий Александрович,

вообще-то замысел заключался в том, чтобы соучастники проекта (соавторы) пользовались теми данными по методике НБО, которые... они собрали сами - на своих "подопечных" (своих респондентах). Все эти данные можно легко отфильтровать и представить каждому соавтору. Но пока большой массив удалось получить только Ольге Валентиновне Митиной, пожалуй (более 100 протоколов).

Продолжение проекта НБО мне видится в расширение круга лиц, которые будут производить тестирование с помощью НБО.

Ваш АШ

Александр Георгиевич, понял, хорошо.

Итак, коллеги на 8 сентября мы собрали 340 полных протоколов по методике НБО 1.2.

Вот как выглядит теперь статистика по нашим активистам.
Как видим, самыми активными по приглашению респондентов
оказались именно члены авторского коллектива. При этом 7 человек
превысили "мастерский рубеж" в десять реальных участников (не
просто приглашенных, а тех, кто реально выполнил тест НБО до конца).

1.Митина Ольга Валентиновна 156 121
2. Медведовская Надежда 89 74
3.Низовских Нина Аркадьевна 73 55
4.Барлас Татьяна 27 23
5.Кувшинова Олеся Леонидовна 15 12
6.Гаврилова Анастасия Геннадьевна 12 10
7.Фризен Марина Александровна 14 10
8.Михеев Юрий 9 8
9.Чистопольская Ксения Анатольевна 12 8
10.Шмелев Александр Георгиевич 9 8
11.Кораблева Елена Васильевна 8 7
12.Завоеванная Наталья 6 4 1
3.Савин Евгений Юрьевич 4 4
14.Кроник Александр A 2 1
15.Орлик Лилия 1 1
16.Орлова Женя 1 1
17.Тарасенко Наталья Николаевна 9 1
18.Захарова Ольга Александровна 2-
19.Новоковская Дарья Олеговна 1-
20.Семенова Светлана Николаевна 5-
21.Тимофеев Антон Александрович 1-
22.Тукачев Юрий 2-

... так... похоже я сам немножко ошибся с выбором тематической ветки
для публикации этой сводки. Сейчас скопирую в предыдущую ветки,
где собраны "вести с полей".