Волнение в океане личностных факторов

Пояснение Александра Геннадьевича о том, что в анимации использованы данные IPIP, сразу все прояснило.
При всем моем восхищении этим проектом, все же в их в шкалах (да и во многих других "коротышах" последнего десятилетия тоже) просматривается злоупотребление тавтологичными или антонимичными формулировками.
К примеру, измеряем экстраверсию так:
Often feel uncomfortable around others
Feel comfortable around people
и тому подобное.
При таком конструировании средний уровень межпунктовых корреляций, конечно, растет, одномоментная надежность, соответственно, накачивается, а вот внешняя валидность, увы, проседает. Что и подметили в одной из статей Thalmayer, Saucier, Eigenhuis (2011)

На самом деле там "сборная солянка":
All of our temperament items are from the International Personality Item Pool. The items have been chosen based their inclusion among various other scales of personality, including the IPIP 100 Item Big Five Factor Markers (Goldberg, 1992, 1999, Goldberg et al., 2006), the 240 items from the six-factor HEXACO-IP scales (Ashton, Lee & Goldberg, 2007), the 100 item Big Five Aspect Scales (DeYoung, Quilty & Peterson, 2007) and the 48 item QB6 (Thalmayer, Saucier & Eigenhuis, 2011).

И, конечно, надо смотреть исходные формулировки пунктов, по которым на выборке 2800 были собраны данные. Эти данные используются в дидактических целях для изучения конструирования опросников, факторного анализа, IRT и т.п и включены William Revelle в его пакет psych для языка R.

A1
Am indifferent to the feelings of others. (q_146)

A2
Inquire about others' well-being. (q_1162)

A3
Know how to comfort others. (q_1206)

A4
Love children. (q_1364)

A5
Make people feel at ease. (q_1419)

C1
Am exacting in my work. (q_124)

C2
Continue until everything is perfect. (q_530)

C3
Do things according to a plan. (q_619)

C4
Do things in a half-way manner. (q_626)

C5
Waste my time. (q_1949)

E1
Don't talk a lot. (q_712)

E2
Find it difficult to approach others. (q_901)

E3
Know how to captivate people. (q_1205)

E4
Make friends easily. (q_1410)

E5
Take charge. (q_1768)

N1
Get angry easily. (q_952)

N2
Get irritated easily. (q_974)

N3
Have frequent mood swings. (q_1099

N4
Often feel blue. (q_1479)

N5
Panic easily. (q_1505)

O1
Am full of ideas. (q_128)

O2
Avoid difficult reading material.(q_316)

O3
Carry the conversation to a higher level. (q_492)

O4
Spend time reflecting on things. (q_1738)

O5
Will not probe deeply into a subject. (q_1964)

Юрий Александрович, спасибо, что подтвердили мои догадки.
N1 и N2 действительно оказались братьями-близнецами

Константин Владимирович, мы уходим в сторону от основной темы поста "показать меру изменчивости структуры связей, которая вызывается выборочными флуктуациями, а не измерение" (как ее сформулировал Александр Геннадьевич). Это очень наглядный пример. Студентам очень полезно работать с такими визуализациями, да еще в среде R.

В проекте IPIP более 3 тыс. пунктов, что не мешает исследователю выбрать для краткой версии такие пункты с поправкой на антонимичность-синонимичность. К сожалению, мы можем сколько угодно искать "огрехи" в подобных проектах, но только у нас аналоги не появляются. Пора уже просто памятники ставить ("в граните отливать" ) гуляющим версиям 16PF, CPI, MMPI, над которыми не властно время в нашей стране.

Если есть интерес, можем обсудить этот вопрос - открываю для этого новую тему

Согласен с критикой формулировок в банке IPIP

Коллеги, сделал веб-приложение для большей интерактивности. Спасибо Александру Геннадьевичу за идею (@Виноградов А.Г. ) и Кириллу Захарову (@Захаров К.В.) за помощь и нахождение ошибок в приложении.

Доступ к приложению по ссылке: https://psych.shinyapps.io/corplot/

круто

Кстати, если выборка = 500, то океан становится более спокойным, что и следовало ожидать

Мне кажется, анимация станет еще интереснее, если шкалы "подравнять в правах".
Сейчас все пункты N выдержаны в одной полярности, тогда как в шкале E 1-й и 2-й пункты сформулированы в инверсном ключе, из-за чего Е-квадрант смотрится пестро и невнятно.
Если все привести к ключу (то бишь, инвертировать E1 и E2) и задать противоположные знаки связей между пунктами N (негативная аффективность) и Е (позитивная аффективность), станет лучше видно, насколько и как часто флюктуирует ожидаемый знак связей пунктов двух шкал.

Добавил в интерфейс соответствующую галочку "Reverse code scale items"
Теперь можно с перекодированными (по дефолту) или с обратными (если галку снять).

Спасибо, то что надо!
Теперь хорошо видно, как ожидаемая (и неплохо воспроизводящаяся в половине случаев) 4-клеточная шахматная доска в ряде сегментов выборки рассыпается на отдельные клетки (например, в 7, 9, 12, 13, 20 сотнях)
Также более наглядным стала ожидаемая мной некоторая дистанцированность Е5 от прочих пунктов Е и очевидная тавтологичность N1 и N2.
Можно сделать еще один режим отображения, когда все пункты, коррелирующие со шкалой, красятся в оттенки одного цвета (красного), а недискриминативные оказываются в оттенках синевы.
При наличии удобного интерфейса (в частности, импорта пунктовых данных из, скажем, Excel) мог бы получиться неплохой инструмент для разработчика тестов (заметить цветовые отклонения проще, чем цифры, выходящие за рамки желательного диапазона)

Константин Владимирович, если сделать для пунктыХшкала, то корреляции тоже будут прыгать при N от 30 до 500.
Я бы сделал такое приложение, только не вижу, к моему сожалению, кто будет им пользоваться. Я бы с удовольствием тратил на это свое время, но кушать тоже хочется При этом, всё ведь доступно в R для разработчиков тестов. Данная визуализация тоже сделана в R. Есть и другие полезные веб-приложения, например, для освоения IRT analysis: http://kylehamilton.net/shiny/IRTShiny/

Коллеги, немного "причесал" приложение. Добавил опцию "показывать коэфф. корреляции".
Больше менять ничего не буду. Кому интересно, могу выложить исходники.

https://psych.shinyapps.io/corplot/

Юрий Алеканлрович, просто перфектно. Ваш портфолио уже можно использовать, подаваясь на зарубежный грант

Александр Геннадьевич, спасибо!!!

Очень классно стало, Юрий Александрович! Почаще Вам такого вдохновения!