Валидность методик цветовой психодиагностики

1) Петр Всеволодович, я совершенно не понимаю, в чем смысл Вашего сочувствия. Сочувствовать надо не мне (я эту методику не применяю), а тем тысячам психологов, которые поверили в то, что она чего-то там личностное диагностирует, и тратят драгоценное время (свое и респондентов) на получение бессмысленных текстов.
Думаю, что получение отрицательного для МЦВ вердикта в контексте конструктной валидации – полезный в теоретическом и практическом плане результат, вполне окупающий не такие уж большие мои трудозатраты по извлечению из архивов ранее аккумулированных данных и их статанализу. И, кстати, я еще не все сказал…

2) Исследование взаимосвязей «имплицитных» и «эксплицитных» методов – классический пример МНОГОметодной-многопризнаковой матрицы – одной из наиболее популярных за последние 60 лет технологии исследования конструктной валидности методик. Как раз-таки коррелирование шкал одного опросника со шкалами другого опросника – более уязвимый для критики подход, поскольку общность методов (самоотчет) может приводить к инфляции наблюдаемых величин эффекта. Так что этот упрек – мимо кассы. Или его можно интерпретировать как заблаговременное признание того, что все «имплицитные» методы – туфта (если исследование их конструктной валидности путем выявления ковариаций с внешними событиями или иными методами, якобы, невозможно).

3) Александр Георгиевич, я полностью согласен с Вашей ограничительной формулировкой в отношении нулевых перспектив применения МЦВ/ЦТЛ в качестве инструмента личностной диагностики именно в аттестационных ситуациях. Я и не пытался в своих постах затрагивать «ситуации клиента», и достаточно открыто выражал свою озабоченность именно распространенной практикой применения методики в аттестационных ситуациях (поскольку такая практика имеет место во многих силовых структурах).
Скажу больше: ситуации клиента меня интересуют в минимальной степени, поскольку, довольно хорошо зная практику работы психологов нескольких силовых ведомств, я вижу, что консультационная составляющая у них не превышает нескольких процентов. Я полагаю, что это довольно типично для всей организационной психологии в целом.
Мы все здесь представляем разные ветви психодиагностики. Для кого-то аттестационные ситуации – нечто инфернальное...
В учебном процессе с силовыми психологами мне приходится прибегать к «зеркальным» характеристикам и объяснять, почему большая часть публикаций (в том числе, о тестах), генерируемых в академических журналах (как правило, на студенческих выборках, в ситуации научного сотрудничества), для нас (для них) практически бесполезна, и почему лишь после апробации в реальном аттестационном контексте, исследования психометрических характеристик и расчета репрезентативных тестовых норм в этом (и только в этом) контексте, тест может быть признан пригодным к применению для решения стоящих перед ними задач.
Вопрос о чувствительности МЦВ/ТЦЛ к изменениям состояния я не рассматривал, хотя методики оценки состояния в одной из представленных матриц присутствуют.

4) Выставляя матрицы, я полагал, что все участники дискуссии знакомы с индексами, предложенными для комплексной оценки результатов ранжирования цветов в МЦВ/ТЦЛ. Прошу прощения за недосказанность, исправляюсь:
Раб – работоспособность;
Уст – усталость;
Тре – тревога;
ОАН – отклонение от аутогенной нормы;
Эксц – эксцентричность;
Конц – концентричность;
ВК – вегетативный коэффициент;
Автн – автономность (гомономность);
Гтрн - гетерономность
И еще на всякий случай: поскольку распределение многих из этих индексов (и некоторых шкал других методик) весьма сильно отличается от нормального, все корреляционные матрицы рассчитаны по нормализованным стэнам.

5) С интересом буду ждать получения результатов исследования валидности заключений по результатам тестирования в ситуации доверительного контакта респондента с психодиагностом (или самопознания). Правда, мне кажется, что предложенная Юрием Александровичем схема может и не привести к убедительным результатам, поскольку: А) иллюзорная валидность псевдозаключений может иметь место и при использовании опросников; Б) в схеме не хватает ситуации, когда на выбор предлагаются ОБЕ ложные (случайные) интерпретации. Для такой схемы можно предусмотреть 3 варианта реакции: вариант А, вариант Б, ни один из двух). А может даже и 4-й вариант: «оба супер».
Прогнозирую, что в итоге все останутся при своих позициях. Но попытка стоящая (особенно если потом удастся сопоставить ее результаты с недавно обнародованными на этом форуме результатами вероятности предугадывания случайных событий).

Я бы предложил другой путь: сравнение генерируемых «канонических» интерпретаций (после перевода их с птичьего языка на язык внешнего поведения) с характеристиками «знающих других» (another reports). Мета-аналитические коэффициенты корреляций для основных факторов личности известны, так что будет, с чем сравнивать.

Итак, Константин Владимирович, как я Вас понял, Вы выступаете с определенными процедурными оговорками,
но все-таки за то. чтобы провести исследование, предложенное Юрием Александровичем.
Из коллег, высказывавшихся на этой ветке, я думаю мы сможем получить согласие на эту
схему исследования также от @Тхостов А.Ш. и @Хохлов Н.А..

Может быть, присоединится Николай Алексеевич Батурин (@Батурин Н.А. ), хотя скорее
всего ему придется звонить, так как он, по моим вмечатлениям, нерегулярно следит за форумом.
Но... нам важно привлечь в свои ряды защитников проективных методик. Крайне желательно,
чтобы в числе не менее двух человек. Было бы очень хорошо, если бы на этот прямой
призыв откликнулись @Собчик Л.Н. и @Яньшин П.В. Хотя при этом список участников,
которые получат ПРЯМОЙ И РАВНЫЙ доступ к первичным данным мы оставляем
открытым для всех участников форума.

Ваш АШ

Я согласен с предложенной схемой исследования.

Александр Георгиевич, я правильно понимаю, что у нас будет также возможность сопоставить данные по другим методикам проекта КИТТ, которые ранее проходили потенциальные участники нового исследования?

Я полезных перспектив никогда не супротив...

Да, именно поэтому я предлагаю использовать клуб КИТТ для этого эксперимента.
Хотя для РАВНОГО и ПОЛНОГО доступа к результатам придется создать
отдельный кабинет-филиал клуба. В филиале ИД участников будут теми
же, как и в основном кабинете persona. Это позволит нам соединить данные
МЦВ и других методик.

Ваш АШ

Признаться, у меня есть сомнения в том, что для такого исследования подойдет клуб КИТТ. Ведь большинство его участников (если не все) - психологи, которые, конечно, знакомы с тем, как "должен" работать МЦВ.
Мне кажется, здесь нужны наивные испытатели, которые не станут привносить в свои реакции ранее усвоенные знания. Правда, их еще поискать надо (учитывая возможные контакты с армейскими психологами, психологическую поп-литературу и т.п.)

Константин Владимирович,

в клубе КИТТ психологов не более 10 процентов (!).
Причем многих из них (чья профессиональная принадлежность известна)
можно отфильтровать, чтобы они не получали приглашение для выполнения этой задачи.

Но... я ни в коем случае не настаиваю на том, чтобы вся выборка сводилась только
к членам этого клуба. Можно пригласить "людей с улицы". Как раз в этом
могут помочь все эксперты, кому симпатичен этот замысел - разослать
гиперссылку на тестик с интерпретацией.

С ув,
АШ

Константин Владимирович!
1. Выражая сочувствие, я исходил из того, что для творческого человека свойственно строить, а не разрушать. А Вы, вне сомнения, натура творческая. А результаты Вашего исследования - разрушительны. Ведь нигде ранее Вы не ограничили свои негативные выводы аттестационной ситуацией. Отсюда и мое непринятие Ваших обобщений на валидность теста Люшера в целом. Если, как следует из "...Я и не пытался в своих постах затрагивать «ситуации клиента», и достаточно открыто выражал свою озабоченность именно распространенной практикой применения методики в аттестационных ситуациях", Вы ограничите свои выводы этой ситуацией, то вопрос исчерпан.Я уже писал, и не раз, что проективные методы (и тест Люшера) не пригодны для исследований в принудительной ситуации.
На будущее, коллеги, прошу участников дискуссий внимательней относиться к использованию в своем дискурсе кванторов общности типа "всегда", "никогда", все" и т.п., и явно ставить границы истинности своих заключений. Это сэкономит время.
2. То, что при использовании опросников возникает инфляция изменчивости - факт. Но столь же четко установленным фактом является слабая корреляция между имплицитными и эксплицитными мерами (от 0.2 до 0.5) в зависимости от массы модерирующих параметров. Как выяснилось, правомерны три варианта событий: 1) они измеряю общую дисперсию изменчивости, 2) они измеряют каждый собственную изменчивость, 3) дисперсия измеряемой ими изменчивости частично перекрывается. Звучит банально... Большинство исследователей сейчас занимают умеренную позицию, т.е., скорее, признают варианты 2 и 3. Но это отнюдь не делает имплицитные методы "туфтой", если вспомнить, что опросники - не единственный метод их валидизации. Вы вновь утрируете, прибегая к полимическим приемам!
К слову, Вы не ответили на мои прямые к Вам обращенные вопросы относительно установки испытуемого в ситуации Ваших обследований. Это трудно? Они были заданы не из праздного любопытства, как понимаете. Ведь три наиболее часто упоминаемых в литературе фактороа, влияющих на корреляцию - мотивация, способность к рефлексии и, в особенности, - спонтанность / контролируемость самоотчета. Для самого теста Люшера также характерна изменчивость выбора цвета в зависимости от напроения (это мотивационный тест и тест состояния). Думаю, что все эти факторы в Ваших исследованиях работали против величины эффекта (т.е. именно из-за них вероятность получения значимых результов равна 0). Поскольку Вы не приняли во внимание (не контролировали) эти факторы, приведенные Вами результаты могут быть сформулированы лишь таким образом: "В ситуации принудительного обследования между тестом Люшера и эксплицитными опросными методами корреляция отсутствует". Другая, более глубокая, интерпретация (и особенно о валидности теста Люшера в целом), неправомерна. Вывод о валидности метода Люшера может быть сделан лишь в метааналитическом исследовании, контролирующем указанные выше модерирующие факторы.

Александр Георгиевич, Юрий Александрович!
Уверен, что пришло время определиться с объектом, предметом, проблемой и гипотезами предполагаемого исследования.

Петр Всеволодович, здравствуйте.

Я рад, что определенный минимальный уровень (хотя далекий от 100-процентного)
взаимопонимания между Вами и Константином Владимировичем восстанавливается
(мои с Вами разногласия я вообще считаю "рабочими").

Очень хорошо, что Вы готовы рассмотреть возможность совместного исследования.

Но... давайте отдадим себе отчет в том, что времени для ОЧЕНЬ ТЩАТЕЛЬНОГО
планирования у нас ни у кого нет. Особенно на старте, пока еще не втянулись.
Поэтому я подхватил очень разумное предложение Юрия Тукачева: давайте
проведем абсолютно минимальное исследование (по оргзатратам прежде всего).
Если оно даст обнадеживающие результаты (или такие, которые будут нас
мотивировать), то тогда будем двигаться дальше. Иначе мы рискуем застрять
в нюансах трактовки несколько абстрактных понятий типа "объект-предмет" и т.п.
Тем более, что важнее этих понятий для нас обсудить "экспериментальные
условия" проведения теста. А других, кроме онлайн-самотестирования
мы не можем сейчас рассматривать из-за дороговизны оргзатрат.
Проблема у нас касается валидности, но у нее много разновидностей.
В нашем случае эта проблема оказывается операционализированной (конкретизированной) в рамках предложенной Юрием процедуры и тесто связана с гипотезой. Мы должны договориться, что НЕ будем делать расширительных выводов
про все виды валидности, но будем говорить о "доверительной валидности" -
о принятии диагноза самим тестируемым.

Итак, мы берем 2 равные (примерно равные) по численности группы
добровольных участников, и одним рассылаем ссылку на версию
теста, по которому выдаем реальное интепретирующее сообщение,
а другой группе посылаем ссылку на такую же тестовую процедуру,
но эта группа будет получать ложную интерпретацию - такую,
которая будет подобрана случайно из банка интерпретаций,
будет соответствовать явно другой "раскладке" цветов. Обе
группы будут ОДИНКОВО проинструктированы и будут находится
в том состоянии актуальной мотивации на самотестирование,
которое обычно возникает у всех подобных испытуемых. Один
нюанс будет отличать нашу процедуру от совершенно обычной:
мы сообщаем испытуемым (уже в приглашающей инструкции,
которая обычно немного отличается от процедурной предстартовой
инструкции), что отрабатываем определенные различные новые
схемы интерпретации и хотели бы оценить, насколько новая
схема лучше или хуже работает по сравнению со старой схемой.
Поэтому после получения результатов мы просим испытуемого
пройти небольшой опросник (фактически из одного опроса)
и ответить, насколько по пятибалльной шкале (можно взять
и трехбалльную, и двухбалльную, но пятибалльная людям
самая привычная) им кажется УБЕДИТЕЛЬНОЙ полученная
интерпретация (насколько похожей на их представление о себе).
Думаю, что сейчас даже не надо подробно обсуждать, что
мы будем делать с двумя распределениями частот по пятибалльным
шкалам - для основной-обычной и контрольной группы (контрольной
я называю ту, которая в данном случае получает случайную
ложную интерпретацию).

Чем хороши участники клуба КИТТ для реализации этой схемы?
- Тем, что подобное предложение в их адрес им совершенно
не должно показаться "странным, необычным, подозрительным".
Ибо они привыкли, что мы им предлагаем участвовать в испытании
различных инновационных методических решений и давать
обратную связь по этим решениям.

Коллеги, если мы намечаем хотя бы небольшой круг участников,
заинтересованных в этом проекте, но в нем не участвует Людмила
Николаевна, то давайте перейдем для дальнейшего обсуждения
этого проекта на блог Тукачева (или в другой какое-то раздел).
Пока я не вижу, чтобы Людмила Николаевна как-то отреагировала
на такой поворот в дискуссии. Я попробую ей сегодня-завтра
просто написать по обычной э-почте и-или позвонить.

Чем еще удобно площадка HT-LINE? - Я гарантирую в этом
случае РАВНЫЙ И НЕЗАВИСИМЫЙ доступ ко всем сырым
результатам методики для всех организаторов-экспериментаторов.
Все получат логин и пароль и смогут напрямую наблюдать,
как накапливаются результаты - еще до завершения эксперимента.
Если кто-то еще сможет предоставить такую же возможность,
тогда лично я буду готов ее рассмотреть.

Стоит ли уже сейчас обсуждать такую процедурную деталь,
как "скорость обработки результатов" или скорость предьявления
интерпретирующих сообщений? Пока я готов рассмотреть
такой вариант, который мне кажется наименее затратным: мы
обещаем в данном случае участникам не мгновенный результат,
а "индивидуализированную интерпретацию", но с отсрочкой
в один день (на следующий день). Так что не будем все автоматизировать,
но будем надеяться, что кто-то (Петр, может быть, Вы?) будет
готовить индивидуальные заключения. Система HT-LINE позволяет
прикреплять эти индивидуальные заключения к индивидуальным
страницам каждого испытуемого.


Ваш АШ

Александр Георгиевич!
Не уверен, что возьму на себя составление индивидуализированного заключения. Давно не брал в руки шашек! Когда-то я сделал для работы программу интерпретации полного набора Люшера. Посмотрю в архивах, сохранилась ли она. Если да, то могу предложить этот вариант (для 8 цветов). Предупреждаю, что стилистика больше подходит для клинического заключения, и далека от канонической. А это - не есть хорошо, как я понимаю. Кроме того, моя интерпретация опирается, по большей части, на интегральные показатели и не следует всем авторским правилам.
В интернете полно компьютерных программ интерпретации. Можно ли их использовать? Какая из них наиболее соответствует всем тонкостям интерпретации - сказать трудно. (Тонкостей, к стати, довольно много, и их не так-то просто алгоритмизировать).
Поэтому предлагаю четко сформулировать, что мы проверяем:
1. Диагностическую ценность процедуры выбора цветов Люшера? (Тогда нет нужды придерживаться авторского стиля).
2. Валидность канонической интерпретации теста Люшера? (Предполагается, что стиль скомпрометирован, но сам тест работает).
3. Валидность интегральных показателе теста Люшера? (Предполагается, что частные интерпретации комбинаций цветов заведомо не валидны).
4. ----?
3-й вариант проверить проще.
Еще считаю, что следует придерживаться авторской процедуры проведения: две раскладки.

Комментарий по поводу поверки достоверности теста цветовых выборов.

Вся проблема в том, что я не оцениваю надежность теста по интерпретации отдельного заключения, так как рассматриваю интерпретацию с позиций контекста: пол, возраст, ситуация, повод для обследования - это во-первых. А во вторых - оцениваю результаты обследования в сравнении с данными других тестов (одного, лучше двух, а в серьезных - экспертных условиях - трех других методик).
А просто - интерпретация одного конкретного случае - всегда несет в себе возможность по крайней мере двойственной интерпретации: 1. оценка ситуативно обусловленного состояния у определенной (типологически) личности - так как методика крайне чувствительна к малейшим изменениям в конкретной ситуации и в средовом воздействии, и в собственном самочувствии и настроении.
2. Или - оценка (сиюминутная) - личности, подтвержденная или повторным обследованием или данными других тестов (чтобы избежать ситуативных накладок)..
Поэтому, когда мне предлагают провести эксперимент, я не вижу тех необходимых условий, которые должны сопутствовать обследованию для получения достоверных данных. Просто - тест, проведенный на группе добровольцев - и что? Должен быть поставлен вопрос - что мы ищем? И у кого? И зачем? У меня всегда исследования были целенаправленны и группа имела свое лицо.
Еще 25 лет тому назад так же хотел проверить мой теоретический подход к исследованию личности и надежность тестов Петр Яньшин. Он взял (по моему совету) сильные, активные характеристики цветового теста и аналогичные по смыслу показатели Сонди. И корреляции получились от 0,44 до 0,73, а когда он взял отдельно предпочтения и отвержения, то по отвергнутым цветам и портретам корреляция возросла по отвержениям до 0,86. А Яньшин на этом материале защитил кандидатскую, а затем, развивая свой подход, и докторскую.
Обследование должно быть осмысленным. А просто обследование an-mass абсурдно. Блюма Вульфовна называла это "методом граблей".

Шмелеву: тем не менее я участвовать буду, алгоритм интерпретации выдам Вам, а не просто - в форум.
Александр, алгоритм интерпретации можно взять в приложение к методическому пособию, где позиции цветовых эталонов приведены в виде функциональных пар, но интерпретация введена - моя. Если хотите (чтобы Вам не искать), я ее пришлю в виде файла.

Но... Мы понимаем, что всегда обследование или подтверждает какое-то гипотетическое предположение или опровергает. Поэтому гипотезу нужно сформулировать почетче и учесть, что нередко испытуемые отвергают совершенно адекватное диагностическое заключение только потому, что оно им НЕ нравится.

Какого ответа мы ждем?

Дорогая Людмила Николаевна,

спасибо Вам большое, что Вы несмотря на критику замысла все-таки согласились
участвовать в этом коллективном исследовании и даже прислали по почте
необходимые для этого материалы - любезно предоставили вашу авторскую
интерпретацию. Обязуюсь бережно отнестись к этим материалам - использовать
их только в рамках данного совместного исследования.

С вашим предостережением насчет наличия особых испытуемых, отвергающих
свой реальный псхиодиагностический портрет я полностью согласен. Такие есть!
Сегодня, кстати, в телефонном разговоре (к сожалению, пока не на форуме)
@Столин В.В. напомнил мне, что именно существование таких испытуемых,
которые предпочитают "противоположный профиль" собственному реальному профилю,
вскрыла предложенная им когда-то еще в прошлом веке методика "управляемой проекции",
о которой вспомнил здесь Петр Всеволодович.

Ваш АШ

Петр Всеволодович, аттестационная ситуация обследования и "принудительное обследование" - не одно и то же. В той ситуации, из которой я взял и представил большую часть данных, респонденты были мотивированы на прохождение обследования, дабы получить право обучения на военной кафедре (со всеми вытекающими из этого бонусами). Был приличный конкурс, как я уже писал ранее. Более того, некоторые не прошедшие в одном году повторно приходили на тестирование на следующий год (таких я разглядел человек 60 за 7-8 лет). Так что здесь не стоит искать причины ничтожных корреляций с внешними методиками.

Позволю себе еще один "вброс" эмпирических данных об МЦВ/ЦТЛ. На сей раз я подобрал материал, позволяющий оценить стабильность извлекаемых из методики оценок во времени. Данные не являются продуктом академического исследования (с плановым интервалом между первым и вторым обследованием), а взяты из реальной практики психологической работы в силовой структуре, поэтому интервал в среднем составляет 9 месяцев (размах – от двух недель до 15 месяцев). Полагаю, что с некоторыми оговорками их можно трактовать в контексте ретестовой надежности (РН). Сходные материалы публиковали, например, МакКрей и Коста по NEO-PI-R.
В качестве точки отсчета я имел следующие ориентиры, полученные в аналогичных условиях на относительно качественных опросниках:
- русскоязычная версия NEO-PI-R: средняя РН факторных шкал = 0,753 (0,725-0,795); аспектных – 0,639 (0,472-0,716); N = 392.
- «Личностный профиль»: 0,619 (0,521 – 0,730); N=202

В МЦВ стабильность индексов и ранговых позиций цветов оценивалась по коэфициентам корреляции между первым и вторым обследованиями. Выборки были взяты из популяции сотрудников одной из силовых структур, представлявших разные регионы. Возраст от 20 до 59 лет (средний – 32); доля женщин около 20%. Сравнивалась стабильность оценок при использовании различных процедур. Материалы расчетов скопированы из матриц STATISTICA и в табличной форме представлены в прикрепленном к этому посту файле.
1) Процедура «классическая»: ранжирование 8 цветных карточек; N = 300
Средний уровень ретестовой надежности ранговых позиций цветов = 0,453 (0,39-0,57); стандартизированных индексов = 0,473 (0,39-0,54); сырых индексов = 0,464 (0,38-0,54)
Ранжирование цветов по степени устойчивости ранговой позиции:
желтый – коричневый – серый – синий – черный – фиолетовый – красный – зеленый
2) Процедура: ранжирование 8 цветных прямоугольников, предъявляемых на экране ПК; N = 158
Средний уровень ретестовой надежности ранговых позиций цветов = 0,463 (0,36-0,60); стандартизированных индексов = 0,466 (0,33-0,60); сырых индексов = 0,477 (0,34-0,60).
Ранжирование цветов по степени устойчивости ранговой позиции:
черный – синий – желтый – красный – зеленый, коричневый – фиолетовый – серый
3) Процедура: смешанный формат ранжирования 8 цветных прямоугольников (1-й раз карточки, 2-й раз на экране ПК или наоборот); N = 169
Средний уровень ретестовой надежности ранговых позиций цветов = 0,404 (0,28-0,54); стандартизированных индексов = 0,414 (0,34-0,45); сырых индексов = 0,457 (0,39-0,51)
Ранжирование цветов по степени устойчивости ранговой позиции:
черный – желтый – зеленый – фиолетовый – серый – синий – красный – коричневый
4) Процедура: парные сравнения цветных прямоугольников на экране ПК;
N = 440
Средний уровень ретестовой надежности ранговых позиций цветов = 0,312 (0,27-0,42); стандартизированных индексов = 0,319 (0,26-0,41); сырых индексов = 0,333 (0,24-0,42)
Ранжирование цветов по степени устойчивости ранговой позиции:
черный – желтый, фиолетовый – серый – коричневый – синий, красный – зеленый

Выводы по исследованным выборкам:
1. Ретестовая надежность почти всех оценок, извлекаемых из МЦВ, – ниже лимитов, рекомендованных «Стандартом требований к психодиагностическим методикам».
2. Как не странно, РН индексов (учитывающих от нескольких до всех цветов) почти не отличается от РН ранговых позиций отдельных цветов, что (с учетом отсутствия преимуществ в уровне корреляций) ставит под вопрос полезность многочисленных индексов, предложенных различными авторами (вопрос о полезности изобретения новых индексов для защиты диссертаций сомнению не подвергается).
3. Стабильность ранговой позиции цвета на разных выборках довольно широко варьирует.
4. Надежность ранжирования цветов в карточном и компьютерном варианте практически не различаются.
5. Смена формата (карточки > ПК или наоборот) приводит к некоторому снижению индексов стабильности (значимость снижения не оценивалась).
6. Процедура парных сравнений приводит к существенному снижению всех оценок стабильности.

Низкая ретестовая надежность (при полной невозможности оценить надежность одномоментную) – еще один аргумент, почему следует распрощаться с иллюзиями личностной экспресс-диагностики с помощью минутной процедуры ранжирования цветовых карточек. Было бы очень заманчиво, но – увы…

Если бы цветовые предпочтения действительно отражали личностные особенности, факт №6 мог бы серьезно дискредитировать применение процедуры парных сравнений.
Казалось бы, защиту от явной халтуры он обеспечивает, но, несмотря на это, воспроизводимость результатов во времени снижается…
Однако сопоставление последней из выложенных мной корреляционных матриц (N=817, метод парных сравнений) с остальными, полученными путем ранжирования цветов, не выявляет никаких заметных различий в уровне статистического шума, генерируемого с помощью ЛЮБОЙ процедуры выявления цветовых предпочтений на ЛЮБОЙ выборке (да, в аттестационных ситуациях).
Похоже, единственная оставшаяся «экологическая ниша», где МЦВ потенциально сохраняет шансы на некоторую полезность – оценка состояния.
В контексте оценки состояния высокая ретестовая надежность может оказаться скорее недостатком, чем достоинством…
Оценить пригодность МЦВ для оценки состояний гораздо сложнее, здесь нужен, скорее всего, лонгитюд и многократные обследования одних и тех же испытуемых в комплексе с какими-то другими методиками (самооценочными, деятельностными, психофизиологическими), имеющими подтвержденную репутацию индикаторов состояния. Есть, правда, некоторая неуверенность в том, что мы таковыми сегодня располагаем.

Людмила Николаевна и коллеги!

Вчера было сформулировано такое значимое осложнение в казалось бы "безупречно
простом" замысле - показать интерпретацию МЦВ самим испытуемым.
Людмила Николаевна справедливо указала, что существуют испытуемые
которые вообще не признают свои психодиагностические результаты,
если они их НЕ устраивают. Беда еще в том, что мы не можем наперед
сказать, какова доля в выборке (процент) подобных испытуемых.
Проблему, по моему мнению, следует признать существенной.

Изначально идти на эксперимент, не преодолев этой проблемы, -
это просто тратить время. О чем же мы можем договориться "на берегу",
имея в виду это методическую трудность? Мне кажется, что мы можем
договориться о следующем.

1. Мы все-таки проводим намеченный эксперимент, добиваясь в каждой
группе численности не менее 15 человек (чем больше, тем лучше).

2. В случае положительного (статистического значимого) результата
мы признаем, что МЦВ в ситуации самопознания обладает ненулевой
(положительной) доверительной валидностью. И... начинаем обсуждать
другие виды валидности и возможности их проверки.

3. В случае негативного результата мы должны изначально договориться
о проведении следующего НЕОБХОДИМОГО эксперимента (использую
термин "эксперимент" в широком смысле как синоним эмпирического
исследования). Мы просим 20 (не менее 20) членов нашего сообщества
ЭСПП послать ссылку на МЦВ-онлайн кому-то из хорошо знакомых
людей (родственников, друзей и т.п.). Затем мы предлагаем
членам сообщества 2 варианта интерпретации (реальный и случайный)
и просим ВЫБРАТЬ, какая из двух интерпретаций соответствует ИХ ПРЕДСТАВЛЕНИЮ об этом другом человеке. То есть в качестве критерия мы НЕ будем использовать в данном случае упрощенную самооценку, а внешнюю
экспертную оценку (хотя экспертов-то всего один, это упрощенный
вариант экспертной оценки). Мы тем самым возвращаемся
к исходному предложению Юрия Александровича Тукачева, но...
в другой модификации: выбор из двух вариантов интерпретации будет
производить не сам испытуемый, а "знакомый эксперт".

ВОПРОС: А может быть, будет лучше сразу же начать со второй схемы,
не занимая время на реализацию первой? Вообще-то вторая
организационно более трудоемкая и я бы все-таки начал с первой.

Ваш АШ

20 человек -маловато, но хоть так. Обследовать хорошо знакомых людей - неплохая идея. С этого обычно и начинается знакомство с тестом - давно пройденный этап, и если бы он не оказался результативным, вряд ли кто-либо стал продолжать применять методику.

Константин Владимирович!
Вы так и не ответили на мои прямые вопросы. Или квалифицировать отношение испытуемого к обследованию - это столь сложная задача?
Аттестационная ситуация чаще всего - принудительна. Что значит "мотивированы на прохождение обследования"? Эта мотивация может привести к различному отношению к обследованию и различным стратегиям поведения. Убедите меня в обратном: дайте квалификацию отношения студентов к обследованию.
Если это не принудительно обследование, то поясните, что же тогда является принудительным обследованием? Или все эти студенты с радостью бы на него пошли, если бы им предложили альтернативу - обследоваться, или можно и так поступить?
Пожалуйста, определитесь, наконец:
1. Вы рассматриваете свои результаты только как предостережение в использовании теста Люшера при отборе кадров, или
2. Вы рассматривает свои результаты как опровержение валидности теста Люшера вообще, вне зависимости от ситуации его проведения.