Валидность методик цветовой психодиагностики

Интересная цитата! Но не стоит относиться к ней серьезно.
Во-первых, тест относится к проективным в соответствии с тем, что к таковым относятся процедуры свободного выбора и без оценки ответа как "верный"/"не верный". Это классический критерий Л. Франка. Например, тест Сонди.
Во-вторых, константность значения цвета не делает тест не проективным. Мне не понятно предложение "Цвета Люшера воспринимаются нами объективно и не проецируются." А Вам? В тесте Роршаха стимулы тоже строго стандартизированы, но это не делает его "не проективным".
В-третьих, "физиологическая обоснованность" стимульного материала не делает тест "не проективным".
Интересно, почему Люшеру не по душе "проективность" его теста? У меня такое впечатление, что он вкладывает в "проективность" смысл "невалидность", и всячески старается от этого откреститься.

Петр Всеволодович,

спасибо, что Вы уделили определенное внимание комбинаторике и пояснили
мне, в чем именно мои комбинаторные расчеты не соответствуют
логике основных интерпретационнных подходов. Кстати, я и сам вспомнил,
что не сделал поправку на то, что в оригинальной версии Люшера требуется
производить 2 серии ранжирования восьми цветов, а не одну.

Но... я все равно считаю, что смог проиллюстрировать для Вас, что ФАКТИЧЕСКОЕ количество "логико-числовых интерпретируемых профилей" в методике, которая оперирует всего лишь 8 объектами не так велико, как... в методике, которая оперирует,например, 32 объектами - сопоставимым количеством с числом шахматных фигур на доске. Хотя и в методике с 32 шкалами интерпретируемых профилей
может быть всего лишь ... 2-3 сотни, вряд ли больше, то есть порядок,
сопоставимый с числом дополнительных шкал к MMPI.

Что такое "Логико-числовой профиль" (ЛЧП)? - Это вовсе не точечный вектор, а семейство (множество векторов), соответствующих определенным интервальным
ограничениям (неравенствам) и логическим "и-или" для разных шкал.
Мы построили систему моделирования разнообразных ЛЧП в нашей системе
компьютерного тестирования Ht-LINE. Последний пример - на материале
развлекательного теста Игоря Бухалова "Какой Вы На Самом Деле Мужчина" (КВН СДМ).

Здесь были смоделированы по 64 ЛЧП для мужской и женской версии теста как
полный перебор всех возможных бинарных комбинаций на 6 шкалах
(2 в степени 6 = 62, как известно). См. блог-форум клуба КИТТ.

Но главное не в этом, а в том, что:

Каждый логико-числовой профиль может быть предметом отдельной
стандартной валидизирующей процедуры.

То есть с каждый ЛЧП можно работать как с обычной тестовой шкалой,
применяя к каждому ЛЧП обычную четырехклеточную таблицу
сопряженности:

	Высокая критериальная группа	Низкая критериальная группа
Испытуемые, попавшие в ЛЧП	А	B
Испытуемые, не попавшие в ЛЧП	C	D

С ув,
АШ

Юрий Александрович,

спасибо за это конструктивное предложение.

Мы только что в случае с тестом КВН СДМ (в клубе КИТТ) использовали подобный подход -
опрос самих испытуемых на согласие с интерпретацией. Это критерий мной
называется "доверительная валидность". ХОтя данный термин не является
устоявшимся и следует признать, что он является авторским. Другой аспект
"доверительной валидности" (faith validity), более общепринятый, связан
с доверием испытуемых к тому, что по содержанию тестовые задания
действительно хорошо моделирует измеряемое свойство.

Кстати, в случае КВН СДМ эта простейшая процедура дала жесткий для автора
результат - только 50 процентов согласия с интерпретацией по типу
"диагностических клише-ярлыков" (лучше ситуация оказались с факторными
профилями - 73 процента согласия).

Уровень согласия 15 из 20 можно рассматривать. Но я бы немножко повысил
порог - до 22 из 30.

Надо, чтобы эти "правила игры" приняли еще хотя бы несколько наших специалистов,
чтобы мы затеяли такой первый шаг в проверке.

Но... все это не отменяет мое категорического утверждения: методика МОЖЕТ
работать в "ситуации клиента". Но... это не означает, что она при этом будет
работать в "ситуации экспертизы".

Ваш АШ

Юрий Александрович! Эту процедуру когда-то предложил В.В. Столин, назвав ее, по-моему, "Управляемая проекция". Только портрет строился на основе теста Кэттелла. Он измерял, если не ошибаюсь, степень самопринятия.

Мое предложение не совсем такое, но чтобы контролировать эффект самопринятия, можно ввести изменение в процедуру: 1 группа будет выбирать из настоящей и случайной интерпретации, 2 группа -- из настоящей и ложной (но одинаковой для всех), 3 группа будет оценивать степень согласия с интерпретацией по 7 балльной шкале. 3 x 20 = 60 испытуемых. Конечно, еще можно подумать над дизайном, это первое, что сегодня мне пришло в голову и я сразу написал на форуме.

Петр,

Управляемая проекцию по В.В.Столину - это немножко другое.
В выполненной под моим руководством незащищенной и неопубликованной
кандидатской диссертации Артема Соловейчика (в конце 80-х годов)
применялась следующая процедура в компьютерной версии 16ЛФ
(первая легитимная адаптация 16PF на русском языке):

после теста на экране респонденту предьявлялись личностные прилагательные с
помощью "Датчика случайных чисел", причем по каждому фактору отдельно,
так что свое согласие-несогласие испытуемые могли выразить не раз.
Зафиксирован и экспериментально подтвержден "эффект Барнума":
испытуемые чаще, чем это можно предположить на основе случайного
совпадения, соглашаются со случайным диагнозом. Так что, коллеги,
в случае подобных процендур нам нужно по крайней мере учитывать,
что прибавка, связанная с "эффектом Барнума" составляет от 10 до 20
процентов к фактическому уровню совпадения.

Позднее (уже в нулевые годы) эффект Барнума и сходные проблемы
более детально изучала (включая современные литературные
источники) мой аспирант Анна Науменко (@Науменко А.С. ).

Впрочем... должен признать, что предложенный Юрием Тукачевым
вариант, когда кроме реальной интерпретации человеку предъявляется
еще и случайная, в какой-то мере нивелирует эффект Барнума. Хотя
при этом сам эффект не отменяется, но лишь повышает случайную
дисперсию в результатах, но не дает систематического искажения
в одну сторону. Вот почему я предлагаю порог 23 и большее число
испытуемых - 30, а не 20. Против случайной гипотезы равномерного
распределения 15 на 15 граница 23 работает на уровне ошибки p<0.05.
Я применял именно эту границу в тесте "Вероятностного предвосхищения"
и... не обнаружил среди 2 тысяч участников людей, способных к устойчивому
предвосхищению - не в одной, а хотя бы в двух подряд сериях.

Кстати, вопрос к Юрию: кому мы будем предъявлять реальный профиль,
а кому - случайный? Надо искусственно это сбалансировать, да?
15 из 30 получат реальный, а другая половина - случайный, так?
Среди первых должно быть человек 13-14, которые согласятся и будут правы,
а среди вторых человек 9-10, которые отвергнут и тоже будут правы.
Доля точных среди вторых будет меньше из-за эффекта Барнума, как
я предполагаю. Всего мы должны получить не менее 23-х, которые будут точны. ТАК?

Ваш АШ

Только что вспомнил, что в статье, ссылку на которую дал недавно (повторно), мы использовали Столинскую управляемую проекцию для валидизации Цветового теста отношений Эткинда. Кто-нибудь, прочтите, наконец, эту статью. Да! А Шмелев А.Г. дал на нее положительную рецензию в ВП.

Александр Георгиевич, предъявлять будем все испытуемым, а они должны выбрать одну из 2х интерпретаций.Если выбирает настояющую (по результатам ранжирования 8 цветов, можно в двух сериях), то засчитываем "совпадение" (+), если выбирает случайную -- засчитываем промах (-).
Это если одна группа будет. Я еще подумаю, как лучше сделать.

Кстати, про подверженность эффекту Барнума где-то мне попдалась статья на примере LCT.
Апдейт:
Александр Георгиевич, я только сейчас понял, что Ваш вариант предполагает проверку "согласия" (для реальной) и проверку "несогласия" (для случайной). В первом: у нас должно быть не меньше 15 согласившихся, а во втором -- не меньше 15 несогласных, но я принимаю замечание на изменение порога 23 из 30.

Как мы видим, получается уже несколько вариантов, которые имеет смысл обсуждать. Еще можно предварительно уравнивать группы по уровню самопринятия (отдельная процедура) или будет достаточно рандомизации.

А кто будет писать правильную интерпретацию?

А можно ссылку на канонический вариант?

Гм... а вот с каноническим вариантом Люшера у нас как раз могут возникнуть
трудности, о которых мы не подумали. Мне не известно, кто обладает
легальными правами на русскоязычную адаптацию. Так что уважаемый Макс Люшер
(если вдруг до него лично дойдут негативные результаты подобных изысканий)
вполне может оспорить наши усилия как произведенные с версиями перевода,
не прошедшего авторский контроль.

Поэтому я бы предложил попросить Людмилу Николаевну (@Собчик Л.Н.) предоставить
свой вариант интерпретации - свою модификацию. Если она, конечно,
заинтересована будет в подобном исследовании.

С ув,
АШ

Юрий,

это, конечно, вариант. Но... мы должны отрефлексировать, что при наличии конкурирующих вариантов интерпретации в голове у испытуемого нарушается определенный "диагностический миф", который и приводит к эффекту Барнума.
Поэтому я однозначно выступаю за то, чтобы каждому испытуемому предьявлять ТОЛЬКО ОДИН вариант интерпретацию его результатов. В конце концов перед "контрольной группой", который достанется false feedback мы извинимся и предоставим им чуть позднее "реальный" (или тот, который автор теста считает реальным). Это менее экономичная схема, но ... если будем опираться на энтузиастов клуба КИТТ, то не будет проблем набрать более 30 испытуемых не в двух, а в каждой из двух групп (!).

Более важный вопрос на данном этапе, кто именно из коллег готов поддержать такой
шаг как шаг в совместном, коллективном исследовании вопроса?

Ваш АШ

Еще вопрос: почему так мало испытуемых?

Канонический - это - самого Люшера? Есть еще Клара...

Это минимальный объем выборки, обсуловленный применением, например, хи-квадрат для проверки определенной гипотезы. Будет больше, в этом я не сомневаюсь. Конкретный размер выборки можно будет посчитать, когда определимся с дизайном. Это все легко считается, как я показал выше на примере корреляции

Александр Георгиевич, согласен, что мы берем вариант предъявления только одного варианта интерпретации.

Я поддерживаю и участвую в коллективном исследовании вопроса.

Этот критерий понятен. Но почему меня тогда клюют за 39 человек?

Петр Всеволодович, не могу подробнее ответить, но посмотрите, пожалуйста, тему "Мощность и величина эффекта" на блоге А.Г. Виноградова, в старой блогосфере http://services2.ht-line.ru/infolane/index.php?act=board&topic=38&opentopic=1#top_38
Решил скопировать сюда, так по ссылке в другом браузере не открылось:

Мощность и величина эффекта​

Мощность статистического критерия представляет собой вероятность отвержения нулевой гипотезы, когда она фактически неверна. Иными словами, мощность говорит нам о том, насколько вероятно в данном исследовании получить статистически значимый результат, если искомая закономерность действительно имеет место в генеральной совокупности. Из этого определения следует, что любой исследователь кровно заинтересован в высоком значении мощности используемого статистического критерия.
Мощность критерия является функцией трех вещей: 1) степени, в которой проявляет себя искомая закономерность ("величина эффекта"), 2) избранного исследователем уровня статистической значимости (альфа, вероятность ошибочного отбрасывания нулевой гипотезы), 3) объема выборки из генеральной совокупности.
Каждую из этих четырех величин можно выразить через три оставшиеся. Джейкоб Коэн, энтузиаст анализа мощности в психологических исследованиях, в своей монографии [1] приводит огромное количество таблиц, с помощью которых можно определять мощность и необходимый объем выборки, не прибегая к трудоемким вычислениям. По мнению Коэна, трудности, которые возникают у исследователей при анализе мощности, частично объясняются тем, что в психологии в целом отсутствует четкое представление о степени выраженности исследуемых феноменов. Поэтому еще одним немаловажным достоинством его работы является разработка показателей величины эффекта и операционализация понятий "слабый", "средний" и "выраженный" эффект для наиболее распространенных статистических критериев.
К настоящему времени разработано большое количество статистических программ, предназначенных для анализа мощности. Данное сообщение посвящено пакету pwr, которым можно воспользоваться в рамках среды R.
Рассмотрим для примера работу с функцией pwr.r.test, предназначенной для анализа мощности коэффициента корреляции Пирсона, одного из наиболее распространенных в психологии показателей величины эффекта. Дж. Коэн предложил для коэффициента корреляции такие операциональные определения величины эффекта: 0.1 - слабая корреляция, 0.3 - средняя корреляция, 0.5 - значительная корреляция (замечу, что его классификация существенно отличается от того, что можно встретить в пособиях по анализу данных. Так, в [2] величина корреляции до 0.5 включительно рассматривается как слабая).
Аргументами этой функции являются:
n - объем выборки;
r - значение коэффициента корреляции;
sig.level - уровень статистической значимости;
power - мощность критерия;
alternative - строка, указывающая на тип альтернативной гипотезы: "two.sided" (ненаправленная), "greater", "less" (направленные).
При вызове функции только один из аргументов n, r, sig.level или power должен быть опущен, чтобы его можно было вычислить на основании оставшихся. Исключение составляет лишь аргумент sig.level, имеющий значение по умолчанию 0.05, поэтому ему передают значение NULL, если функция должна вычислить уровень значимости.
Рассмотрим такую задачу. Пускай предполагаемая исследователем сила связи в генеральной совокупности описывается как средняя, при этом он хочет обеспечить вероятность обнаружения этой зависимости на уровне 0.8, уровень статистической значимости установлен им в 0.05 и альтернативная гипотеза является ненаправленной:​

> library(pwr)
> pwr.r.test(r=0.3, power=0.8, sig.level=0.05, alternative="two.sided")

approximate correlation power calculation (arctangh transformation)

n = 84.74891
r = 0.3
sig.level = 0.05
power = 0.8
alternative = two.sided
​

Таким образом, чтобы с высокой вероятностью обнаруживать среднюю по величине связь, нужно иметь не менее 85 испытуемых. Если повысить уровень статистической значимости до 0.01, то объем выборки возрастет до 125 человек. Если связь между переменными предполагается слабой (самый распространенный в психологии вариант вследствие невысокой валидности измерения и комплексного характера взаимосвязей), то понадобится 1163 испытуемых. Используя рассмотренные вычисления на этапе планирования исследования, ученый может составить четкое представление о том, какой объем выборки ему может понадобиться, чтобы обнаруживать искомую закономерность с заданной величиной эффекта. Важно подчеркнуть, что необходимость представлять себе величину эффекта перед началом исследования существенно меняет акценты по сравнению с обычной практикой.
Рассматриваемая функция помогает отвечать и на другие вопросы. Например: если я располагаю выборкой в 30 человек и собираюсь обнаружить связь средней силы при установленном уровне значимости в 0.01, то какой будет мощность критерия? Оказывается, она в этом случае составит всего 0.156, т.е. существует крайне незначительная вероятность обнаружения данной закономерности.
Еще один пример. Какого рода эффекты я смогу обнаруживать с вероятностью 0.8, на уровне статистической значимости 0.01, если объем выборки составляет 100 человек? Ответ - 0.334, т.е. среднюю по величине зависимость.
Помимо функции pwr.r.test, в пакете pwr имеется богатый набор инструментов для работы с наиболее распространенными статистическими критериями:

pwr.p.test: критерий для одной доли
pwr.2p.test, pwr.2p2n.test: критерий значимости различия двух долей
pwr.t.test, pwr.t2n.test: критерий Стььюдента
pwr.anova.test: однофакторный дисперсионный анализ для сбалансированных планов
pwr.chisq.test: критерий хи-квадрат
pwr.f2.test: регрессионный анализ
Ряд функций предназначен для вычисления величины эффекта: ES.h (доли), ES.w1 (критерий согласия), ES.w2 (меры связи). Функция cohen.ES дает возможность вывести величину эффекта для заданного критерия и уровня.

1. Cohen, J. (1988). Statistical power analysis for the behavioral sciences (2nd ed.). Hillsdale, NJ: Lawrence Erlbaum
2. Бююль А., Цефель П. SPSS: искусство обработки информации, изд-во DiaSoft, 2005​

А саму формулу можно увидеть? Иначе - черный ящик какой-то. "Таким образом, чтобы с высокой вероятностью обнаруживать среднюю по величине связь, нужно иметь не менее 85 испытуемых. Если повысить уровень статистической значимости до 0.01, то объем выборки возрастет до 125 человек." Всю жизнь пользуюсь коэффициентом значимости (р). Чем он плох? Или коэффициент детерминации?

http://www.unc.edu/~nielsen/soci708/cdocs/cohen.pdf
и онлайн-калькулятор
http://www.danielsoper.com/statcalc/calculator.aspx?id=1