Валидность методик цветовой психодиагностики

Александр Георгиевич!
Ну, наконец-то, кажется, тема стала вырисовываться. Вот читаю я нашу ветку, и есть в ней две позиции. Одна - тестометрическая. В ней преобладает массовый подход и математика. И есть другая - клиническая. В ней каждый случай - это уникальность и неповторимость. Критерии валидности здесь - не математика, а комплексный целостный качественный подход. И эти позиции плохо пересекаются.
Вот Вы привели контрольные шкалы MMPI. А ведь у большинства других опросников и того нет.
Поразмыслив, я пришел к следующему соображению.
В клиническом подходе ответственность за валидность и надежность заключения по результатам обследования несет сам психолог. Именно за ДОСТОВЕРНОСТЬ СВОЕГО ЗАКЛЮЧЕНИЯ. Мне кажется, именно здесь кроется источник недопонимания между психометрисами и клиницистами, здесь присутствующими.
Клиницист, помимо информации о валидности и надежности опросников (которым, кстати, не доверяет и пользуется редко), имеет неоценимую возможность полагаться на оценку совместной деятельности с испытуемым, чего лишен психометрист, оценивающий обезличенные результаты опросников.
Для оценки совместной деятельности у клинического психолога есть ряд признаков (если интересует, могу привести выдержку из моего учебника). При признаках нарушения отношения к обследованию и отклонениях в контакте с испытуемым, клинический психолог отразит это в заключении и предупредит лечащего врача о низкой достоверности своих выводов. Подчеркну: признаки надежности и валидности заключения в клиническом подходе не ограничиваются тестометрическим паспортом методики. Отсюда в клиническом подходе особое значение приобретает стандарт на специалиста.
В массовых обследованиях кардинальный признак отношения к обследованию, как я понял, проанализировав тему, просто игнорируется.

Петр Всеволодович, в рамках, как Вы выразились, массового подхода, психолог (специалист по оценке) также несет ответственность. Это я Вам говорю как специалист с опытом проведения массового тестирования в рамках отборочных процедур (счет на десятки тысяч человек за 16 лет).

Екатерина Эдуардовна, тут скорее не теоретические основания, а прагматические, например, сходу 2:
1. в силу действия эффекта разглашения (ну сколько можно тестировать людей в ситуации экспертизы с помощью MMPI, 16PF, когда ЛЮБОЙ ЖЕЛАЮЩИЙ БЕЗ УСИЛИЙ найдет всю информацию по ним в интернете, есть даже инструкции о том, как отвечать на вопросы -- гуглите, найдете на форумах МВД, МЧС и т.п.)
2. Гераклит Эфесский более 2000 лет назад сказал "Всё течёт, всё меняется", поэтому как стимульный материал (утверждения, вопросы) могут устареть в новых социально-экономических, культурных и т.п. условий.

Екатерина,

основания не могут быть теоретическими в данном случае. Они могут быть только эмпирико-статистическими. Надо хотя бы раз в пять лет проверять, не происходит
ли девальвация методики. Например, пересчитывать хотя бы тестовые нормы (показатели среднего и стандартного отклонения): если они резко изменяются так, что среднее растет, а дисперсия падает, значит произошла утечка (или банальное заучивание заданий) и методика перестала
работать.

Более основательная проверка - это проверка, например, паттерна
корреляций данной методики с другими методиками и другими
данными о человеке. Если, например, методика раньше коррелировала
с возрастом положительно (баллы росли с ростом жизненного опыта
человека), а вдруг стала коррелировать отрицательно, то это основание
для того, чтобы изучить: а не добрались ли более молодые кадры
до каких-то источников секретной методической информации в Интернете
(или просто завели почтовый ящик, защищенный собственным паролем,
и там стали складировать тестовые задания и ключи к ним). От более
возрастной категории такой активности ожидать труднее. Например,
студенты в последние 10-15 лет именно так обманывают преподавателей
вузов, которые думают, что билеты к экзаменам хранятся только у них...

Но на самом деле требуются и еще более изощренные проверки.
Мы как раз сейчас обсуждаем на этом форуме, какие это должны
быть проверки в отношении очень популярной Методики Цветовых
Выборов.

К сожалению, не имею времени, чтобы дать Вам точную ссылку
на западную литературу, где об этих вещах написано. Но...
надеюсь, что знатоки документации ITC (International Test
Commission) мне помогут. Вот ссылка на статью об ITC в
англоязычной Википедии:

https://en.wikipedia.org/wiki/International_Test_Commission

С ув,
АШ

Петр Всеволодович,

я рад, что Вы написали данное сообщение в духе акцентированного
различения ситуации клинического обследования и ситуации
массового компьютеризированного обследования. Конечно,
при этом Вы не избежали собственных предпочтений, немножко
возвышая клинический подход над "психометрическим", но все-таки,
слава Богу, наметилось движение к взаимопониманию.

Студенты, которые прослушали мой курс лекций "Основы психодиагностики"
не дадут мне соврать, что я пытаюсь прививать им равно-уважительное
и заинтересованное отношение и к клиническим методам, и к психометрическим,
различать четко ситуации, в которых возможен один подход и не возможен
(фактически невозможен) другой. Другое дело, что люди в силу
своего когнитивного стиля и своей траектории социализации
получают личностную установку на предпочтение того или иного подхода.
Об этом я писал немало и в своей книге "Практическая тестология" (последняя
глава) и в статье "Песнь о Вещем Олеге и профессиональные предпочтения
в области психодиагностики":

http://www.ht.ru/cms/new/425-2009-10-07-16-04-13

Эти предпочтения сильно затрудняют конструктивный диалог сторон.
Но резко выигрывают те коллективы, где этот диалог все-таки происходит.

С уважением,
А.Г.Шмелев

Александр Георгиевич, Юрий Александрович!
Не могли бы вы также высказаться по поводу той принципиальной разницы, на которую я указал в своем сообщении. А именно: квалификация отношения к обследованию на основе анализа совместной деятельности в клиническом подходе против невозможности оценить (и игнорировании ее влияния) установку испытуемого в психометрическом подходе. Я ведь не просто так выделяю свой текст жирным шрифтом и заглавными буквами. Замечаю, правда, что это не мешает его игнорировать.
Юрий Александрович! Не понимаю, почему у Вас вызвал раздражение ("как Вы выразились") термин "массовый подход", если сами же употребили термин "массовое тестирование" (счет на десятки тысяч человек за 16 лет)? И в чем выражается ответственность психолога, если он не способен квалифицировать такой важный фактор, влияющий на достоверность выводов, как мотивация испытуемого и отношение к обследованию?
Александр Георгиевич! Мои предпочтения всегда останутся на стороне клиники, поскольку выводы такого специалиста основаны на взаимодействии с клиентом, а не на абстрактных соображениях.

Петр Всеволодович, если Вы считаете, что я при массовом тестировании в ситуации экспертизы совсем не взаимодействую с оцениваемым (кандидатом, работником), то это не так. Ответственность начинается еще ДО начала тестирования (информирование о целях, задачах, правах и обязанностях участника тестирования и т.п.), наблюдения в процессе тестирования (от реакций на саму процедуру, инструкции, отдельные задания и т.п.) до предоставления ОБРАТНОЙ СВЯЗИ участнику тестирования, одной из функций которой является верификация (т.е. уточнение и дополнение результатов тестирования, мотивация и отношение к тестированию). Мне удивительно читать, что только в клиническом подходе это можно сделать, судя по Вашим словам.

Это может касаться лишь тех вербальных методик, тезаурус которых теряет со временем созвучность современности

Шмелев А.Г.
ЛЮБАЯ ИДЕАЛЬНАЯ методика
должна быть списана как "отслужившая срок годности". Почему
мы не разумеем (забываем), что для методик существует понятие
"срок годности" (или "жизненный цикл")? По мере употребления
происходит эффект разглашения (disclosure effect), так что методику
приходится СПИСЫВАТЬ.

Екатерина Эдуардовна, посмотрите, пожалуйста, через поиск несколько тем на форуме (сейчас не готов здесь указать ссылки), мы уже не один раз обсуждали подобные вопросы в разных контекстах) -- строка поиска находится вверху правого сайдбара.
Еще хочу обратить Ваше внимание на опубликованный в разделе WIKI Российский стандарт тестирования персонала. Конечно, рекомендую купить и внимательно прочитать кн. А.Г. Шмелева "Практическая тестология", где более подробно раскрываются ответы на волнующие Вас вопросы. На официальном сайте http://testology-book.ru/ можно заказать как бумажную версию книги, так и ее электронный вариант, стоимость которой меньше стоимости Биг-Мака (99 рублей), а для специалистов, применяющих тестовые технологии, просто бесценна.

Юрий Александрович, прошу извинить мою неосведомленность. Не могли бы Вы еще тогда объяснить, какие параметры отношения к обследованию Вы отслеживаете у каждого из десятков тыс. обследуемых, и как используете для верификации выводов окончательного психологического заключения? Есть ли какие-то общепринятые правила, или это Ваши наработки?

Это может касаться лишь некоторых вербальных тестов , если устарел и перестал быть современным тезаурус опросника.

Уважаемая Людмила Николаевна,


с этим вашим утверждением я бы полностью согласился лет этак... 20 назад.
Но в настоящее время - в эпоху Интернета - количество людей, знакомых с такими невербальными тестиками как "психогеометрический", "несуществующего животного", или МЦВ возросло не просто многократно, но на МНОГО ПОРЯДКОВ (в 100 раз как минимум - от десятков тысяч до миллионов!). Вы это учитываете?

Я не просто делаю при этом "гипотетическое голословное утверждение",
а готов предложить проверочную процедуру. Давайте предложим респондентам
в Интернете такую инструкцию для МЦВ: "Постарайтесь изобразить из себя
человека, готового выполнить трудную работу". Давайте посмотрим,
изменится ли при этом статистика выборов и каким образом? Повысится ли
согласованность этих выборов (станут ли они все похожими друг на друга)?

Ваш АШ

Уважаемые коллеги!
Достаточно сделать пару запросов в поисковой системе Гугл, чтобы сделать соответствующие выводы:

Сколько страниц можно найти по тем или иным ключевым запросам?

Коллеги!
Дискуссия постепенно развернулась в сторону анализа "человеческих факторов" (по аналогии с Человеческим фактором ), снижающих валидность психодиагностических методов. Эти факторы ВСЕ связаны с установочным поведением обследуемого. Я рад этому развороту, поскольку сам ему поспособствовал. Предлагаю открыть новую ветку (эта ведь посвящена цветовым методам), например, под названием: "На сколько и какой метод защищен от установочного поведения и как это может повлиять на классические схемы получения психометрических характеристик" (как-то так).
Поясню. Мы по-прежнему используем старые и хорошо проверенные методы для валидизации новых. А теперь эта схема скомпрометирована. Как быть?

Петр Всеволодович,


сегодня я уже поздновато прочел это Ваше сообщение, поэтому отвечаю кратко
в тезисной форме:

1) Старые "хорошо проверенные" методы превратились в хорошо изученные
испытуемыми, их надо обновлять, а ключи к обновленным
версиям - это предмет профессиональной ТАЙНЫ, их более
НЕЛЬЗЯ публиковать в открытом формате - в журналах, в книгах и т.п.
А кто этого еще до сих пор не понял, не должны мешать работать тем,
кто это понял.

2) Повышается роль экспертных методов и процедур в процессах
валидизации. Это должно стать одной из ключевых задач нашего
сообщества. Независимые эксперты должны "разгадывать авторские
ключи". Если они не могут это сделать согласованно, то значит ключ -
это авторская выдумка, не имеющая под собой почвы.

3) Повышается роль непсихологических, иных критериев
валидности - производственных и социальных показателей,
а также биографических данных, включая документирование
коммуникативного поведения (в социальных сетях и т.п.).

4) В процессах валидизации могут участвовать взаимные оценки
и самооценки самих испытуемых (в тех случаях, когда диагностический
конструкт имеет аналог в обыденном сознании).

5) Надо привыкать к тому, что раз в пять лет репертуар методик
придется кардинально обновлять -- не систему интерпретации
и набор конструктов, а систему эмпирических индикаторов
(тестовые задания, стимульный материал).

Вот как-то так.

С ув,
АШ

При этом разные личности имеют представление о работоспособности разное, чем себя и выдадут

По-прежнему слышу разноголосье, которое мне напоминает Вавилонское столпотворение. Мы все говорим на разных языках, а если и употребляем какие-то термины или слова, то в них каждый вкладывает свой смысл. Мы не слышим друг друга...Ничего у нас не получится. Видимо, такой разговор надо было начинать намного раньше и вести его почаще. Мы совсем разучились понимать друг друга. Печально, но это факт.
Петр Всеволодович, Вы со мной согласны?

Людмила Николаевна,

увы, это лишь ваше предположение, но не факт. Как, впрочем, я предполагаю обратное,
но тоже не опираюсь на факты - в отношении ранжирования цветов под этой инструкцией.

Но... приходит в голову история с Р. Кэттеллом. Почти полвека Кэттелл не внедрял
в свой самый знаменитый тест-опросник 16PF никаких служебных шкал - вроде
тех, которые давно уже существовали в MMPI. Он утверждал, что ему удалось
сформулировать нейтральные суждения, свободные от фактора социальной
желательности. Но... в пятом издании (в конце 80-х годов) все-таки пришлось
внедрить в 16PF служебные шкалы. Даже наивные и бесхитростные американцы
стали разбираться в том, как фальсифицировать эту методику. А что же наши?
В одном из дипломных исследований (еще в прошлом веке), которым я руководил,
мы дали испытуемым инструкцию "Отвечайте, чтобы произвести максимально
благоприятное впечатление". И сколько процентов заданий, как Вы думаете,
получили совершенно одинаковые ответы? - Почти половина! Так что, увы,
внутренняя самоинструкция на поиск социально-одобряемых ответов действует
точно также - дисперсия, а следовательно и диагностическая способность
теста падает В РАЗЫ!


Вы до сих пор думаете, что люди не знают "социальных значений" цветовых
стимулов? Давайте убедимся, что на самом деле знают.

Ваш АШ