1. Уважаемые посетители форума ЭСПП!

    Для просмотра сообщений достаточно прокрутить данное сообщение, а для просмотра списка разделов - вызвать "Каталог".

    Для комментариев необходимо предварительно ознакомиться c Правилами Форума и пройти регистрацию!



    Для того, чтобы быстро ознакомится с возможностями форума, загляните в подраздел Для новичков.

    Если при входе на форум появляется сообщение об ошибке, попробуйте восстановить или сменить пароль, нажав здесь.

Валидность методик цветовой психодиагностики

Тема в разделе 'Собчик Л.Н.', создана пользователем Шмелев А.Г., 11 авг 2016.

  1. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Петр,

    Моделированием индивидуальных субъективных семантических пространств (на базе данных,
    которые собираются с помощью репертуарных решеток и сходных с ними методов) я занимался
    немало и, как мне кажется, Вы об этом знаете. Вы, очевидно, знаете, что в отсутствии
    стандартизированного перечня конструктов и элементов МРР (метод репертуарных решеток)
    превращается фактически из номотетической (измерительной) в идеографическую технику,
    а значит, интерпретация ее результатов зависит от более или менее профессионального применения экспертных процедур. Но не все психологи вообще-то знают, как обеспечить
    агрегирование независимых экспертных оценок в таких случаях (точнее знает об этом
    меньшинство). Поэтому в отсутствие эффективного агрегирования спор заходит
    о том, чья интерпретация авторитетней и других критериев, увы, не возникает. Вот об этом
    я говорю неоднократно. И к бихевиоризму как таковому это имеет небольшое отношение,
    так как речь идет о воспроизводимости когнитивистских моделей.

    Но...давайте с Вами осознаем, что разговор наш с Вами ушел далековато от тематики данной ветки.
    А насчет методики "ОТУ: наркотик" у нас на форуме имеется уже другая готовая ветка.


    С ув,
    АШ

    Попова О.С. и Еремеев Б.А. нравится это.
  2. Сугоняев К.В.

    Сугоняев К.В. Лидер Команда форума

    Уважаемые коллеги,
    мне кажется, дискуссия о диагностических возможностях «теста» М.Люшера/ «метода цветовых выборов» Л.Собчик не изменит ничьих верований и может длиться бесконечно и непродуктивно, если она будет опираться исключительно на логические доводы или апелляции к чьим то нетленным трудам. Почему бы не подкреплять доводы каждой из сторон эмпирическими данными?
    Пока что прозвучало лишь упоминание вскользь о каких-то 24 случаях применения ЦТО, и то без конкретных цифр валидности.
    Позвольте привнести толику эмпирики.
    Я решил не представлять здесь данных обследования военнослужащих различных категорий и ведомств, поскольку - учитывая всенародную любовь практических силовых психологов к этим методикам – это потребовало бы слишком больших затрат времени. Остановился на данных, полученных в ходе обследования студентов одного из ведущих гражданских технических вузов. Почему?
    - большинство участников этого форума – люди цивильные и «зеленые человечки» (популярное обозначение времен Сердюкова) многим кажутся какой-то особой популяцией;
    - обследование с помощью МЦВ в этих выборках проводил не какой-нибудь бездушный психометрист, продавший душу цифровому дьяволу (так, видимо считают некоторые клинически-ориентированные психологи), а барышня, являющаяся горячим сторонником проективных и цветовых методик (и даже публиковавшая методички на эту тему); собственно, во многом именно по ее настоянию методика была включена в обследование;
    - обследования, включавшие МЦВ и ряд психометрических методик, проводились много лет, так что имеется возможность сравнить результаты, полученные на разных когортах. Я полностью разделяю тезис Александра Георгиевича о том, что повторяемость эффекта (а не воспоминания об отдельных случаях) имеет принципиальное значение для науки;
    - на протяжении десятилетия выборки составляли более тысячи человек (хотя в последние годы они упали в 2-3 раза);
    - обследование носило аттестационный характер: успешно прошедшие его могли быть зачислены на военную кафедру (конкурс составлял и составляет поныне 2-3 чел. на место); стало быть, контаминация данных «халтурой» была минимальна (это не дедукция, а результат соответствующего анализа). Чего не скажешь о более традиционных студенческих выборках, обследуемых в ситуациях «научного сотрудничества» (Только не подумайте, ради бога, что заключения о пригодности опирались на результаты МЦВ);
    - выборки весьма однородны (по возрасту, гендеру, статусу и пр.), что снимает вопросы о возможной роли модераторных переменных;
    - обследование из года в год проводилось одной и той же группой квалифицированных психодиагностов.

    Вашему вниманию предлагается прикрепленный к этому посту экселевский файл, содержащий результаты обследований трех когорт 3 года подряд (кому этого будет недостаточно, могу еще добавить, хотя времени жалко…), а именно:
    - фрагмент корреляционный матрицы, в которой индексы МЦВ, рассчитываемые в соответствии с рекомендациями (со)автора методики, сопоставляются со шкальными оценками трех психометрических тестов: «опросника ценностных портретов» Шварца с некоторыми нашими добавлениями, опросника ИТО+ (шкалы прототипа – ИТО – сохранены и кое-что добавлено) и опросника «склонность к отклоняющемуся поведению» В.Орла. Психометрическое качество этих опросников на этой ветке не рассматривается, дабы не выходить за рамки обозначенной темы;
    - результат совместной факторизации индексов МЦВ и шкальных оценок трех тестов (косоугольное вращение, естественно).

    Интересующиеся, надеюсь, заглянут в прилагаемый файл, а я перейду к выводам, которые, на мой взгляд, со всей очевидностью следуют из представленных данных:
    - индексы МЦВ демонстрируют заметные корреляции ТОЛЬКО между собой;
    - индексы МЦВ не обнаруживает ни одной корреляции с внешними методиками, которую можно было бы назвать не тривиальной. Их уровень почти не отличается от статистического шума. Если что-то и прослеживается, так это некая слабенькая связь группы МЦВ-индексов с экстраверсией;
    - паттерн корреляций обладает низкой воспроизводимостью;
    - хваленый индекс «тревоги» не выявляет никаких заметных корреляций с теми шкалами, с которыми, казалось бы, он должен коррелировать, если интерпретировать его в соответствии с авторскими описаниями. Даже с шкалами ИТО+;
    - индексы МЦВ образуют устойчивые факторы, которые никак не связаны ни с одним из факторов, описывающих вариативность шкал опросников. Эти факторы образуются просто за счет избыточности индексов: многие из них оценивают практически одно и то же, несмотря на приписываемую им специфическую трактовку;
    - некоторые из индексов, заявленные как находящиеся в оппозиции (концентричность/ эксцентричность; гомономность/гетерономность) на самом деле противоположностями не являются;
    - многократно упомянутый на этом форуме индекс тревоги продемонстрировал настолько неустойчивый паттерн корреляций, что едва ли может как-то содержательно интерпретироваться.

    (Напротив: шкалы других методик образуют между собой вполне предсказуемые и объяснимые конвергентные и дискриминатные связи. Интересующимся могу выслать полные матрицы. Хотя это видно и по матрице факторных нагрузок).

    Не остается ничего другого, кроме как присоединиться к выраженному здесь мнению Александра Шамильевича и призвать коллег, для которых валидизация – не пустой звук и не козни антихриста, перестать пудрить мозги себе и другим, НЕ ПРИМЕНЯТЬ и НЕ РЕКОМЕНДОВАТЬ другим применение этой методики для каких-либо иных целей, кроме установления рапорта с клиентом.

    Ничего личного!

    С уважением, К.Сугоняев

    Вложения:

  3. Тхостов А.Ш.

    Тхостов А.Ш. Активист

    Петр Всеволодович! Вы меня не поняли. Нет списка запрещений. Или лучше так: не принимается всерьез то, валидность чего не доказана. Это как бритва Оккама. Та же логика. Если Вы используете Люшера, то Вам и нужно доказывать, что он работает.
    Ну а по поводу регалий это конечно правда, но так, к сожалению, везде в мире. А в области психосемантики цвета я работал еще студентом И помню все эти ссылки на Гете, Скрябина, Чурлениса и пр.
    Последнее редактирование: 19 авг 2016
  4. Яньшин П.В.

    Яньшин П.В. Лидер Команда форума

    Александр Шамильевич, Константин Владимирович!
    Ольга Сергеевна Попова в своих постах характеризовала не столько тест Люшера, сколько созданный на его основе Цветовой тест отношений А. Эткинда. Это - первое. Данные по его валидности, как минимум, содержатся в публикациях Эткинда (и моих тоже).
    Второе: Метод цветового выбора - это проективный метод. Для Александра Георгиевича, с этим не согласного, - имплицитный метод оценки мотивации и состояния. Это значит, что применять для его валидизации опросниковые процедуры (эксплицитные) - не вполне корректно.
    В моих исследованиях, где применялась самооценга и гетерооценка с помощью Личностного семантического дифференциала, моделирование с помощью метода множественной регрессии давало схождение модели на очень высоком уровне достоверности. Моделирование методом "кусоччатой" линейной регресси позволили предсказать ранг каждого их цветов в раскладке Люшера со 100% вероятностью! Правда, группы были в районе 35 человек, но я провел четыре исследования на разных выборках. Их результаты подтвердились. Приведу, как и Константин Владимирович, только некоторые выводы. А полностью исследование изложено в материале по ссылкам в начале это ветки.
    Это вдержки из статьи Яньшин П.В.,Андреева К.В.(1999) Связь предпочтения цвета с Я-концепцией.
    1. Предсказание самооценки по ЛСД по раскладке теста Люшера.
    В качестве независимых переменных в данной части анализа данных использовались ранги цветов теста Люшера в первой и второй раскладках, а в качестве моделируемых (искомых, зависимых) переменных - интегральные показатели (факторы ОСА) и отдельные шкалы ЛСД.
    Основные результаты данной части исследования представлены параметрами уравнений множественной линейной регрессии для интегральных факторов ОСА (актуальная и идеальная самооценка), а также для удовлетворенности собой. Содержательный анализ этих уравнений будет представлен ниже. Самооценку по отдельным шкалам ЛСД также можно предсказать, основываясь на рангах цветов по предпочтению в тесте Люшера. Нет необходимости приводить полные модели по этим шкалам. Просчитывались модели для актуальной самооценки и разности между идеальной и актуальной самооценкой (удовлетворенности собой). Напомним, что использованный в исследовании ЛСД состоял из 21 шкалы. Таких шкал было получено 24 (13 по актуальной самооценке и 11 - по удовлетворенности собой).
    Цель исследования. При построении моделей этого типа мы преследовали только одну цель: доказать возможность точного предсказания аспектов Я-концепции на основании ранжировки цветов по предпочтению, поэтому ниже мы не даем детального изложения всех параметров полученных моделей.
    Результаты данной части исследования:
    Этот тип моделей позволил предсказать результаты актуальной самооценки по фактору “Оценка” (своих моральных качеств), результаты идеальной самооценки и разности между идеальной и актуальной самооценкой (удовлетворенность собой) по всем трем факторам ЛСД со 100% вероятностью!.
    С такой же точностью можно было предсказать актуальную самооценку по 15 шкалам ЛСД а удовлетворенность собой по 12 [1]. Предсказания по остальным шкалам были также близки к идеальным.
    Перечень шкал ЛСД, по которым наблюдалось полное предсказание [2]: Добросовестный - безответственный, Упрямый - уступчивый, Добрый - злой, Справедливый - несправедливый, Зависимый - независимый, Шумный - тихий, Дружелюбный - враждебный, Честный - лживый, Самостоятельный - несамостоятельный.Большинство шкал относится к фактору «Оценка».
    В случае использования данных первой или второй раскладки по отдельности предсказательная сила модели уменьшается, но предсказания по первой раскладке более точны, чем по второй.
    Приведенных данных достаточно для вывода о том, что по предпочтению восьми цветов теста Люшера можно достаточно точно предсказать большинство из параметров Я-концепции, измеряемых с помощью личностного семантического дифференциала. При этом можно предположить, что, если бы цветов было больше, точность предсказания на основании простой линейной регрессии значительно бы повысилась. Это следует из факта, что регрессионная модель, построенная только на одной (первой либо второй) раскладке теста Люшера, уступает по точности модели, построенной на обеих раскладках.
    Процент объясняемой дисперсии искомого показателя является точным индикатором удачности полученной модели. 0% означает, что попадание случайно, 100% соответствует абсолютному соответствию рассчитанной регрессионной модели искомому показателю (что удается наблюдать крайне редко). Применение моделей, основанных на частичной линейной множественной регрессии доказывает, что большинство аспектов Я-концепции, описываемых личностным семантическим дифференциалом, возможно предсказать на основании предпочтения цветов теста М.Люшера с абсолютной точностью.
    Насколько нам известно, в научной литературе отсутствуют публикации, содержащие настолько мощные аргументы как в пользу связей самооценки с предпочтением цветов, так и в пользу валидности теста Люшера. Полученные результаты трудно переоценить еще и потому, что предполагаемая для проективных техник валидность традиционно предполагается низкой. Естественно, что наши данные еще не являются показателями валидности теста Люшера в полном смысле слова, поскольку не доказана переносимость этих данных на любую другую выборку, и поскольку интерпретация теста Люшера более содержательна, нежели интерпретация ЛСД. Но на память не приходит ни один тест, который показал такую же валидность хотя бы на отдельной ограниченной выборке в отношении отдельного аспекта интерпретации. Исключение составляют только данные, приводимые Э.Т. Дорофеевой (Дорофеева Э.Т., 1979)для выборки больных с аффективными расстройствами. Любопытно, что ее техника основывалась на измерении порогов цветоразличения. Значит ли это, что техники, основанные на взаимодействии человека с цветом, следует отнести к особому классу методик, обладающему уникальным потенциалом? Следует также принимать в расчет то, что ЛСД и тест Люшера основаны на принципиально разных методических процедурах (проективный тест выбора и субъективное шкалирование), следовательно, высокая корреляция не может быть объяснена сходством процедуры измерения, но только связью обеих тестовых методик с единым объектом (самооценка, Я-концепция или то что их обусловливает). Все это позволяет утверждать о том, что процесс восприятия цвета закономерно категоризован на уровне семантических конструктов, опосредствующих структуру самосознания личности.
    После того, как доказана сила связи между ранжированием цветов и самооценкой, необходимо проанализировать ее качественные характеристики. А именно: с какими цветами преимущественно связана самооценка?
    Сравнивая формулы, представляющих простые линейные модели, легко заметить три закономерности:
    1) с разными аспектами самооценки связаны разные наборы цветов, входящих в формулы регрессии;
    2) для обеих раскладок (в конкретной модели) набор цветов примерно одинаков;
    3) для первой и второй раскладок коэффициенты одинаковых цветов приводятся с противоположными знаками. Это значит, что ранги этих цветов находятся в симметричной оппозиции друг к другу, что можно представить как “передвижение” цветов от первой ко второй раскладке от начала к концу ряда, и наоборот.

    2. Предсказание ранга цветового предпочтения по характеристикам ЛСД
    Теперь рассмотрим задачу, обратную той, что решалась в предыдущем разделе. Можно ли предсказать, как испытуемый будет ранжировать цвета по предпочтению, если известны параметры его актуальной самооценки и удовлетворенности собой? Ведь это и означало бы, что предпочтение цвета отражает внутреннее состояние испытуемого, в частности, особенности его Я-концепции.
    Эта задача так же решалась с помощью построения моделей множественной линейной регрессии (вариант с пошаговым включением). В качестве независимых переменных в данной части анализа данных использовались интегральные показатели (факторы ОСА) и отдельные шкалы ЛСД (актуальная самооценка и разность между идеальной и актуальной самооценкой - удовлетворенность собой), а в качестве моделируемых (искомых, зависимых) переменных - ранги цветов теста Люшера в первой и второй раскладках. Регрессионная модель рассчитывалась для рангов по предпочтению каждого из восьми цветов в отдельности, что для обеих раскладок составило 16 независимых моделей.
    Хотя уже заранее можно было предположить связь между порядком цветов в ранжировке их по предпочтению, результаты регрессионного анализа превзошли любые ожидания. Главный результат состоял в том, что на данной выборке испытуемых для каждого из восьми цветов в обеих раскладках оказалось возможным построить модель линейной регрессии, абсолютно точно предсказывающую место данного цвета в раскладке! Во всех шестнадцати случаях коэффициент множественной линейной регрессии был равен единице, а объясняемая дисперсия - 100%. Сорок две независимые переменные, в качестве которых выступили 21 шкала актуальной самооценки и 21 разность между идеальной и актуальной самооценкой, были явно избыточны для моделей, поскольку насыщение наступало после включения в модель 23 шкал. Удельный вес шкал актуальной самооценки и показателей удовлетворенности собой был примерно одинаков. Такие же результаты были получены и тогда, когда вместо показателей удовлетворенности собой в модель включались результаты шкальных оценок идеальной самооценки. Можно сказать, что конкретный набор шкал не имел существенного значения для точности предсказания.
    Следовательно, достаточно знать результаты самооценки испытуемых и формулу множественной регрессии, чтобы у каждого испытуемого данной выборки точно вычислить место каждого из восьми цветов в обеих ранжировках по предпочтению! Погрешность измерялась сотыми и тысячными долями. Поскольку ранги цветов являются целыми числами, путем округления до целого предсказанных значений можно достигнуть абсолютного совпадения с наблюдаемыми значениями.
    Результаты проделанного исследования позволяют делать вывод о существовании функциональной зависимости между параметрами самооценки и ранжировкой цветов по предпочтению в тесте М.Люшера. Эти взаимосвязи носят изотропный (двусторонний) характер.
    Полученные результаты могут свидетельствовать либо о том, что
    a) предпочтение цветов, в частности в тесте М.Люшера, однозначно и полностью детерминированы характеристиками Я-концепции испытуемых исследованной выборки,
    либо:

    b) порядок ранжировки цветов по предпочтению и характеристики Я-концепции однозначно детерминированы некой общей причиной.
    В любом случае:
    c) процесс восприятия цвета закономерно категоризован на уровне семантических конструктов, опосредствующих структуру самосознания личности.


    [1] Для идеальной самооценки модели не просчитывались из-за громоздкость процедуры.
    [2] Приводятся только шкалы, по которым такая точность наблюдалась как для актуальной самооценки, так и для удовлетворенности собой (их всего 9).
    Попова О.С. нравится это.
  5. Яньшин П.В.

    Яньшин П.В. Лидер Команда форума

    Александр Георгиевич! Предполагаю, что Ваше напоминание про МРР должно развеять мои сомнения о Вашей компетентности в области идеографических методов. Каюсь, я не принял во внимание конструктивистский подход. Это, и правда, близко. (Я имел в виду работу с испытуемым с применением классических патопсихологических и проективных техник.) Однако, ведь критика теста Люшера и РНЖ ведется не с конструктивистских позиций, а с позиций классической тестометрии. Так что, в итоге, сути моих возражений не меняет.
    Зато теперь Вы не можете не согласиться, что для решения вопроса о валидности идеографических заключений таки требуется построение собственных (неклассических) моделей. И уже для их валидизации требуется применение мат. статистики. О чем я здесь и твержу.
    По поводу "другой ветки" - жду с нетерпением продолжения этой темы в ней. Сказав "А"....
    Попова О.С. нравится это.
  6. Тукачев Ю.А.

    Тукачев Ю.А. Администратор Команда форума

    Пётр Всеволодович, а где подробное описание результатов применения регрессионного анализа можно посмотреть? Вы могли бы предоставить данные для воспроизведения Ваших результатов?
  7. Яньшин П.В.

    Яньшин П.В. Лидер Команда форума

    Подробно, но без сырых данных и формул регрессии, - в диссертации (я давал ссылку выше по ветке). Там же, в приложении, есть перечень всех моих эмпирических исследований про теме цвета. Сырые данные тоже имеются. Надо порыться в архиве. Обработка проводилась в Statistica, не помню версии.
    Я не единственный, кто в экспериментах с цветом получил высокую доставерность корреляционных моделей. Ч.А.Измайлов (психофизика) получил практически 100% схождение при субъективном шкалировании оттенков цвета и названий эмоций (1983). Э.Т. Дорофеева - при измерении порогов цветоразличения и эмоциональных состояний.
    Последнее редактирование: 19 авг 2016
    Попова О.С. нравится это.
  8. Тукачев Ю.А.

    Тукачев Ю.А. Администратор Команда форума

    Пётр Всеволодович, я посмотрел диссертацию. На мой взгляд, что-то здесь не так. У Вас выборка 39 человек, а независимых переменных 42. В РА важно, чтобы кол-во испытуемых было минимум в 10 раз больше, чем независимых переменных. Качество модели также можно проверить на обучающей и тестовой выборке (разделите выборку на 75% -- обучающая, на которой будет строится регрессионная модель, а 25% -- тестовая выборка, на которой мы будем проверять качество регрессионной модели. Но 39 человек для этого маловато будет.

    Еремеев Б.А. и Сугоняев К.В. нравится это.
  9. Яньшин П.В.

    Яньшин П.В. Лидер Команда форума

    Что имеем... О качестве модели я судил по сообщенным STATISTICA уровню значимости и коэффициенту детерминации. Я изредка прибегал к множественной регрессии, и по опыту знаю, что, если регрессионная модель не выстраивается, то никакой объем выборки не даст значимых результатов. В данном случае результаты налицо.
    По поводу величины выборки и разделения на подгруппы, - это необходимо для создания устойчивой предсказательной модели с целью применения ее на генеральной совокупности. Ведь так? Я не ставил себе этой цели (поэтому и модель не публиковал). Все сделанные выводы и модель применимы только для этих 39 человек, на что есть указание в тексте обсуждения результатов. Но сам факт - поразителен.
    Далее, валидизировать регрессионную модель можно и содержательно. Например, о ее валидности свидетельствует то, что в нее, главным образом, входят шкалы фактора "Оценка"; или то, что в нее разные цвета входят с различной регулярностью.
    По поводу соотношения количества независимых переменных и испытуемых - не знал, что есть строгое правило (х10). К слову, для построения модели хватало 23 переменных. С другой стороны, в прямой модели, где по цветам предсказывались шкальные оценки, участвовало только 16 рангов цветов (а не 42). К слову, в экспериментах с субъективным шкалированием Ч.А. Измайлов проводил исследование на 9 и 2 испытуемых. И - ничего.
    Ну, и я применил валидизацию прямой модели, где по рангу цветов предсказывались шкальные оценки, обратной моделью, где по шкальным оценкам предсказывались ранги цветов. И все сошлось.
  10. Сугоняев К.В.

    Сугоняев К.В. Лидер Команда форума

    Просто фрагмент из моей прошлогодней методички (из абзаца, посвященного кросс-валидизации):
    "...любые оценки, полученные на основе применения общих линейных моделей к частной выборке, являются переоцененными, поскольку они оптимизированы для данной выборки. Выборочные коэффициенты множественной корреляции всегда выше популяционных, которые, в свою очередь, выше кросс-валидизационных. Величина смещения оценок тем больше, чем меньше обучающая выборка и чем больше число оцениваемых предикторов".
    Это - просто краткое обобщение положений, которые можно найти во множестве источников.

    На выборке 35 человек можно "доказать" все что угодно, к сожалению.
    Но научной ценности такие доказательства не имеют.
    Пакет "Статистика" в этом не виновен
  11. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Константин Владимирович,

    я обычно описываю для студентов (аспирантов) этот эффект в еще более заостренных терминах.
    Этот эффект можно (с определенной долей натяжки) назвать "эффектом заучивания и переноса".
    Если Вы натаскали ученика на каком-то учебной материале, то не факт, что его ответы
    будут столь же успешными на другом учебном материале. Аналогично: если Вы выловили
    какие-то корреляции (особенно при применении технологии "фининга" - поиска всех возможных
    значимых корреляций) на какоЙ-то небольшой выборке, то статистическая машина, заучившая
    этот материал, скорее всего покажет более низкий результат на другом материале - на контрольной
    выборке, на которой никакого "заучивания" не происходило. Эта "терминология" идет у меня
    от Бонгарда, описавшего еще в 60-е годы книге "Проблемы узнавания" определенную методологию
    построения самообучающихся распознающих автоматов (алгоритмов).
    Выборку, на которой обнаруживается значимая связь, Бонгард назвал
    "материал обучения", а контрольную выборку для проверки этой связи -
    "материалом экзамена".


    Хотя, конечно, в психометрике тут принято говорить на языке "необходимой кросс-валидизации".

    Ваш АШ

    Попова О.С. и Еремеев Б.А. нравится это.
  12. Яньшин П.В.

    Яньшин П.В. Лидер Команда форума

    Я не использовал самообучающийся алгоритм и не переносил модель на другую выборку. Это не ко мне.
  13. Яньшин П.В.

    Яньшин П.В. Лидер Команда форума

    На сколько переоценными - на 100% или на 1%. Если у Вас нет формулы для вычисления погрешности - то это возражение лишено основания. Если есть формула - обоснуйте с ее помощью несостоятельность модели. Процедура множественной регрессии имеет аппарат подтверждения достоверности модели, учитывающий величину выборки и пр. Вы пытаетесь сейчас навязать мне требования, применяющиеся для конструирования психометрического инструмента (обучение, устойчивость модели в популяции и т.п.). Мое же исследование - из области конструктной валидности. Валидизируется утверждение о тесной связи между порядком предпочтения цветов и самооценкой. Это утверждение подтверждено. Остальное - не ко мне.
    На выборке в 35 человек нельзя доказать "что угодно"! Такие сильные утверждения требуют столь же сильных доказательств. Докажите "что угодно" на выборке 35 человек с аналогичным уровнем достоверности, не подгоняя заранее сырые данные.
    Научной ценности не имеют? Да большинство научных доказательств получено на таких выборках. Почитайте Западные статьи.
    Другое дело, что эти результаты не вписываются в Вашу научную картину мира. Значит, пора ее подкорректировать.
    Попова О.С. нравится это.
  14. Сугоняев К.В.

    Сугоняев К.В. Лидер Команда форума

    1) Уважаемый Петр Всеволодович, специально для Вас привожу здесь более массивное извлечение из ранее упомянутой методички. Там есть и некоторый текст (по необходимости, очень сжатый) и некоторые формулы, с помощью которых Вы можете посчитать, если захотите, насколько "усохнет" Ваш однократно полученный результат, если Вы захотите его распространить на популяцию.

    Кросс-валидизация (перекрестная валидизация) – комплекс приемов, направленных на проверку того, насколько результаты статистического анализа (например, оценки прогностической валидности), полученные на калибровочной (обучающей) выборке, могут быть распространены на иные выборки, принадлежащие к целевой популяции. Необходимость кросс-валидизации обусловлена тем, что любые оценки, полученные на основе применения общих линейных моделей к частной выборке, являются переоцененными, поскольку они оптимизированы для данной выборки. Выборочные коэффициенты множественной корреляции всегда выше популяционных, которые, в свою очередь, выше кросс-валидизационных. Величина смещения оценок тем больше, чем меньше обучающая выборка и чем больше число оцениваемых предикторов.
    Способы кросс-валидизации делятся на эмпирические и аналитические. Эмпирическая кросс-валидизация предполагает либо проведение независимого исследования, либо разделение выборки (достаточно большого объема) на две части. В обоих случаях оценивается, насколько точно уравнение прогноза, рассчитанное на одной выборке (части выборки), прогнозирует профпригодность в другой выборке. Аналитическая кросс-валидизация основана на применении к выборочным оценкам валидности метода специальных корректирующих формул (см. раздел 6).

    А вот фрагмент из раздела 6 я в теле сообщения поместить не могу, поскольку формулы сюда не копируются. Поэтому прикрепляю его отдельный файлом.
    Кстати, по ссылкам на авторов формул видно, что история осознания чрезмерного оптимизма УМР насчитывает уже почти 100 лет... К сожалению, практика их применения в России ничтожна.
    Можно не обращать внимания на слово "профпригодность": оно здесь не играет решающей роли и просто отражает сферу, для которой была подготовлена методичка.

    2) Я предъявил эмпирические данные, к тому же в трех экземплярах (кстати, в них речь идет об МЦВ, на всякий случай, и ни о чем более). Готов любому желающему предоставить исходные данные в форме Экселевских таблиц, дабы любой сомневающийся мог пересчитать исходные данные по-своему...
    Вы пока предъявляете только непоколебимую убежденность.
    Дискуссия в таких условиях едва ли возможна.
    Оснований для корректировки научной картины мира пока не усматриваю.

    С уважением, К.Сугоняев

    Вложения:

  15. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Константин Владимирович,

    между теоретической моделью и эмпирико-статистическими данными в гуманитарных
    сферах складываются острые и драматические отношения. В ньютоновской механике
    все было значительно проще (а вот в современной квантовой механике уже почти
    также сложно). Когда между моделью и реальной статистикой не обнаруживается
    ожидаемой связи, то нельзя однозначно сказать, что именно модель плохая. Бывает и очень часто, что данные получены некорректно. Вот ведь в чем заковыка! Причем некорректность данных - это вовсе не всегда следствие низкой квалификации исследователя-организатора эмпирической схемы сбора этих
    данных. Вся беда в том, что мы не можем ОДНОЗНАЧНО УПРАВЛЯТЬ деятельностью
    испытуемых в наших психодиагностических процедурах. Мы стремимся все предусмотреть,
    но испытуемые читают и понимают наши инструкции по-своему - через призму своих
    жизненных обстоятельств, о многих из которых мы можем просто элементарно НЕ ЗНАТЬ.
    Вот, например, сегодня случился День флага России. И контекст этого дня может
    у какой-то части респондентов вызвать особое отношение к красному, белому
    или синему цвету. И заранее это все просчитать невозможно. Есть известные
    народные, культурно-этнические традиции в России (особенно в северных
    областях), которые объясняют, почему слова "красный" и "красивый" являются
    однокоренными. А вот в семьях, которые пострадали от сталинских репрессий
    в годы советской власти, возможно существует стойкое отвращение к красному
    цвету. Таким образом, цветовая диагностика сталкивается с трудностями,
    связанные с "психосемантической категоризацией", которой на самом деле мы
    НЕ можем полностью управлять в наших тестовых экспериментах.


    Ваш АШ


  16. Яньшин П.В.

    Яньшин П.В. Лидер Команда форума

    Константин Владимирович!
    1) Подставьте в любую из приведенных формул 1.
    2) Вы не приняли во внимание мое возражение о том, что для проективных методов не следует ожидать высоких корреляций с опросниками. Небольшое количество корреляций объясняется этим, и еще тем, что, возможно, это не совсем те опросники, что для этого требуются. А если еще и испытуемые находились в ситуации принудительного обследования либо формально отнеслись к нему (что очень вероятно, поскольку трудно представить, чтобы при обследовании 3000 человек устанавливался индивидуальный контакт), то и такое количество связей - за счастье!
    Вот цитата из вашего поста: "- обследование носило аттестационный характер: успешно прошедшие его могли быть зачислены на военную кафедру (конкурс составлял и составляет поныне 2-3 чел. на место); стало быть, контаминация данных «халтурой» была минимальна (это не дедукция, а результат соответствующего анализа). Чего не скажешь о более традиционных студенческих выборках, обследуемых в ситуациях «научного сотрудничества» (Только не подумайте, ради бога, что заключения о пригодности опирались на результаты МЦВ)". Вы что, при Вашем то опыте, верите в "отсутствие халтуры" в ситуации принудительного обследования??? Да поговорите с любым психологов МВД, использующим на приеме на работу MMPI. Да что - МВД, Вы ведь прекрасно понимаете, что "отсутствие халтуры" в этой ситуации - прямое подозрение на шизофрению!
    Вывод: приведенные Вами результаты (точнее, их почти полное отсутствие) - это артефакт ситуации обследования. Если не верите, почитайте любой учебник по применению проективных методов. Я сам здесь - неплохой специалист, так что, уж поверьте, Ваши данные - не аргумент против валидности теста Люшера.
    3) Вы упорно не замечаете моей аргументации, что речь идет о валидизации теоретического утверждения, а не о конструировании теста. Только в последнем случае необходима кросс-валидизация и выполнение строгого протокола.
    Так что дискуссия, и правда, не получается.
    По поводу научной картины мира... До недавнего времени в таковую у Александра Георгиевича не входила фоносемантика. Интересно, а теперь как она туда вписалась? Боюсь, что никак, несмотря на известные ему статистические выкладки. А цвет и звучание слов опираются, во многом, на сходные законы восприятия. Приведу цитату из Хазрат Иннаят Хана: "Первый вопрос, возникающий в сознании умного человека, таков: что есть в звуке и цвете, что взывает к человеку?"
    Если Вы железобетонно уверены, что М.Люшер - шарлатан (а уверены потому, что не видели у него статистики), то поколебать эту уверенность мне не удастся. Я пишу это для молчаливого большинства, которое, вероятно, читает наши реплики.
    Попова О.С. нравится это.
  17. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Петр Всеволодович,

    прошу Вас прокомментировать полученный мной коэффициент между
    цветовыми предпочтениями и опросником Айзенка EPI (см.выше мое
    сообщение об этом). Вам тоже, как и Людмиле Николаевне, кажется
    коэффициент 0,2 слишком низким? Хотя для меня, повторяю, это
    свидетельство реальной связи между цветовым выбором и чертами
    темперамента.


    Конечно, было бы интереснее сопоставить валидность традиционных
    опросников и цветовой диагностики в отношении каких-то
    внешних (для психологии) поведенческих критериев. Например,
    с фактом приема успокоительных или снотворных таблеток хотя бы...
    Но... Вы скажете, что разные люди совершенно от разных типов
    нервного расстройства пьют таблетки, поэтому и ожидать никаких
    связей не стоит, так? Или все-таки стоит ожидать? - С некоторым
    индексом общего отклонения от безмятежно-уравновешенного состояния.


    С ув,
    АШ
  18. Яньшин П.В.

    Яньшин П.В. Лидер Команда форума

    Александр Георгиевич! Благодарю за доверие, не смотря на мою полемическую горячность.
    Я снова нашел Ваше описание - выше по ветке... Мне не понятно, как из 8 получилось 24 оттенка. Кроме того, были и разбеленные образцы (Вы указываете, что на них связи обернулись). И не понял, какова процедура... Но Вас интересует вопрос: много или это мало 0.2 -2.29? Боюсь, что оценка величины - это, все же, для более продвинутых специалистов в мат. статистике.
    Как Вы поняли, наверно, из моих защитных аргументов, я больше настроен на валидизацию теоретической модели, обосновывающей интерпретацию частных соотношений, нежели на валидизацию самих этих частных признаков. К стати, именно в этом - принципиальна разница между клиническим и психометрическим подходами. В клинике важна уверенность в надежности основания, на котором строятся логические умозаключения, поскольку только оно (основание) инвариантно, а комбинации симптомов - бесконечны. Требуется понимать то немногое, что позволит понять все остальное. Например, в цветовых методах необходимо понимать, что такое Цвет.
    Пока вы фокусируетесь на комбинациях вариантов, Вы рассматриваете их причины по аналогии с "черным ящиком". Например, Вас не занимает вопрос, почему Гиппократ (Гален) так странно определял причины четырех темпераментов; почему их 4, а не 13, как у Гилфорда или не 8, как у Руслова, 3, как у Шелдона и т.п. Вы привыкли ломать голову над забавной комбинацией следствий... В клиническом подходе, как я сказал, - все наоборот.
    Как я могу сказать, много 0.2 или мало, ели не понимаю, какую теоретическую модель Вы валидизируете своим исследованием?
    Но могу посоветовать: не следует верить Максу Люшеру, когда он ссылается на длину волны, автономную нервную систему и прочую наукообразную ерунду в разговорах со сциентистски подкованными оппонентами. Он вас просто водит за нос, понимая, что, начни он серьезно объяснять свой научный метод, его поднимут на смех. Советую не покупайться на это и не строить на этом валидизирующих исследований.
    Меня удивляет, например, тот факт, что, создавая опросники или интеллектуальные тесты, психометристы с поразительным тщанием вылизывают формулировки и содержание заданий, применяя ступенчатую и циклическую стратегию отбора и отсева. А когда зашла речь о цветовых методиках, никто не подумал о том, какова природа стимуляции в этих методах? Как будто цвет - это нечто элементарное и всем понятное. Между тем, Цвет - это величайшая загадка психологии, о котором задумывались умы, которым мы не ровня...
    Попова О.С. и Шатров Ю.И. нравится это.
  19. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Петр,

    Тест "Цвет-Темперамент-Настроение" доступен всем участникам клуба КИТТ, в котором Вы зарегистрированы под своим рабочим адресом э-почты (я проверил только что). Этот тест находится на Вашей личной веб-странице в разделе по номером 54. Если Вы не видите последних приглашений в клуб (включающих обязательную авторизующую гиперссылку), то поищите эти приглашения в спам-папке.

    Вы посмотрите на процедуру ЦТН. Лучше, как говорится, один раз увидеть, что никаких оттенков не было, а предьявляется 28 пар -все парные сочетания из 8 основных цветов. По ходу дела выясняется, что стабильности в оценках не наблюдается у многих испытуемых. Например, наблюдается повышенный процент нарушения транзитивности: красный лучше зеленого, зеленый лучше синего, а синий при этом лучше красного (?).

    Если Вам интересно "покопаться" в этих результатах (у меня хронически на это не хватает времени), то я могу Вам предоставить достаточно большой массив данных - 2590 протоколов (!). Хотя в свое время Вы как-то не довели до конца затею, связанную с фоносемантикой человеческих имен....

    Ваш АШ

  20. Яньшин П.В.

    Яньшин П.В. Лидер Команда форума

    Спасибо, Александр. Я посмотрю, потом обсудим.
    Про фоносемантику, я не то, чтобы забыл. Мне тут не хватает постановки проблемы, что ли. Пока мы имеем только прикидки, а что с ними делать, не знаю. Может стоит это как-то в междусобойчике снова обсудить?