Статья о валидности

Уважаемые коллеги,

Буквально позавчера мне сообщил @Чупров Л.Ф., благодарю его, о том, что опубликована моя статья о валидности. Делюсь ею, надеюсь, кому-то будет интересно, а, может быть, даже полезно:

Завоеванная Н.С. Измерение валидности как ключевой шаг в разработке психодиагностической методики // Вестник по педагогике и психологии Южной Сибири. – 2021. – № 4;
URL: bulletinpp.esrae.ru/237-1333 (дата обращения: 22.04.2022).

Я ее написала скорее в психотерапевтических целях, чем в каких-либо других: как профилактика эмоционального выгорания – высказать все, что «накипело», структурировать мысли. Мне всегда это помогает. Ее идея родилась еще прошлой весной¸ стала оформляться летом, в ходе работы над статьей для БРЭ, и окончательно оформилась осенью, в ходе обсуждений как здесь, так и на ФБ.

Буду рада обратной связи.

Уважаемая коллега! Ваша статья - очень хорошая, но есть один важный момент, который в нескольких фразах выглядит так:
многолетний опыт психодиагностических исследований ставит перед нами задачу дифференцированного подхода к тому, что представляет собой психодиагностика и психометрика.
Процедура статистической достоверности обобщает главное в массиве обследуемых. А главное - это самые выраженные факторы. Но. как мы видим в жизни, самые выраженные в количественном плане проявления сводятся к антропотипическим реакциям, то есть к депрессии, тревожности или агрессии. В большинстве случаев по результатам обследования мы получим общую характеристику для всех обследованных, а весьма важные особенности останутся вне характеристики данной репрезентативной группы не будут признаны как достоверные. Они остаются в поле "слабых сигналов". которые как раз и раскрывают причину той же депрессии или тревоги, или агрессии, что весьма важную в социально-психологическом плане. А в том случае, когда целью исследования является конкретная личность, слабые (не общие) факторы имеют еще большее значение, но не подлежат статистическому анализу вовсе, так как количество вариаций личностных особенностей приближаются к бесконечности. Поэтому на курсах приходится учить психологов искусству психодиагностики, то есть более сложному подходу в расшифровке данных разных методик, не забывая, конечно, и о психометрике. Доброго дня!

Уважаемая Людмила Николаевна, добрый вечер,

Спасибо. Мне приятно
Да, конечно, в случае диагностики в ходе индивидуального консультирования в целях оказания психологической помощи, в, так называемой, ситуации клиента, очень важно видеть личность за данными той или иной методики. Это возможно, только сочетая различные методики и методы, в том числе наблюдение, например.

У меня не получилось это вместить в данную статью. Я думала , как это сделать, но "не вписалось" у меня в "картину" статьи. Хотелось четко донести одну мысль - валидность крайне важна и ее не так сложно измерить, а методика только выиграет от этого. Показалось, что введение сюда и ситуации клиента запутает читателя и утяжелит текст. Однако это неплохой повод, написать вторую статью

Наталья, Вы напишете еще много хороших статей и книг, обещаю Вам это (только бы не было войны). В своем ответе вы обратили внимание на то, что касается индивидуального обследования в процессе консультативного приема - но это и не обсуждается. Я в основном говорю о массовом обследовании."В большинстве случаев по результатам обследования мы получим общую характеристику для всех обследованных, а весьма важные особенности останутся вне характеристики данной репрезентативной группы и не будут признаны как достоверные. Они остаются в поле "слабых сигналов", которые как раз и раскрывают причину той же депрессии или тревоги или агрессии, что весьма важно в социально-психологическом плане." Допустим, что депрессия в той или иной группе помимо общей тенденции, которая статистически подтверждается, связана у одних с неуверенностью в своем служебном положении, а у других - с утратой аффилиативной привязанности. А это статистика пропустит. Словом, психометрика огрубляет, упрощает психологический анализ, фактически регистрируя очевидные вещи, упуская психологически важные и имеющие свое продолжение в социальных последствиях проблемы. Если бы еще до афганской войны правители государств прислушались к мнению психологов, то сколько людей с обеих сторон этой мучительно долгой и бессмысленной войны остались бы в живых...

Людмила Николаевна, спасибо за разъяснение. Получается, что исследование надо строить таким образом, чтобы суметь выявить "слабые сигналы". С одной стороны, это усложняет нам дело (во-первых, этому надо научиться, во-вторых, это увеличивает различные трудозатраты), но с другой стороны, мы получим более...глубокое исследование. Так?

Надеюсь и я, что дни мира нашего еще не сочтены. И хватит сил и времени написать статьи...

Максим Владимирович,

Мы с Вами оба понимаем, что конкретные формулы зависят от типа шкал и от характера распределения "признака". Этих формул полно: коэффициент Пирсона, Спирмена, Фи-коэффициент или ужас моего диплома - коэффициент рангово-бисериальной корреляции, например. Да, внешний критерий выбрать сложно. И проблемы будут. Я об этом писала, кстати. Ну, что делать? Они всегда и везде будут. Всегда стараюсь их решать по мере их поступления. Чего и всем желаю.

Наталья, вечер добрый!

Спасибо за статью и публикацию, прочитал. В целом, поддерживая то, о чем там написано, хочу поинтересоваться, на основании чего там есть лейтмотив "кризиса и отставания" отечественной психометрики?
Ну и с точки зрения того, что все "ломается" в плане валидности в завершении работы над методикой - тут тоже не совсем так. Если грубо разделить валидность на теоретическую (содержательную и конструктную) и эмпирическую (критериальную и прогностическую), то как раз первая часть очень сильно зависит от начала работ, насколько верно и точно определен конструкт, описаны его индикаторы и пр. Движение в сторону Evidence-Centered Design в разработке психометрических инструментов уже само по себе "обязывает" закладывать на этапе создания контента методик заданий и утверждения, валидные относительно измеряемых качеств и свойств. То есть при правильном соблюдении рецепта страховка от не-валидности заложена на каждом из этапов разработки. А эмпирическая валидность - да, тут "как повезет", в том плане что если методика получилась интересная и востребованная, по ней может быть накоплено много данных, не всегда даже с напрямую ожидаемой валидностью относительно различных проявлений человека в жизни. Тут же не зря говорят, что "валидность теста - это валидность его рекомендаций".

Виталий, доброе утро,

Спасибо за живой интерес к статье и замечания.

По первому вопросу. Может быть, я не точно сформулировала. но я там говорю не столько психометрике , сколько об "отечественной психологической науки и практики", т.е в целом, в том числе и психодиагностике. Причин этому несколько:

• я на ЭСПП 7 лет и на протяжении всех семи лет чуть ли не в каждой теме, в том или ином виде, говорится о тупике, о трудностях, которые мы не можем или не хотим преодолевать; даже здесь (см. комментарий выше); не работают значимые проекты ЭСПП, такие как МОНЭКС, например, и нет предложений, как и что с ним сделать, что бы он заработал;
• у нас нет закона до сих пор о психологической помощи;
• можно зайти в книжный и купить сборник тестов без всяких подтверждений, что ты психолог;
• по психометрике цитируются, как правило, большинство зарубежных работ;
• РСТП только в варианте для обсуждения опубликован 1 раз в журнале.

Я очень хочу процветания отечественной психологии, но ведь, все, что перечислено - правда

По второму замечанию. Да, конечно, содержательная валидность закладывается на этапе конструирования и наполнения методики. В статье я не раскрыла это, только упомянула РСТП. Надо было раскрыть Спасибо за это замечание. Мне остается только пояснить свои слова о том, что все "ломается" на последнем этапе. Я действительно так считаю. И вот почему Можно и нужно соблюсти требования по числу и наполнению шкал, формированию стимульного материала, провести экспертизу. Это повысит вероятность эмпирической валидности, но сколько раз бывало, что пункт, соответствующий всем формальным требованиям, не проходит по трудности и/или дискриминативности, либо не входит в тот фактор , в который должен. Приходится удалять пункты неработающие, менять модель факторную. И хорошо, если стимульный материал разработан с запасом, но такое бывает не всегда И часто на этом все заканчивается, не идут дальше не проверяют критериальную и прогностическую валидность. Или даже не проверяют конвергентную валидность. Иными словами, ремонтируются стены и фундамент у дома без крыши, что разрушает всю работу. Намного лучше подвести дом под крышу, и тогда она сохранит стены и фундамент дольше и качественнее, т.е содержательная и эмпирическая валидность взаимно подтверждают друг друга. И держат "построенный дом" методики. Или , если такая аналогия ближе , подтверждают вкус блюда, приготовленного строго по рецепту

Наталья, пжт! Понял, что речь не только про психометрику (или может даже не столько, так как там как раз в большинстве случаев как раз знают про такие вещи).
Про крышу и фундамент - хорошая аналогия, хотя на практике эмпирическая (даже практическая) и содержательная валидность могут вступать даже в некоторый конфликт. Условно какой-нибудь кейсовый инструмент может показывать хорошую согласованность с внешним критерием, при этом быть достаточно рассогласованным внутри (или не иметь под самой четкой теоретической рамки). А плотно сбитый личностный конструкт иметь понятную обоснованность и согласованность, но при этом не находить связей с практическими критериями. Может это истории про том, что не нужно молотком вкручивать гайки, но все же)

Может быть. Виталий, а как часто такое происходит? Просто я почти с кейсами не работала...

С кейсами (или SJT форматом) - достаточно часто. То есть если просто сделать методику, в которой будет оцениваться какое-то целевое поведение через решение ситуаций, то она может показать неплохую эмпирическую валидность, но не факт, что за ней будет стоять какой-либо содержательный конструкт. То есть будет такая вполне комфортная беседка с хорошей крышей, которой особо и фундамент то не нужен. Но для целей укрыться от дождя или солнца вполне подойдет, но при этом фундаментальной архитектурной ценности иметь не будет.

Понятно. Спасибо.

Удивительно, как я пропустил такие темы и дискуссии.
Наташа, респект за статью и обсуждение!