Нормы для матриц Равена

Да,

Юрий я припоминаю смутно, что, кажется, для каких-то нужд в какой-то
момент мы раздел МОНЭКС открыли и...забыли закрыть - ограничить
кругом зарегистрированных пользователей ("мы" - это админ-группа).

Что касается публикации норм, то это вопрос мы должны признать
не настолько однозначным, как публикация заданий и ключей к ним.
В этом плане мне понятна позиция основного автора - Дениса Геннадьевича,
позиция, из которой вытекает, что на самом деле он является нашим единомышленником и тоже готов вместе думать и обсуждать, какие будут оптимальные правила.

Мы же понимаем на примере обсуждения Википедии, что вынуждены
искать компромиссные решения. Крайняя закрытость нашего сообщества ЭСПП
ведет к одному - про нас никто не узнает. Даже если мы тут начнем публиковать
нормы для всего и вся. Это, я надеюсь, все понимают.

Другой аспект заключается в том, что если есть правообладатель (в нашей
стране это Когито-центр - в отношении теста Равена), то открытая публикация таких данных должны быть просто согласована с правообладателем (должна быть
ссылка внизу страницы на наличие этого разрешения от правообладателя).
Я представляю, если бы кто-то из пользователей лицензионных тестов,
разработанных Гуманитарными технологиями, стал публиковать свои
нормы к этим тестам. Я бы посчитал правильным, чтобы такой пользователь
согласовал свою политику с нашим Центром (Лабораторией). Собственно
это даже в договоре зафиксировано, где пользователь берет на себя
обязательство нераспространения методических материалов.

Просто мы находимся в чрезвычайно непростой ситуации с массовыми
и популярными тестами в нашей стране. Сложилась ГРАНДИОЗНАЯ
ИНЕРЦИЯ отношения к этим тестам как к.... "народному фольклору".
Даже имена Кэттелла, Люшера, Равена у нас превращаются в "народные
глаголы". Мы шутили вместе с Маничевым, Сугоняевым и коллегами
на последней конференции, что даже в столицах (Питере и Москве)
массы психологов продолжают всех направо и налево "кеттелить", "люшерить",
"равенить". С именем Айзенка тут пожалуй менее удобно обстоит
дело, но всем все и без того понятно.

В нашей темной, невежественной стране люди не имеют ни
малейшего представления о некоторых цивилизационных процедурах.
Таких как, например, "персональные продажи" : когда требуется
от покупателя предьявить удостоверения члена профсообщества
с номером, а продавец обязан все эти номера зафиксировать в особом
журнале. Ну лень нашим издателям всем этим заниматься! Ну
и так все нерентабельно, а вместе с такими процедурами - ну
просто жуть. А все это потому, что тесты привыкли оценивать
по цене... той бумаги, на которой они изданы. И выползти
из этой инерции очень непросто! - Нужны еще и еще шумные
судеобные процессы, нужны скандалы, нужны исключения
из сообщества и т.п. - Без этого никто даже не узнает, что
проиходит какая-то борьба разных процедур и разных
сценариев развития психодиагностики у нас в стране.

Как можно эту инерцию в отношении старых тестов преодолеть? - Никак, я думаю!
В отношении этих тестов в ближайшие 5-10 лет мы можем добиться
только одного: легкого просвета в мозгах, что они устарели и работают
ХУЖЕ более новых и современных тестов. А вот эти новые и современные
распространяются уже по другим принципам...

Вот как-то так.... Вот это реалистичный взгляд на вещи, я надеюсь.
Я бы поправился: это реально-оптимистичный возможный сценарий.
Но рядом всегда ходит и реально-пессимистичный сценарий тоже.
Каждый человек, каждый коллега, может положить свой вес
(вес своего голоса, своих поступков, своей практики поведения
в профессии) либо на чащу первого сценария, либо на чащу второго.
Какая чаща перевесит, туда и пойдет исторический процесс.
Многие ли имеют в голове такую картинку? - Нет, люди
видят, что надо просто примыкать к тому сценарию, по которому
движется большинство, и делают это НЕ ЗАДУМЫВАЯСЬ
о последствиях.


Ваш АШ

Денис Геннадьевич,

Допустим в обсуждаемом Вами критическом исследовании опубликованы не сами нормы, а данные
о том, что нормы по методике оказались НЕУСТОЙЧИВЫМИ (нерепрезентативными).
Или данные о низкой надежности, или о низкой валидности? То как этими сведениями
могут воспользоваться пираты? Эти данные НЕ могут и не являются "профессиональной
тайной". Поэтому их вполне может КАЖДЫЙ публиковать без согласования с
правообладателем.

Вот так... по мере продвижения и углублению в конкретики мы обнаруживаем,
что между специалистами в нашей стране НЕТ взаимопонимания по поводу того,
что же является предметом профессиональной тайны. Хотя ключ к решению
этого вопроса казалось бы лежит на поверхности - то, что обеспечивает
проведение методики, является тайной, а другая информация - не является.
Сведения о валидности и других психометрических свойствах говорят о качестве,
но не могут быть сами использованы для проведения.

Ваш АШ

Предлагаю весь раздел "Измерение, диагностика, оценка" сделать закрытым для незарегистрированных пользователей. Здесь почти во всех темах есть сугубо профессиональная информация, которая не должна утекать вовне.

Поддерживаю, Никита, прямо сейчас это можно сделать?

Сделал

Превращаемся в "тайное общество".
Но я тоже не вижу другого варианта.

Но есть и еще такой плюс от "закрытости" некоторых ключевых
разделов. По крайней мере результаты голосования не будут
там видны не зарегистрированным пользователям, как это видно,
увы, сейчас.

Ваш АШ

Я тоже, признаться, ожидал, что обсуждение публикации Дениса Геннадьевича пойдет в несколько другом ключе…
Я горячо приветствую эту статью, поскольку, на мой взгляд, именно дефицит подобных публикаций резко отличает отечественную психологическую периодику от зарубежной.
Искренне не понимаю, какое отношение публикации о тестовых нормах и иных психометрических характеристиках методик могут иметь к профессиональной тайне.
Считаю, что их (таких публикаций) должно быть на порядок больше.
И как вообще можно всерьез обсуждать вопросы профессиональной тайны в контексте СПМ, который опубликован везде и применяется повсеместно, но… скорее всего, не вполне грамотно, поскольку диагностические выводы не опираются на репрезентативные национальные нормы.
В этом смысле публикация очень полезная и информативная.
СПМ - не просто один из множества контрафактных тестов, запущенных в СССР в оборот; это тест высокого психометрического качества (чего не скажешь о множестве других с аналогичной судьбой). Применяйся он более масштабно и систематически, может, Россия и не оказалась бы на обочине мировых исследований эффекта Флинна и др.

Но это не значит, что статью не за что покритиковать. Попытаюсь дать несколько критических замечаний, надеюсь, конструктивных.
1) Выполнена огромная работа, среди ключевых слов статьи есть «психометрика», но… где же оценки, хотя бы, одномоментной надежности СПМ на разных выборках? Только ссылки на то, что автор теста писал об этом тесте как о весьма надежном. Но нам-то интересно, каков он в России!
Да и психометрическая характеристика отдельных заданий не помешала бы…
2) Коллеги оценили корреляцию 0,7 между 20-минутной и безлимитной продуктивностью СПМ как «довольно высокую». Если бы речь шла о корреляции 0,7 между разными мерами, то это было бы, безусловно, так. Но речь идет о корреляции между частью теста и «целым». И в таком контексте корреляция 0,7 выглядит как обескураживающе низкая (я бы даже сказал – неправдоподобно низкая; ведь речь идет о всего лишь 50% общей дисперсии!).
Из этого можно предположить, что либо выполнение теста после 20-минутного лимита превращается в полную анархию, либо здесь сказалось настораживающая по масштабам (около 20%!) «чистка» исходных данных по слишком уж «академическим» основаниям. Если эта статья адресована практикам, то их такой отсев вряд ли обрадует.
Я интерпретирую эту корреляцию как еще один убедительный довод в пользу применения в практическом (но, разумеется, не highstake) контексте исключительно лимитированных версий теста.
Кстати, на странице 136 корреляция 0,62 (между взаимосвязанными, но все же разными аспектами!) названа «умеренной». Нестыковочка.
3) На стр. 137 авторы как-то очень легко соглашаются с утверждением авторов «Словаря-справочника по психодиагностике», что SPM с ограничением времени – тест скорости, а без ограничения – тест результативности.
Не убедительно! Ни аргументов, ни критериев для подобной классификации не представлено.
Попробую предложить их чуть позже.
4) Очень хорошо, что авторы представили гистограмму распределения оценок продуктивности, но не здорово, что объединили в одной графической форме данные, полученные в разных возрастных группах, в том числе, с весьма различными модами. В результате гистограмма слегка исказила свою форму: появился пологий, почти линейный склон слева, в то время как на более однородных выборках всегда наблюдается форма «лыжного трамплина».
5) Представленные авторами корреляции между продуктивностью, с одной стороны, точностью и скоростью с другой, как-то очень существенно разошлись с моими данными, полученными на более узких в гендерном и возрастном отношении, но более многочисленных выборках.
Предполагаю, что это могло быть следствием уже упомянутой выше свирепой селекции данных, и, отчасти, расчетом корреляций между сырыми оценками.

Попытаюсь дополнить представленные коллегой @ Давыдов Д.Г. данные некоторыми из имеющихся в моих архивах. Надеюсь, они могут оказаться полезными для любителей этого замечательного (хотя и устаревшего, увы, в связи с утратой безопасности и эффектом Флинна) теста. Поскольку моя информация содержит картинки, прикрепляю ее к этому посту в качестве дополнительного файла.
С уважением, К.Сугоняев

Хотел бы вдогонку высказать некоторые соображения касательно прав на тесты и вытекающих из этого ограничений.
1) Коммерческие тесты ни в коем случае не могут быть закрыты от независимых психометрических исследований, в том числе, критических.
2) Приобретение прав на применение теста не является клятвой верности правообладателю (продавцу).

Теперь об СПМ.
Лет 10-12 назад в связи с компьютеризацией ряда матричных тестов Равена у меня состоялся разговор с Виктором Исаевичем Белопольским, касающийся этих проблем. (Напомню, что Когито-центр приобрел права на матричные тесты Равена в России).
Относительно СПМ было сказано примерно так: Равен реалистически оценивает тот факт, что СПМ в СССР приобрел довольно широкое распространение и не собирается инициировать какое-либо юридическое преследование его пользователей. Но настаивает на безусловном соблюдении прав интеллектуальной собственности в отношении более поздних своих тестов (ЦПМ, ППМ, СПМ+, СПМ параллельная форма…)

Еще один интересный факт.
С разрешения В.И.Белопольского я где-то в 2003-4 гг. сделал довольно добротные компьютерные версии перечисленных выше тестов и на согласованных с правообладателем условиях на протяжении нескольких лет в рекламных материалах предлагал их включение в тестовую библиотеку компьютерного психодиагностического комплекса по отдельному прайсу.
Комплексы покупались. Но за все время, пока я оставался их правообладателем, ни одного заказа на матричные тесты так и не последовало, несмотря на их высочайшее психометрическое качество.
Попса рулит!

Выполняю обещание высказаться по поводу дихотомии "скорость/мощность" в когнитивных тестах.
При решении вопроса о том, является СПМ (с теми или иными условиями проведения) тестом скорости или мощности, лучше, на мой взгляд, руководствоваться не мнениями авторитетов (тем паче, голословными), а какими-то количественными критериями.
Суть предложения вкратце такова.
Если коэффициент корреляции одного из аспектов процесса решения (скорости или точности) с продуктивностью является отрицательным, то нет предмета для дискуссии: тот аспект, который связан с продуктивностью положительно и определяет типологию теста.
Если же оба аспекта коррелируют положительно, то предлагается сравнивать между собой не коэффициенты корреляции, а доли объясняемой дисперсии. Например, если доля дисперсии продуктивности, объясняемая скоростью, в 2 и более раз превосходит долю дисперсии, объясняемую точностью, можно признать такой тест тестом скорости. Если то же самое можно сказать о точности, назовем такой тест тестом мощности (или уровня, или результативности, если кто-то предпочитает такие обозначения. Я - нет).
Все что между этими двумя случаями заслуживает комментария «сочетает черты теста скорости и мощности».
Возможно, предложенное отношение (2:1) окажется слишком широким и приведет к "перепроизводству" тестов смешанного типа (надо будет как-нибудь посчитать на реальных данных). Ну что ж, можно большинством голосов найти более приемлемые критерии. Но какие-то формальные критерии явно нужны.
Подробности и примеры – в прикрепленном файле.

С уважением, К.Сугоняев

К вопросу о мозговых механизмах флюидного интеллекта
https://academic.oup.com/brain/advance-article/doi/10.1093/brain/awac304/6842292