Мысли по поводу Проекта по воспроизводимости

Проект, посвященный воспроизводимости психологических исследований, всколыхнул западных коллег. В различных научных блогах народ пытается отрефлексировать причины сложившегося положения и предложить свое видение выхода из кризиса. Попытаюсь и я предварительно сформулировать свои пять копеек по этому поводу.
Во-первых, мало кто вообще связывает нынешний кризис с предыдущим, когда в 1968 вышла книга Уолтера Мишела. Она касалась положения дел в психологии личности, но затронутые Мишелом вопросы, как мне кажется, релевантны и другим областям психологического исследования. Речь идет о методологии исследования - что именно мы должны изучать и как это делать. До сих пор в нашей науке царит дремучий эссенциализм, поэтому текучая, изменчивая, развивающаяся, интерактивная, саморегулирующаяся, интерпретирующая психическая реальность оказывается насильно втиснутой в жесткие рамки теории черт. Оцениваемый "эффект" -- это эссенциалистский эффект, поэтому неспосогбность исследования его обнаружить может просто говорить о том, что мы не то и не там ищем.
Во-вторых, никто не упоминает о такой очевидной вещи, как корректное определение генеральной совокупности и планирование выборки. Эффект определяется для какой именно генсовокупности? Как вы обеспечили репрезентативность своей выборки по отношению к ней? Если для социологов этот вопрос является краеугольным, то психологи (даже на Западе) традиционно его игнорируют, хотя вовсю применяют статистику и говорят о случайных ошибках. Но эти случайные ошибки - это ведь ошибки выборки!
В-третьих, чрезвычайно важен вопрос мотивации испытуемых. Чего греха таить, большинство психологических исследований попросту банально скучны, формальны, занудны, не имеют отноошения к жизни испытуемых и проходят мимо их мозга и чувств. Подавляющее большинство субъектов - это студенты, вынужденные участвовать в исследовании под давлением преподавателя, отлично чувствуют незаинтересованность ученого в том, чтобы предоставить в конце полезную обратную связь с человеческим лицом и ответами на волнующий каждого вопрос: ну и что дальше делать?
В-четвертых, наши измерительные инструменты просто дебильны. Ошибки измерения составляют 70-80%, но исследователи часто не имеют представления о том, что такое случайная ошибка измерения (не говоря уже о систематических). Какой эффект можно зафиксировать грубым и нерелевантным инструментом измерения?
В-пятых, наши исследования почти всегда касаются лишь одной, частной стороны явления. Мало кто ставит перед собой цель объяснить как можно больше дисперсии зависимой переменной, привлекая, наряду с выбранной нами независмой переменной, другие факторы, доказавшие в предыдущих исследованиях свою эффективность

Александр Николаевич,

если можно, конкретизируйте вопрос, я не совсем понял, в каком ключе Вы ожидаете ответ

с уважением,

АВ

Александр Геннадьевич,

большое спасибо, что Вы продублировали здесь свое интереснейшее и острое сообщение. Я постараюсь, как обещал, "раздумчиво" пройтись по всем его пунктам. Немножко позднее.

Ваш АШ

Уважаемій Леонид Федорович,

как жаль, что я не знал об этой истории до поступления на психфак. Я бы тогда точно передумал .

Соглашусь с Вами, что внешняя мотивация при определенной нечистоплотности вполне один из объяснительных факторов. Ставки (и соблазн), действительно, слишком велики. Но есть и более опасная вещь - самообман, не зря же есть эффект экспериментатора. "Ах, обмануть меня нетрудно, я сам обманываться рад".

Александр Геннадьевич,

см. ниже мои попытки как-то прокомментировать ваши пункты.

Виноградов А.Г., post: 8931, member: 43"

Во-первых, мало кто вообще связывает нынешний кризис с предыдущим, когда в 1968 вышла книга Уолтера Мишела. Она касалась положения дел в психологии личности, но затронутые Мишелом вопросы, как мне кажется, релевантны и другим областям психологического исследования.

Полностью согласен с Вашими наблюдениями, Александр Геннадьевич. Западная психология (немножко переоцененная в Восточной Европе) в последние десятилетия скатилась к явным признакам "подверженности капризам моды". Все, что выходит из моды - конструкты, феномены, методики - все быстро перестает котироваться в редакциях крупных журналов и их рецензентов. В то время, как постановка каких-то проблем лет пятьдесят назад, нередко выглядела более глубокой и продуманной.
Во-вторых, никто не упоминает о такой очевидной вещи, как корректное определение генеральной совокупности и планирование выборки. Эффект определяется для какой именно генсовокупности? Как вы обеспечили репрезентативность своей выборки по отношению к ней? Если для социологов этот вопрос является краеугольным, то психологи (даже на Западе) традиционно его игнорируют, хотя вовсю применяют статистику и говорят о случайных ошибках. Но эти случайные ошибки - это ведь ошибки выборки!

Соглашусь здесь процентов этак на 75. Конечно, смехотворные, перекошенные выборки психологов - это часто источник очень больших ошибок. Но все-таки есть "ошибки инструмента", о которых Вы, разумеется, осведомлены не хуже меня. Мы должны признать, что наши инструменты порождают сами по себе слишком значительную "ошибку измерения", которую нельзя снизить, как ни наращивай выборку. Впрочем, далее Вы сами об этом пишите.

В-третьих, чрезвычайно важен вопрос мотивации испытуемых. Чего греха таить, большинство психологических исследований попросту банально скучны, формальны, занудны, не имеют отноошения к жизни испытуемых и проходят мимо их мозга и чувств.

Скукота - это не единственный грех. Некоторые испытуемые оказываются очень даже увлеченными... той гипотезой, которую на них проверяет исследователь. Я не о том, что исследователи часто излагают свои студентам-испытуемым свои гипотезы еще ДО эксперимента по ее проверке. Это бывает нечасто. Но... иногда из самого инструмента волей-неволей гипотеза просто "торчит" и испытуемые начинают подыгрывать. А критики вносят казалось бы небольшие коррективы в инструмент, так что "гипотеза уже не торчит", и ... получаются опровергающие результаты.

Подавляющее большинство субъектов - это студенты, вынужденные участвовать в исследовании под давлением преподавателя, отлично чувствуют незаинтересованность ученого в том, чтобы предоставить в конце полезную обратную связь с человеческим лицом и ответами на волнующий каждого вопрос: ну и что дальше делать?

Я бы сформулировал так "требование новой методологии": для испытуемых автор "чистого эксперимента" должен быть анонимным лицом. Это недостаточная, но необходимая предосторожность против возможной стратегии "подыгрывания экспериментатору".

В-четвертых, наши измерительные инструменты просто дебильны. Ошибки измерения составляют 70-80%, но исследователи часто не имеют представления о том, что такое случайная ошибка измерения (не говоря уже о систематических). Какой эффект можно зафиксировать грубым и нерелевантным инструментом измерения?

Вот как раз об этом я уже было поторопился написать выше. Должного внимания к инструментам и понимания их ограниченности психологам в массе своей никогда не хватало и до сих пор не хватает. Они, вишь ли, считают, что должны ИЗУЧАТЬ ПРЕДМЕТ, а не инструмент. Я всегда уважал нашего основателя факультета психологии МГУ Алексея Николаевича Леонтьева, но он иной раз утверждал именно это: "Исследование не может быть посвящено изучению инструмента". А почему нет? - Почему за качественно-выполненное, конструктивно-критическое исследование инструмента не присуждать кандидатскую степень?! У нас в стране с этим еще хуже, чем на Западе, как Вы знаете. Поэтому громадье "завиральных теорий" опирается на хилые ноги никакого по-качеству инструментария.

В-пятых, наши исследования почти всегда касаются лишь одной, частной стороны явления. Мало кто ставит перед собой цель объяснить как можно больше дисперсии зависимой переменной, привлекая, наряду с выбранной нами независмой переменной, другие факторы, доказавшие в предыдущих исследованиях свою эффективность.

А вот тут я позволю себе предложить такую метафору, которая объясняет, на мой взгляд, почему психологи оказываются далеки от системного подхода... а пытаются вычленить из комплексной проблематики какие-то частные переменные и изучать только их изолированно от других. Дело в том, что такая стратегия определения предмета изучения является... наименее конкурентной (конфликтной). Более всего безопасно выявить какой-то такой феномен, по котором никто еще ничего не опубликовал и изучать его.

(... продолжение следует, отвлекают...)

Инна,

мне понравились ваших пять правил, хотя я не уверен, что они вполне соответствуют тематическому фокусу заглавного сообщения. Тесты - это вовсе не единственные и даже не самые важные инструменты в исследовательской практике (в отличие от оценочно-диагностической практики). Экспериментальный дизайн даже в случае квазиэкспериментов не сводится к тестам. Эксплораторная (поисковая) стратегия исследования часто требует смелой опоры на данные, собранные чужими руками, или на индикаторы, созданные чужими руками. Другое дело, что результаты подобных краудсорсинговых проектов, чаще всего оказываются банальными до степени полнейшего разочарования...

Ваше сообщение еще раз подсказывает мне нетривиальность различения понятий "исследование" и "обследование" для многих коллег.

Ваш АШ

Александр Георгиевич, даже в профстандарте педагога-психолога такого различения не найти ...

Александр Георгиевич,

> скатилась к явным признакам "подверженности капризам моды". Все, что выходит из моды - конструкты, феномены, методики - все быстро перестает котироваться в редакциях крупных журналов и их рецензентов. В то время, как постановка каких-то проблем лет пятьдесят назад, нередко выглядела более глубокой и продуманной.

Именно, и это отчетливо видно, когда последовательно просматриваешь журналы за несколько лет. При этом, как отмечает Пол Клейн в своей книге, адресованной молодым исследователям, тема не завершается каким-то окончательным выводом, а просто "угасает"

> Должного внимания к инструментам и понимания их ограниченности психологам в массе своей никогда не хватало и до сих пор не хватает.

Причем в такой степени, что психологи часто не знакомятся с содержанием вопросов и заданий, не заглядывают "за обложку" теста, полностью доверяя тому, что на ней написано. В этом плане меня очень порадовал комментарий И.Н. Свириденко - абсолютно корректный, профессиональный подход

> Дело в том, что такая стратегия определения предмета изучения является... наименее конкурентной (конфликтной). Более всего безопасно выявить какой-то такой феномен, по котором никто еще ничего не опубликовал и изучать его.

по-видимому, да. Нежелание вступать в конкурентные отношения и вообще "портить отношения" - явный признак застоя в науке

Леонид Федорович,

все было бы хорошо в вашем рассуждении (в моем понимании), но последнюю фразу насчет "игры слов" я не понимаю. У исследования и обследования прежде всего разные цели, что диктует подбор в одном случае более рискованных методик, во втором - менее рискованных (они различаются между собой хотя бы по этому признаку). И это уже не игра слов. При экспертизе методики важнейший элемент нашего экспертного заключения должен быть таким: это исследовательская методика или она готова к практическому применению. Какая же игра слов?

Ваш АШ

"Проект, посвященный воспроизводимости психологических исследований, всколыхнул западных коллег. В различных научных блогах народ пытается отрефлексировать причины сложившегося положения и предложить свое видение выхода из кризиса."
Читая такое, невольно чувствую себя чужим на этом празднике жизни. Это какая-то закрытая форма коммуникации, понятная только для тех, кто в курсе. А я не в курсе. Что за кризис? В чем проблема? В результате дискуссия автоматически сместилась в понятную для большинства сторону: психодиагностика. И только иногда кто-то спохватывается: ведь начали то с исследования, а не с обследования.
Хочу услышать четко сформулированную проблему дискуссии.

Анатолий Андреевич,

основная мысль Мишела состоит в том, что в психологическом исследовании следует учитывать контекст и взаимодействие индивида с ним. Необходимость учета контекста в в когнитивных исследованиях мне не представляется таким уж непозволительным сверхобобщением.

Вдобавок, точность измерения наблюдаемых характеристик - вовсе не то же самое, что латентных. Можно мерить ответы на личностный вопросник по графической шкале с точностью до микрона, но это не увеличитточности измерения личностных свойств

Уже не раз продемонстрировано в исследованиях когнитивных функций влияние культурных различий. Следовательно, если при формировании выборки не учитывается состав генеральной совокупности по этому признаку, выводы на всю совокупность людей мы распространить не имеем права

Мотиваиця исследователя - вещь отличная, но если относиться к испытуемому как к пассивному объекту исследования, а не коллеге-ученому (Келли), рискуем иметь дело с артефактами, а не фактами

Вообще представление о том, что можно иметь доступ к когнитивным функциям, минуя социальное взаимодействие, мне кажется ошибочным

Петр Всеволодович,

речь идет о результатах вот этого нашумевшего проекта
Вкратце: удалось воспроизвести результаты только 36% опубликованных в современных журналах исследований, при этом оценка эффекта оказалась вдвое меньше заявленной в них