1. Уважаемые посетители форума ЭСПП!

    Для просмотра сообщений достаточно прокрутить данное сообщение, а для просмотра списка разделов - вызвать "Каталог".

    Для комментариев необходимо предварительно ознакомиться c Правилами Форума и пройти регистрацию!

    Если при входе на форум появляется сообщение об ошибке, попробуйте восстановить или сменить пароль, нажав здесь.

Мысли по поводу Проекта по воспроизводимости

Тема в разделе 'Виноградов А.Г.', создана пользователем Виноградов А.Г., 23 сен 2015.

  1. Виноградов А.Г.

    Виноградов А.Г. Модератор Команда форума

    Проект, посвященный воспроизводимости психологических исследований, всколыхнул западных коллег. В различных научных блогах народ пытается отрефлексировать причины сложившегося положения и предложить свое видение выхода из кризиса. Попытаюсь и я предварительно сформулировать свои пять копеек по этому поводу.
    Во-первых, мало кто вообще связывает нынешний кризис с предыдущим, когда в 1968 вышла книга Уолтера Мишела. Она касалась положения дел в психологии личности, но затронутые Мишелом вопросы, как мне кажется, релевантны и другим областям психологического исследования. Речь идет о методологии исследования - что именно мы должны изучать и как это делать. До сих пор в нашей науке царит дремучий эссенциализм, поэтому текучая, изменчивая, развивающаяся, интерактивная, саморегулирующаяся, интерпретирующая психическая реальность оказывается насильно втиснутой в жесткие рамки теории черт. Оцениваемый "эффект" -- это эссенциалистский эффект, поэтому неспосогбность исследования его обнаружить может просто говорить о том, что мы не то и не там ищем.
    Во-вторых, никто не упоминает о такой очевидной вещи, как корректное определение генеральной совокупности и планирование выборки. Эффект определяется для какой именно генсовокупности? Как вы обеспечили репрезентативность своей выборки по отношению к ней? Если для социологов этот вопрос является краеугольным, то психологи (даже на Западе) традиционно его игнорируют, хотя вовсю применяют статистику и говорят о случайных ошибках. Но эти случайные ошибки - это ведь ошибки выборки!
    В-третьих, чрезвычайно важен вопрос мотивации испытуемых. Чего греха таить, большинство психологических исследований попросту банально скучны, формальны, занудны, не имеют отноошения к жизни испытуемых и проходят мимо их мозга и чувств. Подавляющее большинство субъектов - это студенты, вынужденные участвовать в исследовании под давлением преподавателя, отлично чувствуют незаинтересованность ученого в том, чтобы предоставить в конце полезную обратную связь с человеческим лицом и ответами на волнующий каждого вопрос: ну и что дальше делать?
    В-четвертых, наши измерительные инструменты просто дебильны. Ошибки измерения составляют 70-80%, но исследователи часто не имеют представления о том, что такое случайная ошибка измерения (не говоря уже о систематических). Какой эффект можно зафиксировать грубым и нерелевантным инструментом измерения?
    В-пятых, наши исследования почти всегда касаются лишь одной, частной стороны явления. Мало кто ставит перед собой цель объяснить как можно больше дисперсии зависимой переменной, привлекая, наряду с выбранной нами независмой переменной, другие факторы, доказавшие в предыдущих исследованиях свою эффективность
  2. Ромащук А.Н.

    Ромащук А.Н. Активист

    Александр Геннадиевич, интересно, что Ваши "пять копеек" включаются в тот "рубль", которые давно обозначили, например, Левин и Пиаже. Кстати, в том числе когда их обвиняли в отсутствии или изменчивости статистики. Вот только 95 копеек они направляли в принципе против - в широком, а не как метод - факторного подхода (влияния отдельных переменных и т.п.). В том плане, что ситуация преодоления "частной стороны явления" никак с их точки зрения не может решаться учетом сколь угодно много других "частных сторон" (других переменных)
    Вы как к их анализу методов и желаемых результатов исследования относитесь?

    С уважением, Александр
  3. Виноградов А.Г.

    Виноградов А.Г. Модератор Команда форума

    Александр Николаевич,

    если можно, конкретизируйте вопрос, я не совсем понял, в каком ключе Вы ожидаете ответ

    с уважением,

    АВ
  4. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Александр Геннадьевич,

    большое спасибо, что Вы продублировали здесь свое интереснейшее и острое сообщение. Я постараюсь, как обещал, "раздумчиво" пройтись по всем его пунктам. Немножко позднее.

    Ваш АШ

  5. Чупров Л.Ф.

    Чупров Л.Ф. Модератор

    Коллеги, может Вам будут интересны воспоминания пенсионера. Был я на курсах ИПК при АПН СССР в 1982 году. Несколько лекция прочитал проф. К.К. Платонов. В частности, он рассказал, как исследовали свойства темперамента Небылицын В. Д. и Теплов Б М. Они первоначально (все это со слов К.К. Платонова, оставшихся в моей памяти) написали множество статей в зарубежных изданиях по исследованию темперамента и индивидуальности. Зарубежные психологи стали требовать экспериментальных доказательств. Чтобы избежать скандала институт полностью перевели на эту тематику, прикрыв все проекты, и доказали, что наши мэтры Небылицын В. Д. и Теплов Б М. правы. Почти аналогичная ситуация была в биологии, когда О. Лепешинская писала свои труды по самозарождению. Печально известного Лысенко или его приемника с выращиванием соленых огурцов думаю вспоминать уже излишне. В любой стране, и наша не исключение, часть научных трудов пишется "на коленке" с цифрами "с потолка". Особенно по психологии. Просто удобная научно-практическая сфера. Главное, научиться читать и писать, а там можно себя и психологом объявить. Как говаривала моя бывшая завкаф: "Все мы тут педагоги, все мы тут психологи!". Хотя она защищала свою кандидатскую по экономике народного образования.
  6. Виноградов А.Г.

    Виноградов А.Г. Модератор Команда форума

    Уважаемій Леонид Федорович,

    как жаль, что я не знал об этой истории до поступления на психфак. Я бы тогда точно передумал ;).

    Соглашусь с Вами, что внешняя мотивация при определенной нечистоплотности вполне один из объяснительных факторов. Ставки (и соблазн), действительно, слишком велики. Но есть и более опасная вещь - самообман, не зря же есть эффект экспериментатора. "Ах, обмануть меня нетрудно, я сам обманываться рад".

  7. Ромащук А.Н.

    Ромащук А.Н. Активист

    Леонид Федорович, уже без всяких слухов точно то же говорили в свое время про эксперименты Галилея (т.е. физика). Перипатетики кинулись проверять описанные им эксперименты и у них ничего не сходилось (в частности из-за описанной А.Г.Виноградовым "проблем измерительных инструментов" - тогда считали по пульсу и т.п.). Галилей и часть его сторонников ответили в том духе, что впрямую проводить бессмысленно - и это при всей любви Галилея к математике
    Пусть там лысенковщина, но ведь есть такие сторонники галилеевского эксперимента как Левин и Пиаже - их как то сложно в "соленые огурцы". При этом почти всегда была критика их исследований со стороны статистики. Позволю и себе личные воспоминания - я когда делал исследование по феноменам сохранения начитывал разные строгие современные исследования по разным факторам, объясняющий данный феномен. Парадокс был в том, что в своих работах сам Пиаже большую часть этих факторов указывал (пожалуй, кроме "случайного сохранения", да и как влияние взрослого вполне), но лишь как второстепенные внешние влияния, тогда как исследовал механизм и как раз поэтому осознанно не набирал большие "выборки из генеральной совокупности"
    Это я к тому, что обсуждение проблемы достаточно давнее и ее сложно свести лишь к непрофессиональности части психологов-исследователей
  8. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Александр Геннадьевич,

    см. ниже мои попытки как-то прокомментировать ваши пункты.

    Виноградов А.Г., post: 8931, member: 43"

    Во-первых, мало кто вообще связывает нынешний кризис с предыдущим, когда в 1968 вышла книга Уолтера Мишела. Она касалась положения дел в психологии личности, но затронутые Мишелом вопросы, как мне кажется, релевантны и другим областям психологического исследования.

    Полностью согласен с Вашими наблюдениями, Александр Геннадьевич. Западная психология (немножко переоцененная в Восточной Европе) в последние десятилетия скатилась к явным признакам "подверженности капризам моды". Все, что выходит из моды - конструкты, феномены, методики - все быстро перестает котироваться в редакциях крупных журналов и их рецензентов. В то время, как постановка каких-то проблем лет пятьдесят назад, нередко выглядела более глубокой и продуманной.
    Во-вторых, никто не упоминает о такой очевидной вещи, как корректное определение генеральной совокупности и планирование выборки. Эффект определяется для какой именно генсовокупности? Как вы обеспечили репрезентативность своей выборки по отношению к ней? Если для социологов этот вопрос является краеугольным, то психологи (даже на Западе) традиционно его игнорируют, хотя вовсю применяют статистику и говорят о случайных ошибках. Но эти случайные ошибки - это ведь ошибки выборки!

    Соглашусь здесь процентов этак на 75. Конечно, смехотворные, перекошенные выборки психологов - это часто источник очень больших ошибок. Но все-таки есть "ошибки инструмента", о которых Вы, разумеется, осведомлены не хуже меня. Мы должны признать, что наши инструменты порождают сами по себе слишком значительную "ошибку измерения", которую нельзя снизить, как ни наращивай выборку. Впрочем, далее Вы сами об этом пишите.

    В-третьих, чрезвычайно важен вопрос мотивации испытуемых. Чего греха таить, большинство психологических исследований попросту банально скучны, формальны, занудны, не имеют отноошения к жизни испытуемых и проходят мимо их мозга и чувств.

    Скукота - это не единственный грех. Некоторые испытуемые оказываются очень даже увлеченными... той гипотезой, которую на них проверяет исследователь. Я не о том, что исследователи часто излагают свои студентам-испытуемым свои гипотезы еще ДО эксперимента по ее проверке. Это бывает нечасто. Но... иногда из самого инструмента волей-неволей гипотеза просто "торчит" и испытуемые начинают подыгрывать. А критики вносят казалось бы небольшие коррективы в инструмент, так что "гипотеза уже не торчит", и ... получаются опровергающие результаты.

    Подавляющее большинство субъектов - это студенты, вынужденные участвовать в исследовании под давлением преподавателя, отлично чувствуют незаинтересованность ученого в том, чтобы предоставить в конце полезную обратную связь с человеческим лицом и ответами на волнующий каждого вопрос: ну и что дальше делать?

    Я бы сформулировал так "требование новой методологии": для испытуемых автор "чистого эксперимента" должен быть анонимным лицом. Это недостаточная, но необходимая предосторожность против возможной стратегии "подыгрывания экспериментатору".

    В-четвертых, наши измерительные инструменты просто дебильны. Ошибки измерения составляют 70-80%, но исследователи часто не имеют представления о том, что такое случайная ошибка измерения (не говоря уже о систематических). Какой эффект можно зафиксировать грубым и нерелевантным инструментом измерения?

    Вот как раз об этом я уже было поторопился написать выше. Должного внимания к инструментам и понимания их ограниченности психологам в массе своей никогда не хватало и до сих пор не хватает. Они, вишь ли, считают, что должны ИЗУЧАТЬ ПРЕДМЕТ, а не инструмент. Я всегда уважал нашего основателя факультета психологии МГУ Алексея Николаевича Леонтьева, но он иной раз утверждал именно это: "Исследование не может быть посвящено изучению инструмента". А почему нет? - Почему за качественно-выполненное, конструктивно-критическое исследование инструмента не присуждать кандидатскую степень?! У нас в стране с этим еще хуже, чем на Западе, как Вы знаете. Поэтому громадье "завиральных теорий" опирается на хилые ноги никакого по-качеству инструментария.

    В-пятых, наши исследования почти всегда касаются лишь одной, частной стороны явления. Мало кто ставит перед собой цель объяснить как можно больше дисперсии зависимой переменной, привлекая, наряду с выбранной нами независмой переменной, другие факторы, доказавшие в предыдущих исследованиях свою эффективность.

    А вот тут я позволю себе предложить такую метафору, которая объясняет, на мой взгляд, почему психологи оказываются далеки от системного подхода... а пытаются вычленить из комплексной проблематики какие-то частные переменные и изучать только их изолированно от других. Дело в том, что такая стратегия определения предмета изучения является... наименее конкурентной (конфликтной). Более всего безопасно выявить какой-то такой феномен, по котором никто еще ничего не опубликовал и изучать его.

    (... продолжение следует, отвлекают...)
    Последнее редактирование: 23 сен 2015
  9. Кутеева Е.Н.

    Кутеева Е.Н. Модератор Команда форума

    Последнее редактирование: 24 сен 2015
  10. Свириденко И.Н.

    Свириденко И.Н. Локомотив

    5 правил, которые я сформулировала для себя исходя из собственного опыта:
    1) если создаешь тест для управленцев от 25 лет и старше - все от начала до конца делаешь на управленцах от 25 лет и старше
    2) процесс обработки "сырья" не следует доверять тому, кто в своих исследованиях готов брать цифры с потолка. Считай сама. Не умеешь - учись. Нет у тебя программ статистки или spss - ищи, находи, но считай сама.
    3) все тесты, которые подбираешь для оценки валидности, пройди сама. Все, что тебе не понравилось, где хотелось сжульничать или надоело - может не понравиться, вызвать желание слукавить или надоесть другим. Реши, что тебе нужно - процесс (написания и защиты диссер) или результат (работает твоя теория или нет).
    4) мотивация искренних ответов респондентов - при оценке взрослых людей ключевой момент. Анонимность не гарантирует качества заполнения, если отвечающий не считает нужным отвечать искренне.
    5) обратная связь.
    Есть и другие, касающиеся конкретных тем или технологий психодиагностического исследования.
    Я не знаю, учат ли этому в на психфаках, п.ч. у меня несколько иное базовое образование.
  11. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Инна,

    мне понравились ваших пять правил, хотя я не уверен, что они вполне соответствуют тематическому фокусу заглавного сообщения. Тесты - это вовсе не единственные и даже не самые важные инструменты в исследовательской практике (в отличие от оценочно-диагностической практики). Экспериментальный дизайн даже в случае квазиэкспериментов не сводится к тестам. Эксплораторная (поисковая) стратегия исследования часто требует смелой опоры на данные, собранные чужими руками, или на индикаторы, созданные чужими руками. Другое дело, что результаты подобных краудсорсинговых проектов, чаще всего оказываются банальными до степени полнейшего разочарования...

    Ваше сообщение еще раз подсказывает мне нетривиальность различения понятий "исследование" и "обследование" для многих коллег.

    Ваш АШ

    Последнее редактирование: 23 сен 2015
  12. Тукачев Ю.А.

    Тукачев Ю.А. Администратор Команда форума

    Александр Георгиевич, даже в профстандарте педагога-психолога такого различения не найти ...
  13. Чупров Л.Ф.

    Чупров Л.Ф. Модератор

    Согласен, что порой копья ломают, как те "ученые" из новелл Джонатана Свифта, что спорили с какого конца яйца разбивать. Используется и в исследовании и в обследовании один и тот же инструментарий. Но исследование не предполагает моральной или т.п. ответственности, а обследование - предполагает, поскольку его результат может повлиять на судьбу обследуемого. Исследование - для теории и эксперимента. Обследование - выставление в конце "диагноза" , т. е. формулирование психологического заключения. Хотя все это на уровне "игры слов", как и смысл самих понятий: "диагноз" и "заключение".
  14. Виноградов А.Г.

    Виноградов А.Г. Модератор Команда форума

    Александр Георгиевич,

    > скатилась к явным признакам "подверженности капризам моды". Все, что выходит из моды - конструкты, феномены, методики - все быстро перестает котироваться в редакциях крупных журналов и их рецензентов. В то время, как постановка каких-то проблем лет пятьдесят назад, нередко выглядела более глубокой и продуманной.

    Именно, и это отчетливо видно, когда последовательно просматриваешь журналы за несколько лет. При этом, как отмечает Пол Клейн в своей книге, адресованной молодым исследователям, тема не завершается каким-то окончательным выводом, а просто "угасает"

    > Должного внимания к инструментам и понимания их ограниченности психологам в массе своей никогда не хватало и до сих пор не хватает.

    Причем в такой степени, что психологи часто не знакомятся с содержанием вопросов и заданий, не заглядывают "за обложку" теста, полностью доверяя тому, что на ней написано. В этом плане меня очень порадовал комментарий И.Н. Свириденко - абсолютно корректный, профессиональный подход

    > Дело в том, что такая стратегия определения предмета изучения является... наименее конкурентной (конфликтной). Более всего безопасно выявить какой-то такой феномен, по котором никто еще ничего не опубликовал и изучать его.

    по-видимому, да. Нежелание вступать в конкурентные отношения и вообще "портить отношения" - явный признак застоя в науке
  15. Шмелев А.Г.

    Шмелев А.Г. Организатор Команда форума

    Леонид Федорович,

    все было бы хорошо в вашем рассуждении (в моем понимании), но последнюю фразу насчет "игры слов" я не понимаю. У исследования и обследования прежде всего разные цели, что диктует подбор в одном случае более рискованных методик, во втором - менее рискованных (они различаются между собой хотя бы по этому признаку). И это уже не игра слов. При экспертизе методики важнейший элемент нашего экспертного заключения должен быть таким: это исследовательская методика или она готова к практическому применению. Какая же игра слов?

    Ваш АШ

  16. Алексеев А. А.

    Алексеев А. А. Локомотив

    Александр Геннадьевич, мне кажется, что утверждение, с которого Вы начали, а именно утверждение о том, что затронутые Мишелом вопросы релевантны и другим областям психологического исследования (подчеркиваю, ИССЛЕДОВАНИЯ, а не обследования или диагностики), представляет собой overgeneralization. Например, в когнитивной психологии существуют и относительно точные инструменты (и надежные меры, такие как в ментальной хронометрии), и достаточно сложные экспериментальные планы, а репрезентативность выборки там не всегда играет такую важную роль, как в психологии личности. Пожалуй, мотивация, да, играет существенную роль, но ведь существуют способы управления мотивацией в экспериментах, хотя бы с помощью варьирования вознаграждения. Кстати говоря, некоторые исследования, которые как Вы говорите "не имеют отношения к жизни испытуемых и проходят мимо их мозга и чувств", затрагивают мог и волнуют чувства ИССЛЕДОВАТЕЛЕЙ, которых интересуют не прикладные вопросы, а, говоря выспренно, "устройство души". Все проблемы, о которых Вы пишете, безусловно актуальны для современной психологии, но... it depends on.
  17. Яньшин П.В.

    Яньшин П.В. Лидер Команда форума

    "Проект, посвященный воспроизводимости психологических исследований, всколыхнул западных коллег. В различных научных блогах народ пытается отрефлексировать причины сложившегося положения и предложить свое видение выхода из кризиса."
    Читая такое, невольно чувствую себя чужим на этом празднике жизни. Это какая-то закрытая форма коммуникации, понятная только для тех, кто в курсе. А я не в курсе. Что за кризис? В чем проблема? В результате дискуссия автоматически сместилась в понятную для большинства сторону: психодиагностика. И только иногда кто-то спохватывается: ведь начали то с исследования, а не с обследования.
    Хочу услышать четко сформулированную проблему дискуссии.
  18. Чупров Л.Ф.

    Чупров Л.Ф. Модератор

    Пётр Всеволодович, во всех сетевых обсуждениях бывают соскальзывания. Начинаю. об одном - заканчивают (если заканчивают) о другом.
    Александр Георгиевич! ЦИТИРУЮ: "При экспертизе методики важнейший элемент нашего экспертного заключения должен быть таким: это исследовательская методика или она готова к практическому применению. Какая же игра слов?".
    Да, вот инструмент/орудие не обладает способностью задавать цель. Её (цель) задает человек, наделенный определенными знаниями по предмету. Пример? Нож. Можно им резать хлеб, вырезать из ветки ольхи свистульку сорванцу, можно использовать как орудие преступления. Не нож задавал цель, а рука его направляющая. Мы можем делить методики на демонстрационные, исследовательские, диагностические. Но это условности. Методика служит для подкрепления/закрепления данных других исследований. Цель: будет ли это просто исследование без последствий или диагностическое заключение - тоже задает не методика, а ее применивший. Технологии не меняют ни чего в этом мире. Меняют теории. Одна и та же технология может быть использована для обслуживания разных теорий (методологий). Вспомните дискуссии 70-80-х гг. об использовании западных инструментов психологами. Привели только к одному: отечественные психологи изготовили огромное количество клонов и выставили на них свои имена.
  19. Виноградов А.Г.

    Виноградов А.Г. Модератор Команда форума

    Анатолий Андреевич,

    основная мысль Мишела состоит в том, что в психологическом исследовании следует учитывать контекст и взаимодействие индивида с ним. Необходимость учета контекста в в когнитивных исследованиях мне не представляется таким уж непозволительным сверхобобщением.

    Вдобавок, точность измерения наблюдаемых характеристик - вовсе не то же самое, что латентных. Можно мерить ответы на личностный вопросник по графической шкале с точностью до микрона, но это не увеличитточности измерения личностных свойств

    Уже не раз продемонстрировано в исследованиях когнитивных функций влияние культурных различий. Следовательно, если при формировании выборки не учитывается состав генеральной совокупности по этому признаку, выводы на всю совокупность людей мы распространить не имеем права

    Мотиваиця исследователя - вещь отличная, но если относиться к испытуемому как к пассивному объекту исследования, а не коллеге-ученому (Келли), рискуем иметь дело с артефактами, а не фактами

    Вообще представление о том, что можно иметь доступ к когнитивным функциям, минуя социальное взаимодействие, мне кажется ошибочным
  20. Виноградов А.Г.

    Виноградов А.Г. Модератор Команда форума

    Петр Всеволодович,

    речь идет о результатах вот этого нашумевшего проекта
    Вкратце: удалось воспроизвести результаты только 36% опубликованных в современных журналах исследований, при этом оценка эффекта оказалась вдвое меньше заявленной в них