«Эффект куколки» или как плохие результаты превращаются в хорошие статьи

В марте в Journal of Management вышла довольно скандальная статья «The Chrysalis Effect: How Ugly Initial Results Metamorphosize Into Beautiful Articles». Авторы проследили путь 142 PhD-диссертаций по менеджменту и прикладной психологии от текста диссертаций до статей, опубликованных в журналах. Анализ показал массовое использование сомнительных манипуляций с данными: удаление или добавление данных после проверки гипотез, выборочное удаление или добавление переменных, добавление или удаление гипотез.

В частности оказалось, что из 1978 гипотез, содержащихся в диссертациях, 889 (44.9%) были статистически подтверждены. При этом из 978 гипотез, опубликованных в журнальных статьях, статистически подтвердились 645 (т.е. уже 65.9%) гипотез. Другими словами на пути от диссертации до статьи в журнале количество подтвердившихся предположений выросло на 21.0%, т.е. соотношение подтвердившихся и неподтвердившихся гипотез выросло более чем в два раза (от 0.82 к 1.00 в диссертациях до 1.94 к 1.00 в статьях). Причина такого несоответствия понятна – неподтвердившиеся гипотезы просто не упоминаются в статьях. Это не совсем честная практика, т.к. во-первых, часть знания (которым неподтвердившиеся гипотезы также, несомненно, являются) остаётся скрытой от сообщества, во-вторых, побуждает других авторов делать тоже самое, т.к. в статьях, которые они читают, содержатся исключительно подтвердившиеся гипотезы. Но сдвиг в сторону подтвердившихся гипотез – это не самое страшное, что выяснилось в исследовании.

Из 272 статистически неподтвердившихся гипотез, содержащихся в диссертациях, 56 (т.е. 20.6%) превратились в статистически подтвердившиеся, дойдя до журнальных статей, а 17 из 373 (4.6%) подтвердившихся в диссертациях, наоборот, превратились в неподтвердившиеся. Видимо такое несоответствие – это результат добавления или удаления части выборки. Получив отрицательный результат, авторы расстроились и решили увеличить выборку или исключить из неё какую-то часть в надежде на более позитивные результаты. Однако в 77 случаях объём выборки от диссертации до статьи не изменился, а средние значения, стандартные отклонения и корреляции изменились, что, скорее всего, свидетельствует о более серьёзных манипуляциях с данными.

Наиболее эффективный способ борьбы с такими теневыми технологиями, придуманный на сегодняшний день, – предварительная регистрация исследований. Перед тем, как провести исследование, автор публично объявляет, что у него есть такие-то гипотезы, которые он будет проверять таким-то способом. Далее он проводит исследование, результаты которого легко можно сравнить с первоначальным планом. Система предварительной регистрации позволяет учёным и финансирующим органам избегать ненужного дублирования в проверке гипотез, выявлять потенциальные проблемы на ранних этапах процесса исследований, а также способствует публикации результатов о неподтвердившихся предположениях (чего не очень любят делать ни редакторы журналов, ни сами авторы).

В области клинических исследований практика предварительной регистрации существует уже несколько лет. Однако исследовательский процесс в разных науках устроен немного по-разному. В отличие от клинических исследований исследования в управленческих науках и прикладной психологии часто проводятся в рамках консалтинговых проектов (исследование Rynes et al. показало, что таких случаев около 26%), поэтому с предварительной регистрацией исследований здесь могут возникнуть дополнительные сложности (временные, этические и корпоративные причины). Но, по всей видимости, на данный момент пререгистрация – это единственный способ противодействия манипуляциям с данными и гипотезами. Вообще тема пререгистрации и репликации сейчас активно обсуждается и применяется. Например, в прошлом году исследователи из 36 лабораторий разных стран объединились в The “Many Labs” Replication Project и на 36 независимых выборках (всего 6,344 человека) из 12 стран проверили первые 13 эффектов. О результатах можно прочесть здесь. Параллельно с этим проектом идеологи движения репликации и предварительной регистрации исследований в психологии призвали всех желающих принять участие в проекте повторения классических социально-психологических исследований. О важности пререгистрации можно почитать в The Guardian. Желающие повторить какое-либо исследование сначала регистрировали заявки с подробным описанием исследования, которые рецензировались и только после этого проводились сами исследования. По результатам этого проекта вышел спецномер журнала Social Psychology, в котором опубликованы первые 15 отчетов об этих исследованиях. Из 13 эффектов однозначно подтвердились только 3! Подробнее о результатах я писал здесь.

Да, на Западе научным исследованиям можно верить, а у нас - большей частью магия и колдовство.

Текст как раз говорит о том, что верить опубликованным в журналах статьям (в том числе в ведущих международных научных журналах) нужно осторожно.

Все относительно. Относительно многих наших "исследователей", западные работы очень достоверны. Относительно истины - возможно не все западные исследования идеальны. Но тем не менее, уровень доказательности и тщательности подготовки материала - на порядок выше российских. Одна из версий этого у меня - то, что в психологи в основном идут девицы, которые хотят любой ценой избежать математики - это их главная мотивация. Ну. и еще - "разобраться в себе", а там статистика вообще ни при чем.

Это бесспорно, просто статья не про это, поэтому меня сначала и удивил ваш комментарий.

Нет совершенства в этом мире. Это тоже бесспорно. На Западе тоже "люди " живут - со своими недостатками, амбициями, тщеславием и т.д. Многим хочется казаться лучше, чем он есть на самом деле. И плоды его трудов тоже хочется показать в более привлекательном виде. Просто уровень морального самоконтроля там повыше.

+1

Анатолий Николаевич, очень бы хотелось видеть на это форуме не только Ваши тексты, но и Ваше ... фото

Ваш АШ

quote="Кричевец А Н, post: 2122, member: 98"]Дорогой Андрей! Спасибо за публикацию. Обязательно пройду по Вашим ссылкам. Предварительная регистрация исследований, на мой взгляд, необходима. Мета-анализ не дает корректных результатов, пока учитывает только опубликованные отчеты о подтвержденных гипотезах и не учитывает почти никогда не публикуемые отчеты о неудачах. Так что, уважаемый Юрий Викторович, даже совершенно добросовестные исследователи попадают нынче в ситуацию, когда им верить тоже можно лишь с осторожностью, поскольку правила публикаций результатов далеки от разумности.[/quote]