«Эффект куколки» или как плохие результаты превращаются в хорошие статьи

На днях в Journal of Management вышла довольно скандальная статья [1] «The Chrysalis Effect:How Ugly Initial Results Metamorphosize Into Beautiful Articles». Авторы проследили путь 142 PhD-диссертаций по менеджменту и прикладной психологии от текста диссертаций до статей, опубликованных в журналах. Анализ показал массовое использование сомнительных манипуляций с данными: удаление или добавление данных после проверки гипотез, выборочное удаление или добавление переменных, добавление или удаление гипотез.

В частности оказалось, что из 1978 гипотез, содержащихся в диссертациях, 889 (44.9%) были статистически подтверждены. При этом из 978 гипотез, опубликованных в журнальных статьях, статистически подтвердились 645 (т.е. уже 65.9%) гипотез. Другими словами на пути от диссертации до статьи в журнале количество подтвердившихся предположений выросло на 21.0%, т.е. соотношение подтвердившихся и неподтвердившихся гипотез выросло более чем в два раза (от 0.82 к 1.00 в диссертациях до 1.94 к 1.00 в статьях). Причина такого несоответствия понятна – неподтвердившиеся гипотезы просто не упоминаются в статьях. Это не совсем честная практика, т.к. во-первых, часть знания (которым неподтвердившиеся гипотезы также, несомненно, являются) остаётся скрытой от сообщества, во-вторых, побуждает других авторов делать тоже самое, т.к. в статьях, которые они читают, содержатся исключительно подтвердившиеся гипотезы. Но сдвиг в сторону подтвердившихся гипотез – это не самое страшное, что выяснилось в исследовании.

Из 272 статистически неподтвердившихся гипотез, содержащихся в диссертациях, 56 (т.е. 20.6%) превратились в статистически подтвердившиеся, дойдя до журнальных статей, а 17 из 373 (4.6%) подтвердившихся в диссертациях, наоборот, превратились в неподтвердившиеся. Видимо такое несоответствие – это результат добавления или удаления части выборки. Получив отрицательный результат, авторы расстроились и решили увеличить выборку или исключить из неё какую-то часть в надежде на более позитивные результаты. Однако в 77 случаях объём выборки от диссертации до статьи не изменился, а средние значения, стандартные отклонения и корреляции изменились, что, скорее всего, свидетельствует о более серьёзных манипуляциях с данными.

Наиболее эффективный способ борьбы с такими теневыми технологиями, придуманный на сегодняшний день, – предварительная регистрация исследований. Перед тем, как провести исследование, автор публично объявляет, что у него есть такие-то гипотезы, которые он будет проверять таким-то способом. Далее он проводит исследование, результаты которого легко можно сравнить с первоначальным планом. Система предварительной регистрации позволяет учёным и финансирующим органам избегать ненужного дублирования в проверке гипотез, выявлять потенциальные проблемы на ранних этапах процесса исследований, а также способствует публикации результатов о неподтвердившихся предположениях (чего не очень любят делать ни редакторы журналов, ни сами авторы).

В области клинических исследований практика предварительной регистрации существует уже несколько лет. Однако исследовательский процесс в разных науках устроен немного по-разному. В отличие от клинических исследований исследования в управленческих науках и прикладной психологии часто проводятся в рамках консалтинговых проектов (исследование Rynes et al. показало, что таких случаев около 26% [2]), поэтому с предварительной регистрацией исследований здесь могут возникнуть дополнительные сложности (временные, этические и корпоративные причины). Но, по всей видимости, на данный момент пререгистрация – это единственный способ противодействия манипуляциям с данными и гипотезами.

_______________________________________________

[1] O’Boyle, E. H., Banks, G. C., & Gonzalez-Mulé, E. (2014). The Chrysalis Effect: How Ugly Initial Results Metamorphosize Into Beautiful Articles. Journal of Management. doi: 10.1177/0149206314527133

[2] Rynes, S. L., McNatt, D. B., & Bretz, R. D. (1999). Academic research inside organizations: Inputs, processes, and outcomes. Personnel Psychology, 52(4), 869–898. doi: 10.1111/j.1744-6570.1999.tb00183.x


Пост написал Андрей Ловаков для Дайджест психологический исследований