На днях в Journal of Management вышла довольно скандальная статья [1] «The Chrysalis Effect:How Ugly Initial Results Metamorphosize Into Beautiful Articles». Авторы проследили путь 142 PhD-диссертаций по менеджменту и прикладной психологии
от текста диссертаций до статей, опубликованных в журналах. Анализ показал
массовое использование сомнительных манипуляций с данными: удаление или
добавление данных после проверки гипотез, выборочное удаление или добавление
переменных, добавление или удаление гипотез.
В частности оказалось, что из 1978 гипотез, содержащихся
в диссертациях, 889 (44.9%) были статистически подтверждены. При этом из 978
гипотез, опубликованных в журнальных статьях, статистически подтвердились 645 (т.е.
уже 65.9%) гипотез. Другими словами на пути от диссертации до статьи в журнале количество
подтвердившихся предположений выросло на 21.0%, т.е. соотношение
подтвердившихся и неподтвердившихся гипотез выросло более чем в два раза (от
0.82 к 1.00 в диссертациях до 1.94 к 1.00 в статьях). Причина такого несоответствия
понятна – неподтвердившиеся гипотезы просто не упоминаются в статьях. Это не
совсем честная практика, т.к. во-первых, часть знания (которым
неподтвердившиеся гипотезы также, несомненно, являются) остаётся скрытой от
сообщества, во-вторых, побуждает других авторов делать тоже самое, т.к. в
статьях, которые они читают, содержатся исключительно подтвердившиеся гипотезы.
Но сдвиг в сторону подтвердившихся гипотез – это не самое страшное, что
выяснилось в исследовании.
Из 272 статистически неподтвердившихся гипотез,
содержащихся в диссертациях, 56 (т.е. 20.6%) превратились в статистически
подтвердившиеся, дойдя до журнальных статей, а 17 из 373 (4.6%) подтвердившихся
в диссертациях, наоборот, превратились в неподтвердившиеся. Видимо такое
несоответствие – это результат добавления или удаления части выборки. Получив
отрицательный результат, авторы расстроились и решили увеличить выборку или
исключить из неё какую-то часть в надежде на более позитивные результаты.
Однако в 77 случаях объём выборки от диссертации до статьи не изменился, а
средние значения, стандартные отклонения и корреляции изменились, что, скорее всего,
свидетельствует о более серьёзных манипуляциях с данными.
Наиболее эффективный способ борьбы с такими
теневыми технологиями, придуманный на сегодняшний день, – предварительная
регистрация исследований. Перед тем, как провести исследование, автор публично
объявляет, что у него есть такие-то гипотезы, которые он будет проверять таким-то
способом. Далее он проводит исследование, результаты которого легко можно
сравнить с первоначальным планом. Система предварительной регистрации позволяет
учёным и финансирующим органам избегать ненужного дублирования в проверке
гипотез, выявлять потенциальные проблемы на ранних этапах процесса исследований,
а также способствует публикации результатов о неподтвердившихся предположениях
(чего не очень любят делать ни редакторы журналов, ни сами авторы).
В области клинических исследований практика предварительной
регистрации существует уже несколько лет. Однако
исследовательский процесс в разных науках устроен немного по-разному. В отличие
от клинических исследований исследования в управленческих науках и прикладной
психологии часто проводятся в рамках консалтинговых проектов (исследование
Rynes et al. показало, что таких случаев около 26% [2]), поэтому с
предварительной регистрацией исследований здесь могут возникнуть дополнительные
сложности (временные, этические и корпоративные причины). Но, по всей видимости,
на данный момент пререгистрация – это единственный способ противодействия
манипуляциям с данными и гипотезами.
_______________________________________________
[1] O’Boyle, E. H., Banks, G.
C., & Gonzalez-Mulé, E. (2014). The Chrysalis Effect: How Ugly Initial
Results Metamorphosize Into Beautiful Articles. Journal of Management.
doi: 10.1177/0149206314527133
Пост написал Андрей Ловаков для Дайджест психологический исследований
Комментариев нет:
Отправка комментария