27.11.2013

Первые результаты проекта проверки воспроизводимости психологических эффектов

Одна из главных проблем в психологической (и не только) науке – это воспроизводимость результатов исследований. Многие психологические эффекты, которые стали общеизвестными и вошли в учебники, часто открыты и продемонстрированы одним исследователем в одном-двух экспериментах. В этом году долгое обсуждение этой проблемы воплотилось в реальные действия. Исследователи из 36 лабораторий разных стран объединились в The “Many Labs” Replication Project и на 36 независимых выборках (всего 6,344 человека) из 12 стран проверили первые 13 эффектов. Результаты доступны на сайте Open Science Framework [1].

Что проверяли:
  1. Эффект невозвратных издержек (Sunk costs (Oppenheimer, Meyvis, & Davidenko, 2009)). Участников исследования попросили представить, что у них есть билеты на важную игру их любимой футбольной команды, но в день игры будет очень холодная погода. Далее их попросили оценить вероятность посещения ими этой игры (1 – определенно останусь дома, 9 – определенно пойду на игре). Участники с большей вероятностью пошли бы на игру, если сами заплатили за билет, чем в ситуации, когда билет достался им бесплатно.
  2. Приобретения vs. потери (Gain versus loss framing (Tversky & Kahneman, 1981)). Изменение фокуса внимания с потерь на приобретения меняют готовность рисковать. Участников исследования попросили представить, что в США ожидается вспышка необычной азиатской болезни, которая должна убить 600 человек. Затем их попросили выбрать одну из двух стратегий борьбы с этой болезнью. Программа A гарантированно сохранит жизнь 200 людей, а 400 умрут. Программа B с вероятность 1/3 сохранит жизнь всем 600 людям, но с вероятностью 2/3 все 600 умрут. Несмотря на то, что логически эти варианты идентичны, участники чаще выбирали программу A.
  3. Эффект якоря (Anchoring (Jacowitz & Kahneman, 1995)). Перед тем, как участников попросили оценить несколько количественных величин, им предъявили не связанный с предметом оценки номер («якорь»). Оценки участников смещались в сторону якоря, независимо от того, был ли он больше или меньше реальной величины.
  4. Ретроспективная ошибка игрока (Retrospective gambler’s fallacy (Oppenheimer & Monin, 2009)). В первом условии участников исследования попросили представить, что они наблюдают за игроком, который кидает три кости, и у него выпадают тир шестёрки, во втором условии – выпадают две шестёрки и одна тройка, в третьем  условии игрок кидает только две кости, и на обоих выпадают шестёрки. Далее участников спросили, сколько раз игрок кинул, прежде чем они вошли в комнату и начали за ним наблюдать? Участники считали, что игрок кинул большее количество раз перед тем, как выкинуть три шестёрки.
  5. Шкала с маленькими значениями против шкалы с большими значениями (Low-vs.-high category scales (Schwarz, Hippler, Deutsch, & Strack, 1985)). Участников эксперимента попросили оценить, сколько времени в день они смотрят телевизор. В первом условии для этого предлагалась шкала от «до получаса» до «более 2 с половиной часов», во втором – шкала от «до 2 с половиной часов» до «более 4 часов». В первом случае меньшее количество человек указало, что смотрит телевизор больше 2 с половиной часов, чем во втором.
  6. Норма взаимности (Norm of reciprocity (Hyman & Sheatsley, 1950)). Столкнувшись с решением о разрешении или запрещении чего-либо членам своей и чужой группы, люди чувствуют необходимость делать это взаимосвязано и последовательно. Американских участников исследования попросили ответить на два вопроса: должны ли коммунистические страны (исследование проводилось в 1950 году) пускать к себе американских журналистов и давать им возможность сообщать новости американским газетам? а также, должна ли Америка пускать к себе коммунистических журналистов, чтобы они передавал информацию в свои газеты? Когда вопрос о коммунистических журналистах задавался вторым по счёту, участники чаще давали на него положительный ответ.
  7. Разрешение vs. запрет (Allowed/Forbidden (Rugg, 1941)). В первом условии американских участников исследования спрашивали, одобряют ли они разрешение произносить речи против демократии, во втором – одобряют ли они запрет произносить речи против демократии. 62% участников сказали «Нет», если их спрашивали про разрешения выступлений против демократии, но только 46 % сказали «Да», если их спрашивали про запрет выступлений против демократии. Т.е. участники были менее склонны одобрить запрет речей против демократии, чем не одобрить, разрешение речей против демократии.
  8. Эффект атрибуции цитаты (Quote Attribution (Lorge & Curtis, 1936)). Участников исследования попросили оценить, насколько они согласны с несколькими цитатами привлекательных и не привлекательных для них людей. Среди них была цитата, которая в одном случае приписывалась нравившемуся им Томасу Джефферсону, а во втором – не нравившемуся им Владимиру Ленину (исследование проводилось в 1936 году). Участники охотнее выражали согласие с фразой, если считали, что она принадлежит Джефферсону.
  9. Прайминг с флагом (Flag Priming (Carter, Ferguson, & Hassin, 2011; Study 2)). Участникам исследования показывали 4 фотографии, просили оценить время суток, в которое они были сделаны. В экспериментальной группе на двух из них был виден американский флаг. В контрольной группе ни на одной из них флага не было. Затем участники заполняли анкету, в которой выражали своё отношение к разным политическим вопросам (аборты, контроль оружия и т.д.). Участники экспериментальной группы, которые видели флаг, демонстрировали более консервативные установки.
  10. Денежный прайминг (Currency priming (Caruso, Vohs, Baxter, & Waytz, 2013)). Участников исследования просили заполнить анкету о демографических данных. При этом одной группе давали бланк, на фоне которого виднелось изображения $ 100 банкнот, другой группе давали бланк с размытым фоном. Затем они заполняли анкету с «system justification scale». Группа с денежным праймингом показала более высокие баллы по system justification scale, чем группа без прайминга.
  11. Воображаемый контакт (Imagined contact (Husnu & Crisp, 2010; Study 1)). Одну группу британцев-немусульман попросили в течение одной минуты представить, как они взаимодействуют с незнакомым британцем-мусульманиным, другую – что они просто прогуливаются по улице. Затем на протяжении ещё одной минуты они должны были описать свои мысли, после чего они оценивали свою готовность взаимодействовать с британцем-мусульманиным. Участники из группы «воображаемого контакта» демонстрировали значительно большую готовность к взаимодействию.
  12. Половые различия имплицитных установок по отношению к математике (Sex differences in implicit math attitudes (Nosek, Banaji, & Greenwald, 2002)). Исследование на студентах Йельского университета показало, что женщины имели более негативные имплицитные установки по отношению к математике, чем по отношению к искусству, по сравнению с мужчинами.
  13. Связь имплицитных установок по отношению к математике с декларируемыми установками (Implicit math attitudes relations with self-reported attitudes (Nosek, Banaji, & Greenwald, 2002)). В том же исследовании было показано, что декларируемые установки (composite of feeling thermometers and semantic differential ratings) положительно связаны с имплицитными установками по отношению к математике.


Все 36 частных size effects для каждого из проверяемых эффектов были взвешены и интегрированы. Совокупные size effects показали, что результаты 10 из 13 оригинальных исследований были воспроизведены. Результаты исследования с «воображаемым контактом» воспроизвелись только на 4 из 36 выборок. Исследования с денежным праймингом и праймингом флагом не воспроизвели оригинальные результаты, совокупный size effect был около нуля. В случае половых различий установок к математике эффект хотя и есть, но не такой большой, как было показано в оригинальном исследовании. В то время как в случае с якорным эффектом и разрешением vs. запретом эффект оказался ещё более сильным, чем в оригинальном исследовании.  Все совокупные size effects представлены на рисунке:


Все файлы с данными доступны на сайте Open Science Framework. Проверка первых 13 эффектов – это только начало. Самоорганизовавшийся консорциум исследователей намерен продолжить эту работу и приглашает исследователей из разных стран и лабораторий присоединяться. Кстати, из России там пока никого нет. При этом в проект участвуют не только психологи. Также уже работает Reproducibility Project: Cancer Biology.


_______________________________________________

Список публикаций с оригинальными исследованиями:

Carter, T. J., Ferguson, M. J., & Hassin, R. R. (2011). A Single Exposure to the American Flag Shifts Support Toward Republicanism up to 8 Months Later. Psychological Science, 22(8), 10111018. doi: 10.1177/0956797611414726

Caruso, E. M., Vohs, K. D., Baxter, B., & Waytz, A. (2013). Mere Exposure to Money Increases Endorsement of Free-Market Systems and Social Inequality. Journal of Experimental Psychology-General, 142(2), 301–306. doi: 10.1037/a0029288 [PDF]

Husnu, S., & Crisp, R. J. (2010). Elaboration enhances the imagined contact effect. Journal of Experimental Social Psychology, 46(6), 943–950. doi: 10.1016/j.jesp.2010.05.014

Hyman, H. H., & Sheatsley, P. B. (1950). The current status of American public opinion. In The Teaching of Contemporary Affairs, (11–34). New York: National Council of Social Studies

Jacowitz, K. E., & Kahneman, D. (1995). Measures of anchoring in estimation tasks. Personality and Social Psychology Bulletin, 21(11), 1161–1166. doi: 10.1177/01461672952111004 

Lorge, I. (1936). Prestige, suggestion, and attitudes. Journal of Social Psychology, 7(4), 386-402. doi: 10.1080/00224545.1936.9919891

Nosek, B. A., Banaji, M. R., & Greenwald, A. G. (2002). Math = male, me = female, therefore math ≠ me. Journal of Personality and Social Psychology, 83(1), 44–59. doi: 10.1037//0022-3514.83.1.44

Oppenheimer, D. M., & Monin, B. (2009). The retrospective gambler's fallacy: Unlikely events, constructing the past, and multiple universes. Judgment and Decision Making, 4(5), 326–334. [PDF]

Oppenheimer, D. M., Meyvis, T., & Davidenko, N. (2009). Instructional manipulation checks: Detecting satisficing to increase statistical power. Journal of Experimental Social Psychology, 45(4), 867–872. doi: 10.1016/j.jesp.2009.03.009 

Rugg, D. (1941). Experiments in Wording Questions: II. Public Opinion Quarterly, 5(1), 91–92. [PDF]

Schwarz, N., Hippler, H. J., Deutsch, B., & Strack, F. (1985). Response scales: Effects of category range on reported behavior and comparative judgments. Public Opinion Quarterly, 49(3), 388–395. doi: 10.1086/268936 [PDF]

Tversky, A., & Kahneman, D. (1981). The framing of decisions and the psychology of choice. Science, 211(4481), 453–458. doi: 10.1126/science.7455683 [PDF]

Также читайте:  
Опубликованы результаты проверки воспроизводимости 15 социально-психологических эффектов

Комментариев нет:

Отправить комментарий