详细内容或原文请订阅后点击阅览
许多社会科学无法复制。这是否意味着它是铺位?
最近的一项研究让学者们争论了看起来令人沮丧的重复率是否像看起来那么可怕。作者:Emma Pettit 学者们正在争论评估数百篇论文可信度的结果。有些人认为失败并认为需要进行紧急改革,而另一些人则认为有理由充满希望。
来源:高等教育纪事报无数学者花了数年时间撬开社会科学研究,提出同一个问题的不同版本:我们对幕后真相的信任程度有多少?
这项巨大努力的结果(上周作为合集发表在《自然》杂志上)非常复杂。令一些学者担忧的发现包括:当研究人员试图使用新数据来复制六个学科中具有统计学意义的主张时,他们只成功了大约一半——就像抛硬币一样。
斯坦福大学社会学家罗布·威勒 (Robb Willer) 在《自然》杂志上发表的一篇反思中写道,虽然“完美的复制率”是“不现实的”,但“很难从这些测试的结果中得出结论,并得出已发表的记录中一切都很好的结论。”
该项目名为“系统化开放研究和证据的信心”(SCORE),强调了困扰该记录的其他潜在问题。其中一项调查着眼于可重复性——当局外人重新分析论文的数据和方法时,论文的结论是否成立。 SCORE 团队成员发现,他们评估的论文中只有 54% 可以“精确地”重现。再次,大约是抛硬币。
但这些数字对于社会科学的健康到底意味着什么?撰写有关研究结果的学者或接受《纪事报》采访的学者的反应不一。对于一些人来说,结果令人担忧,并凸显了数据透明度改革的持续必要性。其他人则认为事情并不像看上去那么可怕,并警告不要仓促下结论。
“如果你在社会科学领域工作了很长时间,你对此的反应可能是两件事之一,”科罗拉多州立大学政治学教授凯尔·桑德斯 (Kyle Saunders) 在他的 Substack 时事通讯 Sacred Cow BBQ 中谈到了这一重复发现。 “要么,‘天啊,一半?’或者,‘老实说,我很惊讶它这么高。’”
“我实际上很惊讶相反的效果并没有更大,”鲁宾说。
“这不是收缩,”桑德斯写道。 “那就是崩溃。”
