详细内容或原文请订阅后点击阅览
RCT——方法论拜物教的严重案例
帕拉和爱德华兹有趣的文章强调了当前教育领域“基于证据”政策和随机化设计的崇拜的一些基本问题。不幸的是，我们在经济学中面临着同样的问题。人们常说，进行随机实验的目的是“确保”假定的 [...]
来源:Lars P SyllRCT——方法论拜物教的严重案例
除了进行随机对照试验所需的巨额财务费用之外……批评者还对与其在计划和政策评估中的特权地位相关的巨大机会成本表示担忧。这些成本是由于过分强调证据生成中的实验评估系统地破坏了替代研究方法，这些方法可能更好地回答有关因果机制（或干预措施引发变化的渠道）的问题……
一些作者认为，与实验主义者所认可的价值和理论无关的话语相比，随机对照试验具有与占主导地位的（新）自由主义经济改革相一致的明确意识形态承诺……同样，比较教育学者也记录了国际组织为提高其数据和方法的可信度而做出的长期努力，从而增强了其研究结果的影响力。
胡安·大卫·帕拉 & D. 布伦特·爱德华兹
帕拉和爱德华兹有趣的文章强调了当前教育领域“基于证据”政策和随机化设计的崇拜的一些基本问题。不幸的是，我们在经济学中面临着同样的问题。
人们通常认为进行随机实验的目的是“确保”假定的因果关系之间的任何相关性都表明存在因果关系。这被认为是成立的，因为随机化（据称）确保了假定的因果变量与可能影响效果的其他变量不相关。
这种简单化随机化观点的问题在于所提出的主张被夸大，有时甚至是错误的：
• 即使您设法以理想的随机方式分配治疗组和对照组，样本选择也肯定不是随机的（除了极少数情况）。即使我们进行了适当的随机分配，如果我们将结果应用于有偏差的样本，总是存在实验结果不成立的风险。在“那里”有效的方法在“这里”不起作用。因此，随机化并不能“保证”或“确保”正确的因果关系。尽管随机化可以帮助我们排除某些可能的因果关系，但随机化本身并不能保证任何事情！
• 即使抽样和分配都是以理想的随机方式进行，执行标准随机实验也只能得出平均值。这里的问题是，尽管我们可以获得对“真实”平均因果效应的估计，但这可能会“掩盖”因果性质的重要异质效应。虽然我们得到的正确答案是平均因果效应为零，但那些“接受治疗”的人的因果效应可能等于-100，而那些“未治疗”的人的因果效应可能等于+100。在考虑是否接受治疗时，大多数人可能有兴趣了解这种潜在的异质性，并且不会认为平均效果特别有启发性。
• 偏差和精度之间几乎总是需要权衡。在现实世界中，一点偏差通常并不比更高的精度更重要。最重要的是，如果我们的群体具有相当大的异质性，样本的平均治疗效果可能与群体的平均治疗效果有很大差异。如果是这样，那么从试验样本到其他人群的任何外推推论的价值都是非常值得怀疑的。
• 由于大多数现实世界的实验和试验都是建立在执行单一随机化的基础上，因此，如果您永远继续随机化，这一事实并不能帮助您“确保”或“保证”您不会从实际执行的一项特定随机实验中得出错误的因果结论。确实很难理解为什么思考你知道你永远不会做的事情会让你对你实际做的事情感到高兴。
• 还有一个问题是，“自然”可能并不总是为我们提供我们最感兴趣的随机实验。如果我们对 X 感兴趣，为什么我们应该只研究 Y，因为设计决定了这一点？方法永远不应该优先于实质！
如今，许多主流经济学家认为，“富有想象力的经验方法”——尤其是“仿佛随机”的自然实验和随机对照试验——可以帮助我们回答有关经济模型的外部有效性的问题。在他们看来，它们或多或少是对“潜在经济模型”的测试，并使经济学家能够从不断扩大的“潜在适用模型的集合”中做出正确的选择。
主流经济学家普遍认为，与其他方法相反，随机化的科学价值或多或少没有争议，而且随机实验没有偏见。然而，当仔细观察时，实际上没有什么真正的理由对所谓的经济学“实验转向”抱有这种乐观态度。严格来说，随机化并不能保证任何事情。
“理想的”受控实验可以确定地告诉我们什么导致什么影响——但前提是给出正确的“封闭”。从（理想的、偶然的、自然的或准的）实验对不同的环境、群体或目标系统进行适当的推断并不容易。在实验环境中推断出的原因仍然必须表明它们具有针对目标人群的出口许可证。所做的因果背景假设必须是合理的，如果没有出口许可证，“严格”和“精确”方法以及“平均知识”的价值就小得令人绝望。
其宣传者——包括迪弗洛、班纳吉和克雷默等“诺贝尔奖”获得者——所描绘的近乎宗教信仰并不能掩盖这样一个事实：随机对照试验不能理所当然地得出普遍结果。某些东西在某个地方有效并不能保证我们相信它在这里对我们有效或普遍有效。
依靠干预主义方法通常意味着重点不是在社会层面提出有趣的问题，而是关注个人。重点不是询问性别或种族歧视等背后的结构性社会经济因素，而是个人做出的选择。 Esther Duflo 是这种限制方法的危险的典型例子。迪弗洛等人希望放弃政治经济和制度改革等“大想法”，转而“像水管工那样”解决更易于管理的问题。您确实还不确定这是否是推动经济学前进并使其成为一门相关且现实的科学的正确方法。水管工可以修复系统中的小泄漏，但如果整个系统已经腐烂，则需要的不仅仅是好的老式管道。我们今天面临的重大社会和经济问题不会通过水管工以随机对照试验的形式进行干预或操纵来解决。
当前的 RCT 崇拜是危险的。相信随机化是实现科学有效性的唯一方法，使人们无法寻找和使用在许多情况下更好的其他方法。坚持只使用一种工具通常意味着使用错误的工具。