详细内容或原文请订阅后点击阅览
选择性分类可以放大群体之间的差异
选择性分类是一种在错误代价高昂的环境中部署模型的有效方法，即当模型对预测不确定时，允许它们“弃权”。例如，在医学领域，模型错误可能会造成生死攸关的后果，但弃权问题可以通过让医生做出诊断来轻松处理。在从视觉 123 到 NLP 45 的一系列应用中，即使是简单的选择性分类器，仅依赖于模型逻辑，也会通过弃权而经常显著提高准确性。这使得选择性分类成为 ML 从业者 67 的有力工具。然而，在我们最近的 ICLR 论文中，我们发现尽管选择性分类可以可靠地提高平均准确率，但它可能无法提高甚至损害某些数据子群体的准确率。作为一个激励人心的例子，考虑通过胸部 X 光片诊断胸腔积液或肺部积液的任务。胸腔积液通常用胸腔引流管治疗，因此许多胸腔积液病例也有胸腔引流管，而大多数没有胸腔积液的病例没有胸腔引流管 8。虽然选择性分类可以提高此任务的平均准确率，但我们发现它并没有明显提高数据中临床最相关的亚组或亚群的准确率：那些有胸腔积液但尚未进行胸腔引流的患者，即那些有胸腔积液但尚未接受治疗的患者。因此，从业者应该
来源:斯坦福人工智能实验室博客