详细内容或原文请订阅后点击阅览
发现机器学习模型所犯的系统性错误
使用跨模态嵌入发现系统性错误在这篇博文中，我们介绍了 Domino，这是一种发现机器学习模型系统性错误的新方法。我们还讨论了定量评估 Domino 等方法的框架。链接：📄 论文（ICLR 2022）🌍 更长的演练💻 GitHub📘 文档📒 Google Colab 实现高总体准确率的机器学习模型通常会在连贯的验证数据切片上犯系统性错误。什么是切片？切片是一组具有共同特征的数据样本。例如，在大型图像数据集中，老式汽车的照片构成一个切片（即切片中的所有图像都有一个共同的主题）。术语切片有许多您可能更熟悉的同义词（例如子组、子群体、地层）。这些术语基本上可以互换，但在本文中我们将坚持使用“切片”。如果某个模型在某个切片上的数据样本表现明显低于其整体表现，那么我们就说该模型在某个切片上表现不佳。寻找表现不佳的切片是模型评估中一个关键但经常被忽视的部分。当从业者意识到他们的模型在哪些切片上表现不佳时，他们可以在模型部署方面做出更明智的决策。这在医学等安全至关重要的环境中尤为重要：在小患者身上表现不佳的诊断模型可能不应该部署在儿科医院。切片意识还可以帮助实践
来源:斯坦福人工智能实验室博客