详细内容或原文请订阅后点击阅览
通过高阶校准实现可证明的不确定性分解
我们给出了一种原则性方法，用于将模型的预测不确定性分解为具有明确语义的随机和认知组件，将它们与真实世界的数据分布相关联。虽然文献中的许多作品都提出了这样的分解，但它们缺乏我们提供的正式保证类型。我们的方法基于高阶校准的新概念，它将普通校准推广到高阶预测器的设置，这些预测器在每个点上预测标签分布的混合。我们展示了如何测量以及实现高阶校准……
来源:Apple机器学习研究我们给出了一种原则性方法，用于将模型的预测不确定性分解为随机和认知成分，并明确将它们与真实世界数据分布联系起来。虽然文献中的许多作品都提出了这样的分解，但它们缺乏我们提供的那种正式保证。我们的方法基于高阶校准的新概念，它将普通校准推广到高阶预测器的设置，这些预测器可以预测每个点的标签分布的混合。我们展示了如何使用 kkk 快照（即每个点都有 kkk 个独立条件标签的示例）来测量和实现高阶校准。在高阶校准下，保证某一点的估计随机不确定性与在所有进行预测的点上平均的真实世界随机不确定性相匹配。据我们所知，这是第一个这种类型的正式保证，它对真实世界的数据分布没有任何假设。重要的是，高阶校准也适用于现有的高阶预测器，如贝叶斯和集成模型，并为此类模型提供自然的评估指标。我们通过实验证明，我们的方法可以为图像分类产生有意义的不确定性分解。
混合物 kkk kk