通过无法区分的镜头进行校准

校准是预测文献中的经典概念,旨在解决以下问题:如何解释预测的概率?在我们只能观察(离散)结果的世界中,我们应该如何评估一个预测因子,该预测因素假设(连续)概率超过了可能的结果?鉴于机器学习中概率预测的无处不在,对校准的研究激增了最近的兴趣。这项调查描述了有关如何定义和衡量校准误差的基础问题的最新工作,这些措施对…

来源:Apple机器学习研究

校准是预测文献中的经典概念,旨在解决以下问题:如何解释预测的概率?在我们只能观察(离散)结果的世界中,我们应该如何评估一个预测因子,该预测因素假设(连续)概率超过了可能的结果?鉴于机器学习中概率预测的无处不在,对校准的研究激增了最近的兴趣。这项调查描述了有关如何定义和衡量校准错误的基本问题的最新工作,以及这些措施对希望使用预测做出决策的下游决策者意味着什么。出现的一个统一观点是校准是一种无法区分的形式,在预测因子和现实世界中假设的世界之间(由自然界或贝叶斯最佳预测指标)。在这种观点中,各种校准量量量量化了两类区分者或统计措施可以分开两种世界的程度。

    †东北大学