详细内容或原文请订阅后点击阅览
何时需要进行多校准后处理?
校准是预测因子的一个经过充分研究的属性,可保证有意义的不确定性估计。多重校准是一个相关概念——源于算法公平性——它要求在可能复杂且重叠的受保护亚群集合(例如按种族、种族或收入定义的群体)上同时校准预测因子。我们进行了首次全面研究,评估了从简单决策树到 90 的模型在广泛的表格、图像和语言数据集上的多重校准后处理的实用性……
来源:Apple机器学习研究校准是预测变量的良好属性,可确保有意义的不确定性估计。多核电是一个相关的概念 - 起源于算法公平性 - 要求预测因子在潜在的复杂且重叠的受保护亚种群(例如由种族,种族或收入定义的群体)中同时校准。我们进行了首次全面研究,该研究评估了对从简单决策树到9000万个参数微型LLMS的模型的广泛的表格,图像和语言数据集进行多核电后处理的实用性。我们的发现可以概括如下:(1)在开箱即用的模型往往会相对多动,而无需任何其他后处理; (2)多核后处理可以帮助固有未校准的模型; (3)传统的校准措施有时可能会隐含地提供多核。更普遍地,我们还提炼了许多独立的观察结果,这些观察结果可能对于在现实世界中的多核算后处理的实用有效应用可能有用。