详细内容或原文请订阅后点击阅览
根据代币进行训练，根据概念进行校准：法学硕士中语义校准的出现
大型语言模型 (LLM) 通常缺乏对其输出有意义的置信度估计。虽然众所周知，基础法学硕士会表现出下一个令牌校准，但目前尚不清楚他们是否能够评估其响应超出令牌级别的实际含义的信心。我们发现，当使用某种基于采样的语义校准概念时，基础法学硕士的校准效果非常好：它们可以有意义地评估开放域问答任务的置信度，尽管没有经过明确的培训。我们的主要理论贡献建立了一种机制，解释为什么语义......
来源:Apple机器学习研究大型语言模型 (LLM) 通常缺乏对其输出有意义的置信度估计。虽然众所周知，基础法学硕士会表现出下一个令牌校准，但目前尚不清楚他们是否能够评估其响应超出令牌级别的实际含义的信心。我们发现，当使用某种基于采样的语义校准概念时，基础法学硕士的校准效果非常好：它们可以有意义地评估开放域问答任务的置信度，尽管没有经过明确的培训。我们的主要理论贡献建立了一种机制，解释为什么语义校准作为下一个令牌预测的副产品出现，利用校准和局部损失最优性之间的最新联系。该理论依赖于“B 校准”的一般定义，这是通过选择等价类（语义或其他）参数化的校准概念。这种理论机制导致了可测试的预测：当基础法学硕士可以在生成响应之前轻松预测自己在语义答案类别上的分布时，它们将在语义上进行校准。我们陈述了这一预测的三个含义，并通过实验进行了验证：(1) 基础法学硕士在问答任务中进行了语义校准，(2) RL 指令调整系统地打破了这种校准，(3) 思想链推理打破了校准。据我们所知，我们的工作为法学硕士何时以及为何出现语义校准提供了第一个原则性的解释。