详细内容或原文请订阅后点击阅览
迹线长度是推理模型中的简单不确定性信号
法学硕士的不确定性量化是解决幻觉和其他限制其可靠部署的问题的关键研究方向。在这项工作中，我们证明推理轨迹长度是大型推理模型中简单且有用的置信度估计器。通过跨多个模型、数据集和提示的综合实验，我们表明迹线长度的表现与其他零样本置信度估计器（例如言语置信度）具有可比较但互补的方式。我们的工作表明，训练后推理从根本上改变了踪迹之间的关系……
来源:Apple机器学习研究法学硕士的不确定性量化是解决幻觉和其他限制其可靠部署的问题的关键研究方向。在这项工作中，我们证明推理轨迹长度是大型推理模型中简单且有用的置信度估计器。通过跨多个模型、数据集和提示的综合实验，我们表明迹线长度的表现与其他零样本置信度估计器（例如言语置信度）具有可比较但互补的方式。我们的工作表明，训练后推理从根本上改变了迹线长度和准确性之间的关系，超越了之前的工作，即训练后会导致迹线变长（例如“过度思考”）。我们研究了走线长度作为置信信号的性能背后的机制，观察到即使在调整了问题难度和 GRPO 引起的长度偏差等混杂因素后，效果仍然存在。我们认为高熵或“分叉”代币在该机制中发挥着关键作用。我们的研究结果表明，训练后推理增强了言语表达之外的不确定性量化，并将迹线长度建立为大型推理模型的实用置信度度量。