详细内容或原文请订阅后点击阅览
语言模型比他们所显示的更多：从模型的角度探索幻觉
大型语言模型（LLM）通常会产生错误，包括事实上的不准确性，偏见和推理失败，共同称为“幻觉”。最近的研究表明，LLMS的内部状态编码有关其产出真实性的信息，并且可以利用此信息来检测错误。在这项工作中，我们表明LLMS的内部表示与以前所认识的更多有关真实性的信息要多。我们首先发现真实信息集中在特定的令牌上，并利用这一点……
来源:Apple机器学习研究大型语言模型（LLM）通常会产生错误，包括事实上的不准确性，偏见和推理失败，共同称为“幻觉”。最近的研究表明，LLMS的内部状态编码有关其产出真实性的信息，并且可以利用此信息来检测错误。在这项工作中，我们表明LLMS的内部表示与以前所认识的更多有关真实性的信息要多。我们首先发现真实性信息集中在特定的令牌上，并利用此属性可显着提高错误检测性能。但是，我们表明，这种错误检测器无法跨数据集概括，这意味着与先前的主张相反 - 真实性编码不是通用的，而是多方面的。接下来，我们表明内部表示也可以用于预测模型可能造成的错误类型，从而促进了量身定制的缓解策略的发展。最后，我们揭示了LLMS的内部编码和外部行为之间的差异：它们可能编码正确的答案，但始终产生错误的答案。综上所述，这些见解从模型的内部角度加深了我们对LLM错误的理解，这可以指导未来的研究有关增强错误分析和缓解的研究。
†在苹果实习期间部分完成的工作‡技术 - 以色列技术研究所§GoogleResearch
在Apple实习期间部分完成的工作 技术 - 以色列技术学院 Google Research