详细内容或原文请订阅后点击阅览
大型语言模型中的上下文腐烂
为什么重要：上下文腐烂使得法学硕士在窗口填满之前就失败了。了解原因、如何测量以及确保答案可靠的上下文工程修复。
来源:人工智能+简介
大型语言模型中的上下文腐烂描述了随着提示随着时间的推移变得越来越长和越来越混乱，答案质量如何悄然下降。在一项具有里程碑意义的 2025 年研究中，Chroma Research 测试了 18 个前沿模型，发现每个模型都会随着输入长度的增加而退化，这一结果在 Chroma context rot 报告中进行了详细说明。团队假设一百万个代币窗口意味着一百万个可用代币，但测量数据显示可靠性的下滑远远早于预期。具有 200,000 个令牌窗口的模型在执行困难任务时可能会在 50,000 个令牌甚至更少的情况下开始失去准确性。本指南解释了领导团队现在依赖的基本机制、测量方法和缓解策略。它既可以帮助人工智能从业者调整生产流程，也可以帮助企业领导者决定这些系统的可信度。您将理解为什么为模型提供更多上下文通常会使其输出更差而不是更好。
关于法学硕士中 Context Rot 的快速解答
什么是大型语言模型中的上下文腐烂？
大型语言模型中的上下文腐烂是指随着输入长度的增长，输出质量明显下降，在上下文窗口实际填满之前就出现了。
上下文腐烂与上下文窗口溢出相同吗？
不会。溢出会截断超过标记限制的文本，而大型语言模型中的上下文腐烂会使准确度大大降低到远低于该限制，有时低于该限制四到十倍。
如何减少大型语言模型中的上下文腐烂？
您可以通过检索、重新排序、压缩和分块来管理提示，为模型提供可用的最小高信号集，从而对抗上下文腐烂。
要点
来自 AIplusInfo 的互动
估计您的安全有效环境
80K
60%