详细内容或原文请订阅后点击阅览
上下文腐烂:为什么 Claude 代码会话衰退以及如何治理它们
长时间的会话在达到任何代币限制之前就会悄悄地消失。以下是原因,以及如何管理 Claude Code 中的上下文。帖子上下文腐烂:为什么 Claude Code 会话衰退,以及如何管理它们首先出现在《走向数据科学》上。
来源:走向数据科学上下文窗口是每个前沿模型的核心特征。以令牌来衡量,它通常由系统提示和不断增长的提示、响应和工具调用历史组成,可以追溯到限制允许的范围内。
对于模型生成的每个标记,它首先回顾整个上下文窗口。这是它记忆聊天会话的唯一机制。该模型从一个回合到下一个回合不保持持久的内部状态。正如我们将看到的,上下文窗口不是被动存储。其中的所有内容都有可能影响模型的输出,无论好坏。
这是一种常见的经历:会话开始时很强劲,然后慢慢失去线索。由上下文窗口的内容驱动的模型输出质量的逐渐下降通常称为上下文腐烂。
我们可以将上下文腐烂的来源分为两类。第一个是内在腐烂:模型在生成输出时如何在上下文窗口中应用注意力的属性。我们将在下面详细介绍,但目前的关键要点是:无论上下文有多么完美的相关性,模型回忆和区分信息的能力都是不完善的。
第二类我们称之为内容腐烂。这是整个会话中陈旧的、错误的和矛盾的信息的积累。模型不断返回的失败方法,或者十几个毫无结果的切线工具调用。所有这些都经过反复重新处理,慢慢地形成了会议的结果。
幸运的是,与内在的腐烂不同,内容腐烂是我们需要管理的——学习控制它可以将像 Claude Code 这样的工具从偶尔令人沮丧变成始终敏锐。
内在腐烂:模型层
所规定的上下文限制不是性能悬崖;侵蚀是渐进的,而且很早就开始了。
因此,对于任何试图完成工作的人来说,工作假设是:您的有用上下文预算远低于任何规定的限制。
