详细内容或原文请订阅后点击阅览
再见,感谢您提供所有背景信息
上周,我在 Radar 的编辑 Mike Loukides 读完关于上下文管理的三部曲的第三部分后,我收到了一个非常有趣的问题。 “我读到的另一个问题,”迈克问道,“模型倾向于忽略上下文的中间部分。我已经看到了这一点,特别是对于带有 [...]
来源:O'Reilly Media _AI & ML上周,我在 Radar 的编辑 Mike Loukides 读完关于上下文管理的三部曲的第三部分后,我收到了一个非常有趣的问题。 “我读到的另一个问题,”迈克问道,“模型倾向于忽略上下文的中间。我已经看到了这一点,特别是对于具有非常大的上下文窗口的模型。对此有什么可说的吗?”
很好的问题,迈克,是的,有。在同一封电子邮件中,他指出,清除上下文并重新加载重要的内容可以很好地处理发生时的“忽略中间”问题,但这显然是权宜之计。
值得更深入地研究当人工智能开始忘记其上下文中的内容时实际发生的情况,因为问题比乍一看更深刻(也更有趣!)。事实证明,法学硕士如何管理环境存在一个基本问题,我们仍然作为一个行业来了解它。这个问题被称为 U 型问题。最近,针对 U 型问题进行了很多非常有趣的研究,并且出现了一些可以帮助您解决该问题的有用技术。我必须在正在进行的人工智能驱动开发和代理工程实验中使用所有这些可能并非巧合(即使我并不总是意识到这就是我当时正在做的事情)。
当时我认为这个模型只是个白痴(可以说,这是真的,但不是重点)。原来我直接遇到了U型上下文问题。
U 形故障,以及为什么更大的窗户无法修复它
我将在这里向学术界倾斜一点,因为很多研究人员仍在了解 LLM 背景如何实际运作以及其中出现了什么行为。
帮助解决 U 形上下文问题的五种技巧
策划,而不是积累
我们应该在新的 cli 会话中运行它而不是继续我当前的
claude 代码会话有现有的上下文吗?
