详细内容或原文请订阅后点击阅览
您的1M+上下文窗口llm不如您想象的
为什么工作记忆比原始上下文窗口sizethe发布您的1M+上下文窗口llm的功能要比您想象的首先在数据科学上首先出现的功能更强大。
来源:走向数据科学现在能够处理大量输入 - 它们的上下文窗口范围在200k（Claude）和2M令牌之间（Gemini 1.5 Pro）。那是280到2800页的文本！这些庞大的上下文窗口表明，在大多数实际情况下，我们不必太担心在输入方面达到LLM限制。但是，我们的最新研究表明，这不是事实。对于许多复杂上下文的问题，LLM的有效工作记忆可能会被相对较小的输入超载 - 在我们达到上下文窗口限制之前。
工作记忆可以超载我们的论文介绍了一种新的计算理论模型，以解释为什么会发生这种情况，并在实验中表明我们的理论预测与现实世界的结果相匹配。我们的发现最终可以解释先前报道的LLM失败，例如LLM如何无法检测情节漏洞，难以理解长篇小说或在文件相似时错误地回答问题。
解释 llm失败 无法检测图孔 努力理解长篇小说 当文档相似时，错误地回答问题下面我们通过回答以下问题来列出详细信息：
- 如果我们超过LLM的工作内存会发生什么？我的任务需要大量工作记忆吗？如果我的任务需要大量工作记忆我该怎么办？为什么某些任务需要大量的工作记忆？
如果我们超过LLM的工作记忆会发生什么？
直观地说，需要大量上下文才能正确回答问题的任务也需要LLM跟踪大量信息。由于需要正确推理答案的理由所需的大小，因此LLM更有可能犯错，因为它无法将相关信息保留在其有限的工作记忆中。
x7
bapo-hard
f
a
g
b