详细内容或原文请订阅后点击阅览
使用 Amazon Bedrock AgentCore 打破上下文窗口障碍
在本文中,您将了解如何使用 Amazon Bedrock AgentCore Code Interpreter 和 Strands Agents SDK 实施递归语言模型 (RLM)。最后,您将了解如何在上下文大小没有上限的情况下处理不同长度的文档,使用 Bedrock AgentCore Code Interpreter 作为迭代文档分析的持久工作内存,以及在沙盒 Python 环境中编排次大语言模型 (sub-LLM) 调用来分析特定文档部分。
来源:亚马逊云科技 _机器学习当您分析跨越数百万个字符的文档时,您会遇到上下文窗口障碍,甚至最大的上下文窗口也无法满足要求。您的模型要么拒绝输入,要么根据不完整的信息生成答案。您如何对不合适的文档进行推理?
在本文中,您将了解如何使用 Amazon Bedrock AgentCore Code Interpreter 和 Strands Agents SDK 实施递归语言模型 (RLM)。最后,您将知道如何:
为什么上下文窗口不够
考虑一个典型的财务分析任务,即比较单个公司两年的年度报告的指标。每份报告有 300-500 页。添加分析师报告、SEC 文件和补充材料,总数达到数百万个字符。
当您将这些文档直接发送到模型时,要么输入超出模型的上下文窗口限制并且请求失败,要么输入适合但模型难以处理长输入中间的信息,通常称为“中间丢失”问题。
两种故障模式都存在,因为上下文窗口大小是一个硬性限制,仅靠提示工程无法解决。您需要一种将文档大小与模型上下文窗口分离的方法。
RLM:将上下文视为环境
RLM,由Zhang等人提出。在 arXiv:2512.24601 中,重新构建问题。 RLM 不会将整个文档输入到模型的上下文窗口中,而是将输入视为模型以编程方式与之交互的外部环境。
架构
实施
按照以下步骤使用 Amazon Bedrock AgentCore Code Interpreter 设置和运行 RLM。
