AI 代理的上下文工程:深入探讨

如何优化上下文,这是 AI 代理宝贵的有限资源《AI 代理的上下文工程:深入探究》一文首先出现在《走向数据科学》上。

来源:走向数据科学

更好的模型、更大的上下文窗口和更强大的代理。但大多数现实世界的失败并不是来自模型能力——而是来自上下文的构建、传递和维护方式。

这是一个难题。空间正在快速发展,技术仍在不断发展。其中大部分仍然是一门实验科学,取决于背景(双关语)、限制和您所在的环境。

在我构建多智能体系统的工作中,出现了一种反复出现的模式:性能与您为模型提供的上下文的多少无关,而更多地与您塑造模型的精确程度有关。

这篇文章试图将我的学习成果提炼成您可以使用的东西。

它重点关注将上下文作为有限资源进行管理的原则 ——决定包含什么、排除什么以及如何构建信息,以便代理随着时间的推移保持连贯、高效和可靠。

因为归根结底,最强的特工并不是见识最多的特工。他们是那些在正确的时间、以正确的形式看到正确的事物的人。

术语

上下文工程

情境工程是一门为法学硕士提供正确信息、工具和格式以使其完成任务的艺术。良好的背景工程意味着找到尽可能最小的高信号标记集,使法学硕士获得良好结果的可能性最高。

在实践中,良好的上下文工程通常可以归结为四个步骤。您将信息卸载到外部系统(上下文卸载),因此模型不需要在带内携带所有内容。您可以动态检索信息,而不是预先加载所有信息(上下文检索)。您可以隔离上下文,以便一个子任务不会污染另一子任务(上下文隔离)。您可以在需要时减少历史记录,但只能以保留代理稍后仍需要的内容的方式(上下文减少)。

上下文腐烂

上下文压缩

上下文压缩是上下文腐烂的一般答案。

代理线束

代理之间的通信

总结