代理AI:实施长期内存

问题和当前解决方案首先出现在数据科学方面。

来源:走向数据科学

,您知道他们是无国籍的。如果您还没有,请认为它们没有短期记忆。

是电影纪念品的一个例子,在那里,主人公不断地想起发生了什么事,并使用带有事实的后笔记来拼凑他下一步该做什么。

纪念品

要与LLMS交谈,我们需要每次互动时都会不断提醒他们对话。

实现我们所谓的“短期内存”或状态很容易。我们只是抓住了一些以前的问题回答对,然后将它们包含在每个呼叫中​​。

长期记忆是完全不同的野兽。

为了确保LLM可以提起正确的事实,了解以前的对话并连接信息,我们需要构建一些相当复杂的系统。

有效的内存解决方案我们需要不同的东西|作者的图像

本文将解决问题,探索建立高效系统所需的内容,仔细研究不同的建筑选择,并查看可以帮助我们帮助的开源和云提供商。

通过解决方案思考

让我们首先浏览为LLM的建立记忆的思维过程,以及我们需要的效率。

我们需要的第一件事是让LLM能够拉出旧消息来告诉我们说了什么。因此,我们可以问一下:“您告诉我要去斯德哥尔摩去的那家餐厅的名字是什么?”这将是基本信息提取。

基本信息提取。

如果您是构建LLM系统的新手,那么您的第一个想法可能只是将每个内存转移到上下文窗口中,并让LLM理解它。

这种策略使LLM很难弄清楚什么是重要的,什么不是重要的,这可能会导致其幻觉答案。

您的第二个想法可能是存储每条消息以及摘要,并在查询中使用混合搜索来获取信息。

使用普通检索进行内存|作者的图像
时间推理。

组织解决方案

袖珍大小的事实