详细内容或原文请订阅后点击阅览
代理AI:实施长期内存
问题和当前解决方案首先出现在数据科学方面。
来源:走向数据科学,您知道他们是无国籍的。如果您还没有,请认为它们没有短期记忆。
是电影纪念品的一个例子,在那里,主人公不断地想起发生了什么事,并使用带有事实的后笔记来拼凑他下一步该做什么。
纪念品要与LLMS交谈,我们需要每次互动时都会不断提醒他们对话。
实现我们所谓的“短期内存”或状态很容易。我们只是抓住了一些以前的问题回答对,然后将它们包含在每个呼叫中。
长期记忆是完全不同的野兽。
为了确保LLM可以提起正确的事实,了解以前的对话并连接信息,我们需要构建一些相当复杂的系统。
本文将解决问题,探索建立高效系统所需的内容,仔细研究不同的建筑选择,并查看可以帮助我们帮助的开源和云提供商。
通过解决方案思考
让我们首先浏览为LLM的建立记忆的思维过程,以及我们需要的效率。
我们需要的第一件事是让LLM能够拉出旧消息来告诉我们说了什么。因此,我们可以问一下:“您告诉我要去斯德哥尔摩去的那家餐厅的名字是什么?”这将是基本信息提取。
基本信息提取。如果您是构建LLM系统的新手,那么您的第一个想法可能只是将每个内存转移到上下文窗口中,并让LLM理解它。
这种策略使LLM很难弄清楚什么是重要的,什么不是重要的,这可能会导致其幻觉答案。
您的第二个想法可能是存储每条消息以及摘要,并在查询中使用混合搜索来获取信息。