详细内容或原文请订阅后点击阅览
RAG 始终是一种临时解决方法。接下来是什么？
矢量数据库是一个临时的桥梁。了解为什么下一次人工智能基础设施革命依赖于持久的神经状态和严格的延迟预算，而不是矢量数据库。后 RAG 始终是一个临时解决方法。接下来是什么？首先出现在《走向数据科学》上。
来源:走向数据科学1. 翻译大谬论
最喜欢的 RAG 系统。非常密切。
在精心构建的管道中的某个地方，语言模型正在生成丰富的高维隐藏状态。这些状态被压缩成一串字符。该字符串被不同的神经网络重新编码到不同的高维空间中。该向量被存储。随后，将另一个向量与它进行比较。获胜的绳子被拉出，粘在一起，然后交给第三个模型，该模型费力地重建这些角色的隐藏状态。
我们将此标记为“内存”。一个更诚实的名字是：一个非常复杂的、高延迟的电话游戏，其中每个玩家都是一个神经网络。
完整的链，简单地绘制：
隐藏状态 → 生成文本 → 嵌入文本 → 存储向量 → 检索向量 → 追加文本 → 重新计算隐藏状态
读取该箭头链两次。七个阶段中有两个是神经原生的。其他五个存在只是因为我们还无法持久保存神经状态本身，因此我们建立了一个完整的行业，以便在每次需要它时从文本中重建它。矢量数据库、嵌入模型、重新排序、分块启发式、检索评估器——一个围绕缺失特征进行路由的整个生态系统。
这些都不是对建造它的工程师的批评。考虑到他们拥有的原语，RAG 是正确的解决方案。但我们应该诚实地面对它是什么：一个高开销的翻译层，而不是一个内存系统。
这并不是反对 RAG。而是认为 RAG 正在解决临时系统限制，而不是代表 AI 内存的最终架构。
2. 上下文窗口错觉
我可以放心地假设，现在标准反对意见已经在读者的脑海中升温。“这些都不重要。只需使用一个 200 万个令牌的上下文窗口并将所有内容转储进去即可。”
公平的反对。另外，不。
更大的背景是一本更好的书。这不是传送你最后一个想法的方法。