为什么应该赢得 RAG 复杂性

构建 RAG 管道的框架,该框架引入了复杂性以响应观察到的故障模式,从词汇和混合搜索到重新排序和代理信息搜索为什么应该赢得 RAG 复杂性的帖子首先出现在走向数据科学上。

来源:走向数据科学

在过去的几年里,检索增强生成 (RAG) 架构已经远远超出了原始的检索和生成模式。当代系统越来越多地结合密集和词汇检索、查询重写、排名融合、神经重新排名、问题分解、纠正检索、反射和基于代理的编排。这些技术可以显着提高复杂信息查找任务的性能。然而,它们也经常在独立评估底层检索子系统之前引入。

本文着眼于如何引入 RAG 复杂性来响应测量的检索失败模式,而不是采用架构默认值。最近的研究表明,相对传统的检索方法仍然具有很强的竞争力:词汇检索在专业领域表现良好,重新排序的混合检索提供了坚实的基线,甚至代理系统在建立在更强的检索之上时也表现得更好。

这并不是说代理 RAG 是不必要的。相反,检索质量和代理推理解决问题的不同部分:当可以通过明确定义的检索步骤恢复证据时,主要关注的通常是搜索质量;当检索是迭代的、多跳的或依赖于中间证据时,代理检索变得更加有用。

···

RAG 架构的复杂性不断增加

以下是现代 RAG 系统中越来越常见的模式:

出现检索问题。在确定检索本身是否正常运行之前,该架构会累积查询重写、路由、多次检索传递、反射、纠正检索、决定是否需要额外证据的代理、重新排序模型,有时还需要另一个负责验证最终答案的模型。

如果主要故障是:

未检索到所需的证据。

参数范围更窄:

和:

至: