详细内容或原文请订阅后点击阅览
2M 令牌上下文窗口世界中的高级检索技术第 1 部分
2M Token Context Windows 世界中的高级检索技术，第 1 部分探索 RAG 技术以提高检索准确性 Google DeepMind 启动的可视化 AI 项目。来自 Unsplash 图像。首先，我们还关心 RAG（检索增强生成）吗？Gemini Pro 可以处理惊人的 2M 令牌上下文，而 GPT-3.5 发布时我们惊讶的只有 15k。这是否意味着我们不再关心检索或 RAG 系统？基于 Needle-in-a-Haystack 基准测试，答案是，虽然需求正在减少，尤其是对于 Gemini 模型，但高级检索技术仍可显着提高大多数 LLM 的性能。基准测试结果表明，长上下文模型在表达特定见解方面表现良好。但是，当需要引用时，它们会遇到困难。这使得检索技术对于引用质量很重要的用例尤其重要（想想法律、新闻和医学应用等）。这些往往是价值更高的应用，如果缺少引用，最初的洞察就没那么有用了。此外，虽然长上下文模型的成本可能会降低，但用检索器增强较短的内容窗口模型可能是一种经济高效且延迟较低的方法，可以满足相同的用例。可以肯定地说，RAG 和检索还会继续存在一段时间，但实施一个简单的 RAG 系统可能不会给你带来太多回报。摘自《干草堆摘要：对 Lo 的挑战》
来源:走向数据科学2M Token Context Windows 世界中的高级检索技术，第 1 部分
2M Token Context Windows 世界中的高级检索技术，第 1 部分
探索 RAG 技术以提高检索准确性
首先，我们还关心 RAG（检索增强生成）吗？
与 GPT-3.5 发布时让我们惊讶的 15k 相比，Gemini Pro 可以处理惊人的 2M 令牌上下文。这是否意味着我们不再关心检索或 RAG 系统？根据 Needle-in-a-Haystack 基准测试，答案是，虽然需求正在减少，尤其是对于 Gemini 模型，但高级检索技术仍然显著提高了大多数 LLM 的性能。基准测试结果表明，长上下文模型在显示特定见解方面表现良好。然而，当需要引用时，它们会遇到困难。这使得检索技术对于引用质量很重要的用例（例如法律、新闻和医学应用等）尤为重要。这些往往是高价值应用，缺少引用会使最初的见解变得没那么有用。此外，虽然长上下文模型的成本可能会降低，但使用检索器增强较短的内容窗口模型可能是一种经济高效且延迟较低的方法，可以满足相同的用例。可以肯定地说，RAG 和检索会继续存在一段时间，但实施一个简单的 RAG 系统可能不会带来太多回报。
大海捞针基准 这使得检索技术对于引用质量很重要的用例尤其重要（想想法律、新闻和医学应用等）。 大海捞针总结：对长上下文 LLM 和 RAG 系统的挑战那么我们应该实施哪些检索技术？
预检索 - 查询重写
A：“42”
论文 可以 HyDE 可以