详细内容或原文请订阅后点击阅览
大多数 RAG 幻觉都是检索失败：检索模块如何决定模型可以发明什么
企业文档智能 [Vol.1 #7quinquies] - 幻觉通常是垃圾。修复检索，模型就没有什么可弥补的了大多数 RAG 幻觉都是检索失败：检索砖如何决定模型可以发明什么，该帖子首先出现在《走向数据科学》上。
来源:走向数据科学一个自信的错误答案，本能是触及生成旋钮：更严格的提示，更大的模型，零温度。这将检索失败视为生成失败。该模型被交给了错误的页面并在它们上完成了工作。检索决定了模型可以发明什么，因为它决定了模型可以看到什么。
这是企业文档智能（系列哲学）的宣言。它聚焦于砖块 3（检索），并提出一个主张：大多数团队在 RAG 中记录为 LLM 幻觉的内容并不是模型发明的事实。这是一个模型，忠实地回答了上下文检索，不应该放在它前面。
📓第 1 节和第 4 节中的简单管道和关键字修复都在附带的笔记本中运行：自己解析 NIST 框架，打印备份控制在余弦下的排名，然后观察它在普通关键字计数下跳到排名 1。回购 →doc-intel/notebooks-vol1。
整个论证适合一张图片。选取一个问题和一个生成模型，将两者固定，仅更改它们前面的检索。上下文就是答案。
1. 测量：55 个答案中排名最后的答案
我们在 NIST 网络安全框架 v1.1（NIST CSWP 04162018，美国政府工作，公共领域，请参阅 NIST 版权声明）上运行了教科书式的简单管道，这是一个真正的 55 页企业标准：在每个页面中嵌入一个句子转换器，嵌入问题，按余弦相似度对页面进行排名，保留 top-k。问题是“在勒索软件攻击后，哪些备份实践可以保持数据可用？”，该框架在子类别 PR.IP-4 中明确回答了这个问题：“进行、维护和测试信息备份。”整个管道有十几行，并且在没有 API 密钥的笔记本电脑上运行。
最后一行打印 55。答案不仅在 top-k 窗口之外，而且在 top-k 窗口之外。它是整个文档中最不相似的页面，余弦分数最低。