详细内容或原文请订阅后点击阅览
列表问题的循环工程:当答案是每一段而不是最上面的一段时
企业文档智能 [Vol.1 #12] - 大多数 RAG 管道默默失败的问题类别,以及处理这些问题的管道形状列表问题的后循环工程:当答案是每一段时,而不是最重要的一个首先出现在走向数据科学上。
来源:走向数据科学“列出本政策中的所有排除项”,然后观察返回的内容:一份干净、自信的五个排除项列表,格式精美,每一项都是真实的。该政策有九项。答案中没有任何内容暗示缺少四个,并且用户没有理由仔细检查看起来如此整洁的列表。列出问题打破了检索所基于的一个假设,即答案是最上面的段落。这里的答案是每一段。
本文是企业文档智能第三部分的一部分,该系列从四个部分构建企业 RAG 系统:文档解析、问题解析、检索和生成。它处理列表问题:检测、三种聚合策略以及表明列表何时完成的完整性信号。
📓 可运行的同伴自己运行所有三个策略:您从 toc_df 子级中提取六个 GOVERN 类别,使用一个正则表达式扫描 31 个 GV.XX-NN 代码,然后观察 list_via_semantic 捕获当基数提示为 3 时第一遍错过的第三个正则化。在 GitHub 上:doc-intel/notebooks-vol1。
大多数 RAG 基准衡量事实查找问题的性能:“生效日期是哪一天?”、“BLEU 分数是多少?”、“投保人是谁?”。一个问题,一篇文章,一个答案。管道检索正确的块,LLM 提取值,完成。
一类问题不适合这种形状:
“GOVERN 的所有子类别是什么?”
“用于训练 Transformer 的正则化技术有哪些?”
“本合同中卖方的全部义务是什么?”
“在什么情况下本条款不适用?”
1. 为什么上市会打破幼稚的 RAG
1.1 无声的失败:六分之五,信心十足
在 NIST CSF 上回答一个简单的列表问题:
“GOVERN功能下都有哪些类别?”
出现这六项:
一个简单的 RAG 管道会执行以下操作:
