详细内容或原文请订阅后点击阅览
超越 RAG：AWS 上企业 AI 的任务感知知识压缩
传统 RAG 在跨越数百个文档的分析任务上遇到了上限。本文展示了如何使用 AWS 上的任务感知知识压缩 (TAKC) 将整个知识库预先压缩为特定于任务的表示形式，将它们缓存在多个保真度层，并将每个查询路由到正确的层，并使用您可以部署的开源实现。
来源:亚马逊云科技 _机器学习如果您使用检索增强生成 (RAG) 来执行涉及数百个文档的复杂分析任务，例如财务尽职调查或监管合规性审查，那么您可能已经达到了上限。相似性搜索会显示相关片段，但经常会错过跨文档连接。本文向您展示如何使用任务感知知识压缩 (TAKC) 来弥补这一差距，该技术可将整个知识库预先压缩为部署在 AWS 上的特定于任务的表示形式。您可以在自己的帐户中部署完整的开源实现。
任务感知知识压缩
考虑一家私募股权公司评估以 5 亿美元收购一家制造公司的情况。尽职调查团队必须分析 12 家子公司、5 年的财务报表。他们还面临 200 多份供应商合同、8 家工厂的环境合规报告以及 50 多起法律案件。当分析师询问当前供应商条款和未决诉讼的合并财务风险时，RAG 的相似性搜索无法显示该答案。数百个文档包含相关信息，并且它们之间的联系没有词汇相似性。
TAKC 通过使用法学硕士生成更短、以任务为中心的文档摘要（针对不同的任务有不同的摘要）来解决此类问题。
系统离线压缩文档，每个任务类型每个文档一次。在查询时，系统检索预压缩的表示而不是原始文档。然后，系统使用压缩版本而不是完整文档来回答问题。如果压缩表示缺乏足够的细节，查询复杂性分析器会将问题路由到保留更多上下文的较低压缩层。
多速率压缩
AWS 上的架构
该实现在 AWS 上作为两个解耦的无服务器管道运行：一个用于摄取，一个用于查询。图 1 展示了这两条管道。