详细内容或原文请订阅后点击阅览
CLaRa：通过连续潜在推理连接检索和生成
检索增强生成（RAG）利用外部知识增强了大型语言模型（LLM），但仍然受到长上下文和不相交的检索生成优化的影响。在这项工作中，我们提出了 CLaRa（连续潜在推理），这是一个在共享连续空间中执行基于嵌入的压缩和联合优化的统一框架。为了获得语义丰富且可检索的压缩向量，从而减少输入生成器的文档长度，我们引入了 SCP，一种基于问答和释义的密钥保留数据合成框架......
来源:Apple机器学习研究检索增强生成（RAG）利用外部知识增强了大型语言模型（LLM），但仍然受到长上下文和不相交的检索生成优化的影响。在这项工作中，我们提出了 CLaRa（连续潜在推理），这是一个在共享连续空间中执行基于嵌入的压缩和联合优化的统一框架。为了获得语义丰富且可检索的压缩向量，从而减少输入生成器的文档长度，我们引入了 SCP，一种基于问答和释义监督的密钥保留数据合成框架。然后，CLaRa 通过单一语言建模损失对重排序器和生成器进行端到端训练，并使用可微分的 top-k 估计器使梯度流经两个模块。理论上，这种统一优化使检索相关性与答案质量保持一致。跨多个 QA 基准的实验表明，即使文本压缩率为 16，CLaRa 也能实现最先进的压缩和重新排名性能，优于基于文本的微调基准。