CLaRa: Bridging Retrieval and Generation with Continuous Latent Reasoning
检索增强生成（RAG）利用外部知识增强了大型语言模型（LLM），但仍然受到长上下文和不相交的检索生成优化的影响。在这项工作中，我们提出了 CLaRa（连续潜在推理），这是一个在共享连续空间中执行基于嵌入的压缩和联合优化的统一框架。为了获得语义丰富且可检索的压缩向量，从而减少输入生成器的文档长度，我们引入了 SCP，一种基于问答和释义的密钥保留数据合成框架......
