详细内容或原文请订阅后点击阅览
LaDiR：潜在扩散增强了文本推理的法学硕士
大型语言模型 (LLM) 通过思想链 (CoT) 生成展示其推理能力。然而，LLM 的自回归解码可能会限制以整体方式重新审视和完善早期代币的能力，这也可能导致对不同解决方案的低效探索。在本文中，我们提出了LaDiR（潜在扩散推理器），这是一种新颖的推理框架，它将连续潜在表示的表达能力与现有法学硕士潜在扩散模型的迭代细化能力相结合。我们首先构建一个结构化的潜在推理空间……
来源:Apple机器学习研究大型语言模型 (LLM) 通过思想链 (CoT) 生成展示其推理能力。然而，LLM 的自回归解码可能会限制以整体方式重新审视和完善早期代币的能力，这也可能导致对不同解决方案的低效探索。在本文中，我们提出了LaDiR（潜在扩散推理器），这是一种新颖的推理框架，它将连续潜在表示的表达能力与现有法学硕士潜在扩散模型的迭代细化能力相结合。我们首先使用变分自动编码器（VAE）构建一个结构化的潜在推理空间，将文本推理步骤编码为思想标记块，保留语义信息和可解释性，同时提供紧凑但富有表现力的表示。随后，我们利用潜在扩散模型，学习使用块式双向注意掩模对潜在思想标记块进行去噪，从而通过自适应测试时间计算实现更长的视野和迭代细化。这种设计允许高效地并行生成不同的推理轨迹，从而使模型能够整体规划和修改推理过程。我们对一套数学推理和规划基准进行评估。实证结果表明，与现有的自回归、基于扩散和潜在推理方法相比，LaDiR 持续提高了准确性、多样性和可解释性，揭示了潜在扩散文本推理的新范式。