Normalizing Flows with Iterative Denoising
归一化流 (NF) 是基于可能性的经典方法系列，已重新受到关注。 TARFlow 等最近的努力表明，NF 能够在图像建模任务上取得有前景的性能，使其成为扩散模型等其他方法的可行替代方案。在这项工作中，我们通过引入迭代 TARFlow (iTARFlow) 进一步推进规范化流生成模型的状态。与扩散模型不同，iTARFlow 在训练期间保持完全端到端、基于可能性的目标。在采样过程中，它执行自回归生成......
Stochastic KV Routing: Enabling Adaptive Depth-Wise Cache Sharing
为高吞吐量的 Transformer 语言模型提供服务需要缓存键值 (KV)，以避免自回归生成过程中的冗余计算。 KV 缓存的内存占用量很大，并且严重影响服务成本。这项工作旨在减少这些内存需求。虽然最近的工作主要通过沿时间轴的压缩和驱逐来减少 KV 缓存，但我们认为深度维度提供了一种正交且稳健的优化途径。尽管之前的研究表明每个层的完整缓存是多余的，但实现......
LaDiR: Latent Diffusion Enhances LLMs for Text Reasoning
大型语言模型 (LLM) 通过思想链 (CoT) 生成展示其推理能力。然而，LLM 的自回归解码可能会限制以整体方式重新审视和完善早期代币的能力，这也可能导致对不同解决方案的低效探索。在本文中，我们提出了LaDiR（潜在扩散推理器），这是一种新颖的推理框架，它将连续潜在表示的表达能力与现有法学硕士潜在扩散模型的迭代细化能力相结合。我们首先构建一个结构化的潜在推理空间……
