Residual Context Diffusion Language Models
扩散大型语言模型 (dLLM) 已成为纯自回归语言模型的有前途的替代方案，因为它们可以并行解码多个标记。然而，最先进的分块 dLLM 依赖于“重新屏蔽”机制，该机制仅解码最有信心的令牌并丢弃其余令牌，从而有效地浪费了计算。我们证明，从丢弃的令牌中回收计算是有益的，因为这些令牌保留了对后续解码迭代有用的上下文信息。有鉴于此，我们提出了残余上下文扩散（RCD），该模块......
Learning Unmasking Policies for Diffusion Language Models
扩散（大型）语言模型 (dLLM) 现在在许多任务上与自回归模型的下游性能相匹配，同时有望在推理过程中提高效率。 dLLM 的一个关键设计方面是采样程序，该程序选择在每个扩散步骤中揭开哪些标记。事实上，最近的工作发现，与随机揭露相比，置信度阈值等启发式策略可以提高样本质量和令牌吞吐量。然而，这种启发式方法也有缺点：它们需要手动调整，而且我们观察到它们的性能......
