A Small-Scale System for Autoregressive Program Synthesis Enabling Controlled Experimentation
使用经过训练来完成真实程序的小型模型可以进行哪些研究？通常，研究人员通过大型语言模型（LLM）研究程序合成，这会带来一些问题，例如了解分布内或分布外的内容、了解微调效果、理解标记化的效果以及对进行实验的计算和存储提出更高的要求。我们提出了一个名为 Cadmus 的系统，其中包括一个整数虚拟机 (VM)、一个由不同任务的真实程序组成的数据集，以及一个经过 200 美元以下计算训练的自回归变压器模型……
Learning to Evict from Key-Value Cache
大型语言模型 (LLM) 规模的不断增长给高效推理带来了挑战，这主要是由于自回归键值 (KV) 缓存的内存需求。现有的逐出或压缩方法可以降低成本，但依赖于启发法，例如新近度或过去的注意力分数，它们只能作为代币未来效用的间接代理，并引入计算开销。我们将 KV 缓存驱逐重新定义为强化学习 (RL) 问题：学习根据令牌对未来解码的预测有用性对令牌进行排名。为此，我们引入了 KV 策略（KVP），这是一个......的框架
Principled Coarse-Grained Acceptance for Speculative Decoding in Speech
推测性解码通过让快速草稿模型提出由更大的目标模型验证的标记来加速自回归语音生成。然而，对于生成声学标记的语音法学硕士来说，精确的标记匹配过于严格：许多离散标记在声学或语义上是可互换的，从而降低了接受率并限制了加速。我们引入了原则性粗粒度（PCG），它在从目标模型的嵌入空间派生的声学相似性组（ASG）级别验证建议。通过将每个标记的概率质量分布在...
DiffuCoder: Understanding and Improving Masked Diffusion Models for Code Generation
扩散大语言模型 (dLLM) 是自回归 (AR) 模型的引人注目的替代品，因为它们的去噪模型在整个序列上运行。 dLLM 的全局规划和迭代细化功能对于代码生成特别有用。然而，目前 dLLM 在编码方面的训练和推理机制仍有待探索。为了揭开 dLLM 解码行为的神秘面纱并释放其编码潜力，我们系统地研究了它们的去噪过程和强化学习 (RL) 方法。我们在 130B 上训练 7B dLLM，\textbf{DiffuCoder}...
