Speculative Decoding on CPUs: Nearly 4x Faster Token Generation with DFlash
推测性解码可以将未充分利用的 CPU 计算转化为更快的令牌生成，而无需更改模型的输出。在我们的 vLLM 测试中，DFlash 在并发数为 1 时在 Intel Xeon 6 上使用 Qwen3.5-9B 实现了 3.92 倍的自回归吞吐量。我们详细分析了加速的来源，解释了接受指标，并展示了决定推测是否有效的因素。CPU 上的推测解码：使用 DFlash 使令牌生成速度加快近 4 倍首先出现在《走向数据科学》上。
