Accelerating LLM Inference on NVIDIA GPUs with ReDrafter
加速 LLM 推理是一个重要的 ML 研究问题，因为自回归 token 生成计算成本高且相对较慢，而提高推理效率可以减少用户的延迟。除了持续努力加速 Apple 芯片上的推理之外，我们最近在加速 NVIDIA GPU 的 LLM 推理方面取得了重大进展，该 GPU 广泛用于整个行业的生产应用程序。今年早些时候，我们发布并开源了 Recurrent Drafter (ReDrafter)，这是一种新颖的推测解码方法，达到了最先进的水平……
