vLLM关键词检索结果

2026年4月15日 15:20

通过 AWS Trainium 和 vLLM 上的推测性解码加速解码繁重的 LLM 推理

Accelerating decode-heavy LLM inference with speculative decoding on AWS Trainium and vLLM

在本文中，您将了解推测性解码的工作原理以及它为何有助于降低 AWS Trainium2 上每个生成令牌的成本。

查看详细页面

2026年3月13日 19:27

P-EAGLE：通过 vLLM 中的并行推测解码实现更快的 LLM 推理

P-EAGLE: Faster LLM inference with Parallel Speculative Decoding in vLLM

在这篇文章中，我们将解释 P-EAGLE 的工作原理、如何将其集成到从 v0.16.0 (PR#32887) 开始的 vLLM 中，以及如何通过预先训练的检查点为其提供服务。

查看详细页面