VLLM关键词检索结果

亚马逊云科技 _机器学习
2026年7月10日 15:20

SageMaker HyperPod 上 LLM 推理的分类预填充和解码

Disaggregated prefill and decode for LLM inference on SageMaker HyperPod

在本文中，我们将展示如何使用 HyperPod Inference Operator 在 Amazon SageMaker HyperPod 上通过 vLLM 实现 DPD。