VLLM关键词检索结果

亚马逊云科技 _机器学习
2025年12月22日 18:32

在 Amazon SageMaker AI 上部署 Mistral AI 的 Voxtral

Deploy Mistral AI’s Voxtral on Amazon SageMaker AI

在本文中，我们演示了使用 vLLM 和自带容器 (BYOC) 方法在 Amazon SageMaker AI 终端节点上托管 Voxtral 模型。 vLLM 是一个用于服务大型语言模型 (LLM) 的高性能库，具有分页注意力以改进内存管理和张量并行性，以便跨多个 GPU 分发模型。