Curvine关键词检索结果

亚马逊云科技 _机器学习
2026年8月12日 13:42

使用 Curvine 在 Amazon SageMaker HyperPod 上为大型 LLM 提供分层 KV 缓存

Tiered KV cache for large LLMs on Amazon SageMaker HyperPod with Curvine

大规模运行大型语言模型推理会迫使 KV 缓存进行权衡：GPU 实例规模过大或首次生成令牌的时间过长。本文在 Amazon SageMaker HyperPod 上构建了一个分层 KV 缓存，将缓存扩展到使用 Curvine 的共享分布式 NVMe 池中，因此副本可以在经济高效的实例上以接近本地磁盘的速度重用缓存。