Build a Physical AI model factory with NVIDIA Cosmos 3 on SageMaker HyperPod
构建物理人工智能系统需要连续的管道,而不是单一的训练工作。本文展示了如何在 Amazon EKS 上的持久、弹性 Amazon SageMaker HyperPod 集群上运行该模型工厂(合成数据生成、训练后和使用 NVIDIA Cosmos 3 进行闭环评估),并以 GPU 吞吐量作为重要指标。
Run agent-driven Amazon SageMaker HyperPod operations with InstantStart
HyperPod InstantStart 是一个开源控制平面,它将 Amazon EKS 编排与 Amazon SageMaker HyperPod 的托管功能组合在一起。它通过 Web 界面和 AI 代理驱动相同的受保护操作,将集群引导、容量、训练、推理和存储转变为可靠的代理驱动的基础设施。
Tiered KV cache for large LLMs on Amazon SageMaker HyperPod with Curvine
大规模运行大型语言模型推理会迫使 KV 缓存进行权衡:GPU 实例规模过大或首次生成令牌的时间过长。本文在 Amazon SageMaker HyperPod 上构建了一个分层 KV 缓存,将缓存扩展到使用 Curvine 的共享分布式 NVMe 池中,因此副本可以在经济高效的实例上以接近本地磁盘的速度重用缓存。
Deploying Kimi K3 on Amazon SageMaker HyperPod and Amazon EKS
本文将介绍如何使用两种方法在 AWS 上部署 Kimi K3:Amazon SageMaker HyperPod 和 Amazon Elastic Kubernetes Service (Amazon EKS) 集群。