HyperPod关键词检索结果

在 SageMaker HyperPod 上使用 NVIDIA Cosmos 3 构建物理 AI 模型工厂

Build a Physical AI model factory with NVIDIA Cosmos 3 on SageMaker HyperPod

构建物理人工智能系统需要连续的管道,而不是单一的训练工作。本文展示了如何在 Amazon EKS 上的持久、弹性 Amazon SageMaker HyperPod 集群上运行该模型工厂(合成数据生成、训练后和使用 NVIDIA Cosmos 3 进行闭环评估),并以 GPU 吞吐量作为重要指标。

使用 InstantStart 运行代理驱动的 Amazon SageMaker HyperPod 操作

Run agent-driven Amazon SageMaker HyperPod operations with InstantStart

HyperPod InstantStart 是一个开源控制平面,它将 Amazon EKS 编排与 Amazon SageMaker HyperPod 的托管功能组合在一起。它通过 Web 界面和 AI 代理驱动相同的受保护操作,将集群引导、容量、训练、推理和存储转变为可靠的代理驱动的基础设施。

使用 Curvine 在 Amazon SageMaker HyperPod 上为大型 LLM 提供分层 KV 缓存

Tiered KV cache for large LLMs on Amazon SageMaker HyperPod with Curvine

大规模运行大型语言模型推理会迫使 KV 缓存进行权衡:GPU 实例规模过大或首次生成令牌的时间过长。本文在 Amazon SageMaker HyperPod 上构建了一个分层 KV 缓存,将缓存扩展到使用 Curvine 的共享分布式 NVMe 池中,因此副本可以在经济高效的实例上以接近本地磁盘的速度重用缓存。

在 Amazon SageMaker HyperPod 和 Amazon EKS 上部署 Kimi K3

Deploying Kimi K3 on Amazon SageMaker HyperPod and Amazon EKS

本文将介绍如何使用两种方法在 AWS 上部署 Kimi K3:Amazon SageMaker HyperPod 和 Amazon Elastic Kubernetes Service (Amazon EKS) 集群。