Maximize HyperPod Cluster utilization with HyperPod task governance fine-grained quota allocation
我们很高兴地宣布高元素和内存配额分配的一般可用性,并宣布高架任务治理。借助此功能,客户可以优化Amazon弹性Kubernetes服务(Amazon EKS)上的Amazon Sagemaker HyperPod群集利用,分发公平用法,并支持不同团队或项目之间的有效资源分配。有关更多信息,请参见HyperPod Task Task Ponsectance […]
Train and deploy models on Amazon SageMaker HyperPod using the new HyperPod CLI and SDK
在这篇文章中,我们演示了如何使用新的Amazon Sagemaker HyperPod CLI和SDK来简化通过使用完全碎片数据并行的分布式培训(FSDP)(FSDP)和模型部署进行推理的分布式培训训练和部署大型AI模型的过程。这些工具通过直接命令提供了简化的工作流程,以实现常见任务,同时通过SDK为更复杂的要求提供灵活的开发选项,以及全面的可观察性功能和准备生产的部署功能。
Announcing the new cluster creation experience for Amazon SageMaker HyperPod
借助新的群集创建体验,您可以单击一键创建SageMaker HyperPod群集,包括所需的先决条件AWS资源,并自动使用规定默认值。在这篇文章中,我们探索了亚马逊萨吉式制造商Hyperpod的新集群创建体验。
Amazon SageMaker HyperPod enhances ML infrastructure with scalability and customizability
在这篇文章中,我们在SageMaker Hyperpod中介绍了三个功能,可提高ML基础架构的可扩展性和可定制性。连续供应提供灵活的资源供应,以帮助您更快地开始培训和部署模型,并更有效地管理群集。使用自定义AMIS,您可以将ML环境与组织安全标准和软件要求保持一致。
Advanced fine-tuning methods on Amazon SageMaker AI
在AWS上微调ML模型时,您可以为您的特定需求选择合适的工具。 AWS为数据科学家,ML工程师和业务用户提供了一系列全面的工具,以实现其ML目标。 AWS建立了支持各种ML复杂性的解决方案,从简单的Sagemaker培训工作进行FM微调到萨吉马制造商Hyperpod的力量进行尖端研究。我们邀请您探索这些选项,从适合您当前需求的内容开始,并随着这些需求的变化而发展您的方法。
New capabilities in Amazon SageMaker AI continue to transform how organizations develop AI models
在这篇文章中,我们分享了Sagemaker AI中的一些新创新,这些创新可以加速您的构建和培训AI模型。这些创新包括SageMaker Hyperpod中的新可观察性功能,在HyperPod上部署JumpStart模型的能力,从本地开发环境中与SageMaker AI的远程连接以及完全管理的MLFLOW 3.0。
Multi-account support for Amazon SageMaker HyperPod task governance
在这篇文章中,我们讨论了具有多个帐户的企业如何访问共享的Amazon Sagemaker HyperPod群集以运行其异质工作负载。我们使用SageMaker HyperPod任务治理来启用此功能。
Customize DeepSeek-R1 671b model using Amazon SageMaker HyperPod recipes – Part 2
在这篇文章中,我们使用食谱来微调原始的DeepSeek-R1 671b参数模型。我们通过使用Sagemaker培训工作和Sagemaker Hyperpod的逐步实施这些食谱来证明这一点。
Ray jobs on Amazon SageMaker HyperPod: scalable and resilient distributed AI
Ray是一个开源框架,使创建,部署和优化分布式Python作业变得直接。在这篇文章中,我们演示了在Sagemaker Hyperpod上运行射线作业的步骤。
PEFT fine tuning of Llama 3 on SageMaker HyperPod with AWS Trainium
在这篇博文中,我们展示了如何使用 AWS Trainium 上的 PEFT 和 SageMaker HyperPod 对 Meta Llama 3 模型进行高效的监督微调。我们使用 HuggingFace 的 Optimum-Neuron 软件开发工具包 (SDK) 将 LoRA 应用于微调作业,并使用 SageMaker HyperPod 作为主要计算集群在 Trainium 上执行分布式训练。使用 LoRA 监督微调 Meta Llama 3 模型,您可以进一步将微调模型的成本降低高达 50%,并将训练时间缩短 70%。
Fastweb 是意大利领先的电信运营商之一,很早就认识到了 AI 技术的巨大潜力,并于 2019 年开始在该领域进行投资。在本文中,我们将探讨 Fastweb 如何利用尖端的 AI 和 ML 服务踏上他们的 LLM 之旅,克服挑战并在此过程中解锁新机遇。
Implementing login node load balancing in SageMaker HyperPod for enhanced multi-user experience
在本文中,我们探讨了在基于 Slurm 的 HyperPod 集群中跨登录节点实现负载平衡的解决方案。通过在所有可用节点上均匀分布用户活动,这种方法为所有用户提供了更一致的性能、更好的资源利用率和更流畅的体验。我们将指导您完成设置过程,并提供在 HyperPod 集群中实现有效负载平衡的实用步骤。
Speed up your cluster procurement time with Amazon SageMaker HyperPod training plans
在本文中,我们将演示如何使用 Amazon SageMaker HyperPod 训练计划来缩短训练集群采购等待时间。我们将逐步指导您如何使用 (AWS CLI) 或 AWS 管理控制台查找、查看和创建适合您特定计算和时间线需求的最佳训练计划。我们将进一步指导您使用训练计划提交 SageMaker 训练作业或创建 SageMaker HyperPod 集群。
Scale ML workflows with Amazon SageMaker Studio and Amazon SageMaker HyperPod
Amazon SageMaker Studio 和 Amazon SageMaker HyperPod 的集成提供了一种简化的解决方案,为数据科学家和 ML 工程师提供了一个全面的环境,支持从开发到大规模部署的整个 ML 生命周期。在这篇文章中,我们将引导您完成使用 SageMaker Studio 和 SageMaker HyperPod 扩展 ML 工作负载的过程。
Generative AI foundation model training on Amazon SageMaker
在本文中,我们将探讨组织如何使用 AWS 托管服务(例如 Amazon SageMaker 训练作业和 Amazon SageMaker HyperPod)以经济高效的方式定制和调整 FM。我们将讨论这些强大的工具如何帮助组织优化计算资源并降低模型训练和微调的复杂性。我们将探讨如何做出明智的决定,确定哪种 Amazon SageMaker 服务最适合您的业务需求和要求。
Introducing Amazon EKS support in Amazon SageMaker HyperPod
这篇文章专为 Kubernetes 集群管理员和 ML 科学家设计,概述了 SageMaker HyperPod 引入的关键功能,以促进在 EKS 集群上进行大规模模型训练。