Amazon Sagemaker Hyperpod启动模型部署,以加速生成AI模型开发生命周期

在这篇文章中,我们宣布了亚马逊萨吉马制造商Hyperpod支持,用于从SageMaker Jumpstart部署基础模型,以及来自Amazon S3或Amazon FSX的自定义或微调模型。这种新功能使客户可以在相同的HyperPod计算资源上训练,微调和部署模型,从而最大程度地利用整个模型生命周期的资源利用率。

来源:亚马逊云科技 _机器学习
今天,我们很高兴地宣布,Amazon Sagemaker Hyperpod现在支持Amazon Sagemaker Jumpstart的部署基础模型(FMS),以及来自Amazon S3或Amazon FSX的定制或微调模型。通过此发布,您可以在相同的HyperPod计算资源上进行训练,微调和部署模型,从而最大程度地利用整个模型生命周期。自2023年推出以来,SageMaker Hyperpod已被寻求降低成本,最小化停机时间并加速市场的基础模型建设者采用。借助Amazon EKS在Sagemaker Hyperpod中的支持,您可以用EKS来编排高地形群集。像困惑,伊比克拉底,Salesforce和ArtiCul8这样的客户使用HyperPod来大规模训练其基础模型。借助新的部署功能,客户现在可以利用整个生成AI开发生命周期的高架簇从模型培训和调整到部署和扩展。许多客户使用Kubernetes作为生成AI策略的一部分,以利用其灵活性,便携性和开源框架。您可以在Sagemaker Hyperpod中使用Amazon EKS的支持来协调高架簇,以便您可以继续使用熟悉的Kubernetes工作流程,同时可以访问用于基础模型的高性能基础设施。客户受益于对自定义容器的支持,跨团队的计算资源共享,可观察性集成以及细粒度的扩展控件。 HyperPOD通过简化基础架构设置来扩展Kubernetes的力量,并允许客户更多地专注于交付不管理后端复杂性的模型。新功能:加速基础模型与Sagemaker HyperpodCustomers的模型部署更喜欢Kubernetes,更喜欢kubernetes,以便在基础上进行柔韧性,超越基础控制和良好的粉或div