使用高地形任务治理量最大化高地形群集利用率细粒度配额分配

我们很高兴地宣布高元素和内存配额分配的一般可用性,并宣布高架任务治理。借助此功能,客户可以优化Amazon弹性Kubernetes服务(Amazon EKS)上的Amazon Sagemaker HyperPod群集利用,分发公平用法,并支持不同团队或项目之间的有效资源分配。有关更多信息,请参见HyperPod Task Task Ponsectance […]

来源:亚马逊云科技 _机器学习
我们很高兴地宣布具有HyperPOD任务治理的细粒度计算和内存配额分配的一般可用性。借助此功能,客户可以在Amazon Elastic Kubernetes Service(Amazon EKS)上优化Amazon Sagemaker HyperPod群集利用率,分发公平的用法以及在不同的团队或项目上支持有效的资源分配。 有关更多信息,请参阅高架能任务治理最佳实践,以最大化Sagemaker HyperPod Task Confectance.com puta Croppa Management是一种管理机制,该机制设置并控制了跨用户,团队和项目的资源限制。它控制公平的资源分布,防止单个实体垄断集群资源,从而优化整体计算效率。由于预算约束,客户可能希望公平地分配计算资源。例如,数据科学家可能需要一些GPU(例如四个H100 GPU)才能开发模型,但不需要整个实例的计算能力。在其他情况下,客户的计算资源有限,但许多团队的资源有限,他们希望在这些团队中公平地共享计算资源,因此没有闲置的容量未使用。在超音台任务治理中,管理员现在可以将Granular GPU,VCPU和VCPU内存分配给团队和项目,并根据其优先的策略为整个实例资源。关键功能包括按实例类型和家庭或硬件类型(支持Trainium和Nvidia GPU)的GPU级配额分配,以及可选的CPU和内存分配,以进行微调的资源控制。管理员还可以定义一个团队以进行公平共享的闲置计算分配。“有了各种各样的边境AI数据实验和生产管道,能够使Sagemaker HypyPod HypyPod群集利用最大化。