详细内容或原文请订阅后点击阅览
使用 SageMaker Inference 中新的缩减至零功能来节省成本
今天在 AWS re:Invent 2024 上，我们很高兴地宣布 Amazon SageMaker 推理终端节点的一项新功能：能够将 SageMaker 推理终端节点扩展到零个实例。这项期待已久的功能对于使用云中的 AI 和机器学习 (ML) 推理功能的客户来说是一个改变游戏规则的功能。
来源:亚马逊云科技 _机器学习今天在 AWS re:Invent 2024 上，我们很高兴地宣布 Amazon SageMaker 推理终端节点的一项新功能：将 SageMaker 推理终端节点扩展为零个实例的能力。这一期待已久的功能对于使用云端 AI 和机器学习 (ML) 推理功能的客户来说是一个改变游戏规则的功能。以前，SageMaker 推理终端节点维持最低数量的实例以提供持续可用性，即使在流量较低或没有流量的时期也是如此。借助此更新（使用 SageMaker 推理组件时可用），您可以有更多选项来使资源使用情况与您的特定需求和流量模式保持一致。
Amazon SageMaker请参阅随附的笔记本，开始使用新的缩减至零功能。
笔记本新功能扩展了管理 SageMaker 推理终端节点的可能性。它允许您配置终端节点，以便它们可以在不活动期间扩展到零个实例，从而为资源管理提供额外的工具。借助此功能，您可以将计算资源使用情况与实际需求紧密匹配，从而有可能在需求低迷时降低成本。此增强功能基于 SageMaker 中现有的自动扩展功能，可提供对资源分配的更精细控制。您现在可以将扩展策略配置为包括扩展至零，从而更精确地管理您的 AI 推理基础设施。
缩小至零功能为企业如何处理基于云的 ML 运营提供了新的机会。它提供了在各种场景中管理资源的更多选项，从开发和测试环境到具有可变流量模式的生产部署。与任何新功能一样，我们鼓励您仔细评估它如何适合您的整体架构和运营需求，同时考虑响应时间和应用程序的特定要求等因素。
可预测的流量模式 。