详细内容或原文请订阅后点击阅览

在亚马逊基岩上使用自定义的亚马逊NOVA模型实施按需部署

2025年7月17日 19:36 33 Comments
X Twitter Instagram Mail

在这篇文章中，我们浏览了亚马逊基岩的自定义模型按需部署工作流程，并使用AWS管理控制台和API或AWS SDK提供逐步实施指南。我们还讨论了在亚马逊基岩上部署定制的亚马逊新星模型的最佳实践和考虑因素。

来源:亚马逊云科技 _机器学习
Amazon Bedrock通过微调和蒸馏等功能，为客户提供模型自定义功能，可为客户量身定制基础模型（FMS）的特定需求。今天，我们宣布启动针对自定义模型的按需部署，准备在Amazon Bedrock上部署。自定义型号的按需部署提供了一个附加的部署选项，该选项可以按照您的使用模式进行扩展。这种方法允许仅在需要时调用自定义模型，并实时处理请求，而无需预先处理的计算资源。按需部署选项包括一个基于令牌的定价模型，该模型基于推理过程中处理的令牌数量。这种付费的方法可以补充现有的配置吞吐量选项，使用户灵活地选择部署方法，该方法最能与其特定的工作负载要求和成本目标保持一致。在这篇文章中，我们浏览了亚马逊床上的自定义模型运营模型，并使用AWS Management Console和Apis和Apis或Apis或APIS或APIS或APIS或APIS SDKS逐步实施指南。我们还讨论了在Amazon Bedrock上部署自定义的Amazon Nova模型的最佳实践和注意事项。理解自定义模型按需部署工作流程模型自定义生命周期代表从概念化到部署的端到端旅程。此过程始于定义您的特定用例，准备和格式化适当的数据，然后通过亚马逊基岩微调或亚马逊基岩模型蒸馏来执行模型自定义。每个阶段都建立在上一个阶段，为您根据自己的需求量身定制的生产就绪的生成AI功能创造了一种途径。下图说明了此工作流程。自定义模型后，评估和部署阶段决定了如何使模型可用于推断。 T
模型的 阶段 定制的 功能 部署 Apis 客户 流程模型 亚马逊 端到端 根据 生命周期 方法 工作 实时处理 自定义 Amazon 付费的 适当的 概念化 附加的 模型 吞吐量 特定的 Bedrock APIS 预先处理 指南 保持一致 工作负载 计算资源 现有的 自己的 选项