详细内容或原文请订阅后点击阅览
在 Amazon SageMaker HyperPod 上为 Amazon Nova 部署多轮强化学习基础设施
在本文中，您将在 Amazon SageMaker HyperPod 上使用 Amazon Nova Forge 部署用于多回合 RL 的两阶段基础设施。最后，您将拥有一个事件驱动的管道，当您将数据上传到 Amazon Simple Storage Service (Amazon S3) 时，该管道就会开始训练。训练作业教模型玩 Wordle，这是您自己的 RL 任务的占位符。
来源:亚马逊云科技 _机器学习当您构建执行多步骤工作流程的企业代理时，您面临着基本的培训挑战。这些代理查询数据库、调用 API、交叉引用结果并从流程中的故障中恢复。任何单个操作的质量取决于几个步骤之后发生的情况。
基于人类反馈的标准强化学习 (RLHF) 可单独优化单个响应。这种方法不适合多步骤工作流程，在多步骤工作流程中，代理在继续操作之前验证数据，以防止一系列下游错误。多轮强化学习 (RL) 通过优化整个交互序列来解决这一差距。您的代理通过反复试验来学习工具编排、错误恢复和多步骤推理。有监督微调（SFT）、检索增强生成（RAG）和持续预训练是互补的技术，但它们通常不会自行教授这些顺序决策能力。
Amazon SageMaker AI 还提供多轮强化学习作为完全托管的无服务器功能，将该技术引入 SageMaker 训练作业，无需管理基础设施。当您需要完全控制训练堆栈时：您自己的代理环境、自定义编排或特定实例配置。对于这些情况，Amazon SageMaker HyperPod 上的 Amazon Nova 的多回合 RL 基础设施为您提供计算、编排和奖励路由层，以在这些复杂的工作流程上训练代理。 Amazon Nova 提供前沿情报和行业领先的性价比，而 Amazon Nova Forge 则通过多轮 RL 训练功能扩展了这一点。
在本文中，您将在 Amazon SageMaker HyperPod 上使用 Amazon Nova Forge 部署用于多回合 RL 的两阶段基础设施。最后，您将拥有一个事件驱动的管道，当您将数据上传到 Amazon Simple Storage Service (Amazon S3) 时，该管道就会开始训练。训练作业教模型玩 Wordle，这是您自己的 RL 任务的占位符。