详细内容或原文请订阅后点击阅览
在 Amazon SageMaker AI 上使用 NVIDIA Isaac Lab 扩展机器人强化学习
在这篇文章中，我们展示了如何在 Amazon SageMaker AI 上使用 NVIDIA Isaac Lab 跨两个计算选项训练 Unitree H1 人形机器人策略：Amazon SageMaker HyperPod 和 Amazon SageMaker 训练作业。
来源:亚马逊云科技 _机器学习物理人工智能正在从研究转向生产。机器人在部署到工厂、仓库和物流中心之前，越来越多地接受高保真模拟训练，因为现实世界中的训练缓慢、昂贵且通常不安全，而 GPU 加速模拟可以将数月的学习时间压缩为数小时。
这将挑战转移到了计算上。针对复杂行为（例如崎岖地形上的人形运动）的强化学习 (RL) 属于计算密集型任务，单节点训练运行时间从几小时到几天不等。机器人团队需要在研究过程中快速迭代，并运行生产级、长期训练作业，而无需承担维护计算集群的操作负担。
在这篇文章中，我们展示了如何使用 NVIDIA Isaac Lab 在 Amazon SageMaker AI 上跨两个计算选项训练 Unitree H1 人形机器人策略：Amazon SageMaker HyperPod 和 Amazon SageMaker 训练作业。该解决方案的完整代码可在随附的 GitHub 存储库中找到。
图片来源：NVIDIA
1. 为什么选择 Amazon SageMaker AI 进行物理 AI 训练
Amazon SageMaker AI 消除了管理机器学习 (ML) 训练计算基础设施的繁重工作。该服务提供实例、配置驱动程序和网络、监控节点运行状况，并在作业完成时拆除资源，因此工程工作主要集中在开发机器人策略上，而不是其底层的基础设施上。这对于机器人策略强化学习尤其重要，因为它需要大量基础设施：运行时间长，GPU 密集型，并且通常分布在多个节点上。开发通常涉及两个阶段：用于调整奖励函数、观察空间和模型架构的短期迭代实验，以及训练调整后的配置以实现收敛的较长生产运行。 SageMaker AI 提供了两种适合这些阶段的计算选项。