详细内容或原文请订阅后点击阅览
生成式人工智能教会机器狗在新的环境中爬行
教机器人在新的环境中导航很难。您可以使用从人类录制的记录中获取的物理、现实世界数据来训练它们，但这些数据稀缺且收集成本高昂。数字模拟是一种快速、可扩展的方式来教它们做新的事情，但当机器人被拉出虚拟世界时，它们往往会失败……
来源:MIT Technology Review _人工智能研究人员使用名为 LucidSim 的系统训练机器狗进行跑酷训练，让它爬过箱子并爬楼梯，尽管它从未见过任何真实世界的数据。这种方法展示了生成式人工智能在教机器人完成具有挑战性的任务方面有多大帮助。它还提出了我们最终可以在完全虚拟的世界中训练它们的可能性。这项研究于上周在机器人学习会议 (CoRL) 上发表。
研究“我们正处于机器人工业革命之中，”麻省理工学院计算机科学和人工智能实验室的博士后、参与该项目的葛杨说。“这是我们试图了解这些 [生成式人工智能] 模型在其最初预期用途之外的影响，希望它能引领我们走向下一代工具和模型。”
LucidSim 使用生成式人工智能模型的组合来创建视觉训练数据。首先，研究人员为 ChatGPT 生成了数千个提示，让它描述一系列环境，这些环境代表机器人在现实世界中会遇到的条件，包括不同类型的天气、一天中的时间和光照条件。这些包括“一条古老的小巷，两旁是茶馆和小巧精致的商店，每家店都展示着传统装饰品和书法”和“阳光照亮了一片有点凌乱的草坪，上面点缀着干燥的斑块。”
这些描述被输入到一个系统中，该系统将 3D 几何和物理数据映射到 AI 生成的图像上，创建了绘制机器人要遵循的轨迹的短视频。机器人利用这些信息来计算它必须导航的东西的高度、宽度和深度——例如一个箱子或一组楼梯。
最后，当机器人运行 LucidSim 时，它成功完成了所有 10 次爬楼梯试验，而另一个系统只有 50%。