ARMADA:用于机器人操控和无机器人数据采集的增强现实

机器人模仿学习的远程操作受到硬件可用性的瓶颈。没有物理机器人,可以收集高质量的机器人数据吗?我们提出了一个通过实时虚拟机器人反馈增强 Apple Vision Pro 的系统。通过让用户直观地了解他们的动作如何转化为机器人动作,我们能够收集与物理机器人硬件的限制兼容的自然徒手人类数据。我们对 15 名参与者进行了一项用户研究,在 3 种不同的反馈条件下分别演示了 3 个不同的任务,并且……

来源:Apple机器学习研究

远程操作机器人模仿学习的瓶颈在于硬件可用性。没有物理机器人,可以收集高质量的机器人数据吗?我们提出了一个系统,通过实时虚拟机器人反馈增强 Apple Vision Pro。通过让用户直观地了解他们的动作如何转化为机器人运动,我们能够收集与物理机器人硬件的限制兼容的自然徒手人类数据。我们对 15 名参与者进行了一项用户研究,在 3 种不同的反馈条件下分别演示 3 个不同的任务,并直接在物理机器人硬件上重播收集到的轨迹。结果表明,实时机器人反馈显著提高了收集数据的质量,为无需访问机器人硬件即可进行可扩展的人类数据收集提供了一条新途径。

视频:ARMADA 系统的精彩视频。
视频:ARMADA 系统的精彩视频。