摘要 - 我们提出了一种从3D手动相互作用trajectories中学习通用机器人操纵先验的方法。我们构建了一个框架,以使用野外视频来生成感觉运动机器人轨迹。我们通过在共享的3D空间中抬起人的手和操纵对象来做到这一点,并将人类动作重新定位到机器人动作。对这些数据的生成建模为我们提供了任务不合时宜的基本策略。此政策捕获了一般但灵活的操作。我们从经验上证明,通过加强学习(RL)和行为克隆(BC),对这一政策进行填充,使样品有效适应下游任务并同时提高了与先前方法相比的鲁棒性和概括性。定性实验可在以下网址提供:https://hgaurav2k.github.io/hop/。