摘要 - 增强机器人系统独立获取新型操作技巧的能力对于从组装线到服务机器人的应用至关重要。现有方法(例如,VIP,R3M)依赖于学习操纵任务的广义表示,但忽略(i)(i)不同实施方案之间的域间隙以及(ii)在实施方案中成功的任务轨迹的稀疏 - 特定于特定的动作空间中,导致了错误的和歧义的任务表示,具有地下学习效率。我们的工作通过引入AG2Manip(操纵代理表示)来学习上述挑战,以学习新型操纵技巧。我们的方法包括两个主要创新:(i)在人体操纵视频上进行了新颖的代理 - 反应视觉表示形式,其具有掩盖性的实施方案,以及(ii)一个代理 - 敏捷的动作表示,将机器人的动力学链抽象为具有普遍的代理链中的代理链中,将其用于普遍的构成,以将对象置于核心互动之间。通过我们的实验,AG2Manip在无需进行领域特定的示范的情况下展示了各种各样的操纵任务的显着改善,证明了来自Frankakitchen,Maniskill和PartManip的24个任务中平均成功率的325%提高了325%。进一步的消融研究强调了两种表示在实现此类改进中的关键作用。