XiaoMi-AI文件搜索系统
World File Search SystemAG2Manip
AG2Manip：用代理学习新颖的操纵技巧 -
摘要 - 增强机器人系统独立获取新型操作技巧的能力对于从组装线到服务机器人的应用至关重要。现有方法（例如，VIP，R3M）依赖于学习操纵任务的广义表示，但忽略（i）（i）不同实施方案之间的域间隙以及（ii）在实施方案中成功的任务轨迹的稀疏 - 特定于特定的动作空间中，导致了错误的和歧义的任务表示，具有地下学习效率。我们的工作通过引入AG2Manip（操纵代理表示）来学习上述挑战，以学习新型操纵技巧。我们的方法包括两个主要创新：（i）在人体操纵视频上进行了新颖的代理 - 反应视觉表示形式，其具有掩盖性的实施方案，以及（ii）一个代理 - 敏捷的动作表示，将机器人的动力学链抽象为具有普遍的代理链中的代理链中，将其用于普遍的构成，以将对象置于核心互动之间。通过我们的实验，AG2Manip在无需进行领域特定的示范的情况下展示了各种各样的操纵任务的显着改善，证明了来自Frankakitchen，Maniskill和PartManip的24个任务中平均成功率的325％提高了325％。进一步的消融研究强调了两种表示在实现此类改进中的关键作用。
AG2Manip：用代理学习新颖的操纵技巧 -
摘要 - 能够学习新型操纵任务的自主机器人系统有望将行业从制造业转变为服务自动化。然而，当前方法（例如，VIP和R3M）仍然面临重大障碍，尤其是机器人实施例之间的域间隙以及在特定动作空间内成功执行成功的任务执行的稀疏性，从而导致了错误和模棱两可的任务。我们介绍了AG2Manip（操纵的代理 - 不合稳定代表），该框架旨在通过两个关键的创新来解决这些挑战：（1）源自人类操纵视频的代理人视觉表示，并具有实施方案的细节，以增强普遍性； （2）代表机器人的运动学代表到通用代理代理，强调了终端效果和对象之间的关键相互作用。ag2manip在模拟基准中进行了经验验证，显示出325％的性能提高而不依赖于域特异性演示。消融研究进一步强调了代理 - 不合稳定的视觉和作用表示对这一成功的基本贡献。将我们的评估扩展到现实世界，AG2Manip很明显地将模仿学习成功率从50％提高到77.5％，这表明了其在模拟和真实环境中的有效性和可推广性。