摘要:建立与人类具有类似形式的机器人的主要论点之一是,我们可以利用大量的人类数据进行培训。然而,由于人类感知和控制的复杂性,在形态和驱动中人类和人之间的身体差距挥之不去,并且缺乏针对类人形生物的数据管道来学习自主技能,因此,这样做在实践中仍然具有挑战性。在本文中,我们引入了一个用于类人动物的全栈系统,以从人类数据中学习运动和自主技能。我们首先使用现有的40小时人类运动数据集进行强化学习,以训练低级政策。此政策将转移到现实世界,并允许人形机器人仅使用RGB摄像机实时跟随人体运动,即阴影。通过阴影,人类操作员可以伸缩人形生物来收集全身数据,以学习现实世界中的不同任务。使用收集的数据,我们进行了监督的行为克隆以使用以自我为中心的视觉训练技能政策,从而使类人动物可以通过模仿人类技能来自主完成不同的任务。我们在定制的33-DOF 180厘米类人动物上演示了该系统,自主完成任务,例如佩戴鞋子站起来和行走,从仓库架上卸下对象,折叠运动衫,重新排列的物体,打字,并以60-100%的成功率迎接了最多40张示范的60-100%成功率。关键字:人形生物,全身控制,从人类数据中学习
主要关键词