一个 AI 模型统治所有机器人

用于控制机器人的软件通常高度适应其特定的物理设置。但现在研究人员已经创建了一种通用的机器人控制策略,可以操作机械臂、轮式机器人、四足动物甚至无人机。将机器学习应用于机器人技术的最大挑战之一是数据匮乏。虽然计算机视觉和自然语言处理可以搭载互联网上发现的大量图像和文本数据,但收集机器人数据既昂贵又耗时。为了解决这个问题,人们越来越多地努力汇集不同团体收集的不同类型机器人的数据,包括 Open X-Embodiment 和 DROID 数据集。希望对不同的机器人数据进行训练将导致“正向迁移”,即从一项任务的训练中学到的技能有助于提高另一项任务的表现。问题是机器人通常具有非常不同的实施(用于描述其物理布局和传感器和执行器套件的术语),因此它们收集的数据可能会有很大差异。例如,机械臂可能是静止的,具有复杂的关节和手指排列,并从手腕上的摄像头收集视频。相比之下,四足机器人经常移动,并依靠腿部的力反馈进行操作。这些机器被训练执行的任务和动作种类也多种多样:手臂可以拾取和放置物体,而

来源:IEEE Spectrum _机器人

用于控制机器人的软件通常非常适合其特定的物理设置。但是现在,研究人员已经建立了一个通用机器人控制政策,该政策可以操作机器人武器,车轮机器人,四倍甚至无人机。

机器人 无人机

在将机器学习应用于机器人技术方面最大的挑战之一是数据的匮乏。虽然计算机视觉和自然语言处理可以背负互联网上的大量图像和文本数据,但收集机器人数据是昂贵且耗时的。

机器学习 Robotics 计算机视觉 自然语言处理

为了解决这个问题,越来越多的努力汇总了不同类型机器人(包括开放X型和DROID数据集)收集的数据。希望是,对各种机器人数据的培训将导致“积极转移”,这是指从一项任务中学习的技能有助于提高另一个任务的绩效时。

越来越多地汇总数据 打开X-Embodiment droid

问题在于,机器人通常具有非常不同的实施例(用于描述其物理布局以及传感器和执行器的套件的术语),因此收集的数据可能会大不相同。例如,机器人手臂可能是静态的,具有复杂的关节和手指的布置,并从腕上的相机中收集视频。相比之下,四足动物的机器人经常移动,并依靠从腿到机动的力量反馈。这些机器经过培训来执行的任务和操作也是多种多样的:手臂可能会挑选和放置对象,而四足动物需要敏锐的导航。

Homer Walke 研究 机器人学习会议(CORL) 交叉形式 “我们希望能够训练所有这些数据以获取最有能力的机器人,”沃尔克说。 “本文的主要进步是确定哪种架构最适合容纳所有这些不同的投入和输出。” 变压器 聊天机器人 ria doshi oier mees Homer Walke 研究 机器人学习会议(CORL)

交叉形式

“我们希望能够训练所有这些数据以获取最有能力的机器人,”沃尔克说。 “本文的主要进步是确定哪种架构最适合容纳所有这些不同的投入和输出。” 变压器 聊天机器人 ria doshioier mees