详细内容或原文请订阅后点击阅览
F3RM 允许机器人以自然语言解释文本提示
受人类处理陌生物体能力的启发，麻省理工学院 CSAIL 的团队开发了机器人操纵特征场 (F3RM) 系统，该系统将 2D 图像融合到 3D 场景中，帮助机器人识别和抓取附近的物体。
来源:Robogeek新闻频道（关于机器人技术的俄罗斯与世界新闻）受人类处理陌生物体能力的启发，麻省理工学院 CSAIL 的团队开发了机器人操纵特征场 (F3RM) 系统，该系统将 2D 图像融合到 3D 场景中，帮助机器人识别和抓取附近的物体。
F3RM 允许机器人用自然语言解释文本提示，帮助它们操纵物体。因此，机器人可以理解不太具体的人类请求并仍然完成任务。例如，如果用户要求机器人“拿起一个高杯子”，机器人将能够找到并拿起最符合该描述的物品。
“创造能够在现实世界中执行通用动作的机器人非常困难，”麻省理工学院 CSAIL 的博士后 Ge Yang 说，“我们真的很想了解如何做到这一点，因此在这个项目中我们正在努力实现这一目标。激进的概括水平——从三四个物体到我们在麻省理工学院斯塔塔中心发现的一切我们想学习如何使机器人像我们一样灵活，因为即使我们以前从未见过它们，我们也可以抓取和放置物体。 ”。
这种方法可以帮助机器人在大型配送中心挑选物品，因为那里不可避免地会出现混乱和不可预测性。在这样的仓库中，机器人通常会收到他们必须识别的产品的描述。无论包装有何差异，机器人都必须将提供的文本与物体相匹配。例如，大型在线商店的履行中心可能存储数百万种产品，其中许多是机器人以前从未遇到过的。为了在这种规模上运行，机器人需要理解各种物体的几何形状和语义，其中一些物体可能位于有限的空间内。凭借 F3RM 增强的空间和语义感知能力，机器人将能够更有效地定位物品、将其放入容器中并将其发送到包装。
视频