NVIDIA 研究推动机器人技术从模拟走向现实世界

机器人技术正在进入一个新阶段:从受控演示和脚本自动化转向现实世界中可推广、可靠的具体自治。在国际机器人与自动化会议 (ICRA) 上,NVIDIA 研究中心 28 篇被接受的论文中的 8 篇展示了模拟到真实的迁移如何成为这一转变的基础,帮助机器人感知、推理、计划和 [...]

来源:NVIDIA 博客 _机器人技术

机器人技术正在进入一个新阶段:从受控演示和脚本自动化转向现实世界中可推广、可靠的具体自治。

在国际机器人与自动化会议 (ICRA) 上,NVIDIA Research 接受的 28 篇论文中的 8 篇展示了模拟到真实的迁移如何成为这一转变的基础,帮助机器人在动态、不可预测的环境中感知、推理、计划和行动。

总之,这些论文涵盖了机器人开发人员面临的全部挑战:并行协调多个手臂、建立跨机器人身体通用的策略、在杂乱中抓取新物体、执行精确组装以及开发在移动之前进行推理的视觉-语言-动作模型。

总体思路很明确:模拟到真实正在成为机器人的基础,这些机器人可以在实验室外以更高的可靠性进行适应、泛化和操作。

协调手臂、导航身体、抓取物体

想象一个由机械臂运行的制药实验室:拾取试管、转移液体、混合试剂——每个步骤花费不同的时间,所有步骤都需要仔细协调。

传统的机器人调度软件按顺序处理这些步骤,一次一只手臂。

ScheduleStream 通过在 GPU 上运行计算来改变这一现状,让多个手臂计划运动并并行操作。结果是,在 NVIDIA Jetson 边缘 AI 平台等硬件上,多臂规划场景的速度提高了 3 倍。该框架的代码可在 GitHub 上找到。

学习在空间中导航(避开障碍物并找到目的地)的机器人通常学会用一个身体来完成这件事。将相同的导航软件放入不同形状的机器人中,它经常会崩溃,因为它的各个部件的运动方式都不同。

COMPASS 适合代理,具有专门的技能 - 开发人员可以将管道与 NVIDIA Omniverse NuRec 连接起来,以便在部署之前在新颖环境的数字孪生中对机器人进行后期训练和验证。