详细内容或原文请订阅后点击阅览
针尖移动的 AI 研究在模拟中训练手术机器人
NVIDIA 与学术研究人员合作,为手术机器人做准备。ORBIT-Surgical 由多伦多大学、加州大学伯克利分校、苏黎世联邦理工学院、佐治亚理工学院和 NVIDIA 的研究人员开发,是一个用于训练机器人的模拟框架,可以增强手术团队的技能,同时减少外科医生的认知负担。它支持超过阅读文章
来源:NVIDIA 博客 _机器人技术NVIDIA 与学术研究人员合作,为手术机器人做准备。
ORBIT-Surgical 由多伦多大学、加州大学伯克利分校、苏黎世联邦理工学院、佐治亚理工学院和 NVIDIA 的研究人员开发,是一个用于训练机器人的模拟框架,可以增强手术团队的技能,同时减少外科医生的认知负担。
它支持十几种受腹腔镜手术(又称微创手术)培训课程启发的操作,例如抓住针头等小物体,将它们从一只手臂传递到另一只手臂,并以高精度放置它们。
基于物理的框架是使用 NVIDIA Isaac Sim 构建的,这是一个用于设计、训练和测试基于 AI 的机器人的机器人模拟平台。研究人员在 NVIDIA GPU 上训练强化学习和模仿学习算法,并使用 NVIDIA Omniverse(一个基于通用场景描述 (OpenUSD) 开发和部署高级 3D 应用程序和管道的平台)实现逼真的渲染。
NVIDIA Isaac Sim NVIDIA Omniverse 通用场景描述使用由机器人手术领导者 Intuitive Surgical 支持的非营利性组织 Intuitive Foundation 提供的社区支持的达芬奇研究套件,ORBIT-Surgical 研究团队在下面的视频中演示了如何在模拟中训练数字孪生并将其转移到实验室环境中的物理机器人。
数字孪生视频
ORBIT-Surgical 将于周四在日本横滨举行的 IEEE 国际机器人与自动化会议 ICRA 上展示。 开源代码包现已在 GitHub 上提供。
周四在 ICRA 上展示 现已在 GitHub 上提供AI 中的一针救九人
AI 中的一针救九人 Isaac Lab 强化学习 NVIDIA RTX GPUORBIT-Surgical 的基准测试之一是插入分流器 — 左侧显示真实世界的机器人,右侧显示模拟。
ORBIT-Surgical 背后的论文 NVIDIA 在 ICRA 上撰写的论文