NVIDIA 和 Hugging Face 为乐机器人打造开放机器人社区带来新模型和框架

开源 AI 展示了当模型、数据和工具共享时,开发人员可以多么快速地进行创新。机器人技术也有同样的机会,但物理人工智能开发的进步仍然受到昂贵且分散的资源的限制,从大型数据集和机器人基础模型到模拟、计算和验证工具。 NVIDIA 和 Hugging Face 是 [...]

来源:NVIDIA 博客 _机器人技术

开源人工智能已经表明,当模型、数据和工具共享时,开发人员可以多么快速地进行创新。机器人也有同样的机会,但物理人工智能开发的进步仍然受到昂贵且分散的资源的限制,从大型数据集和机器人基础模型到模拟、计算和验证工具。

NVIDIA 和 Hugging Face 正在合作,将适用于人形机器人的 NVIDIA Isaac GR00T 1.7 开放式推理视觉语言动作 (VLA) 模型和 NVIDIA Isaac Teleop 框架引入 LeRobot(Hugging Face 的机器人开源库),以及即将推出的物理 AI 前沿模型 NVIDIA Cosmos 3。这些集成为开发人员提供了更易于访问和标准化的端到端机器人开发路径,同时推动整个开放机器人社区的创新和协作。

“开源是一个领域如何将先进研究转化为人们可以研究、适应和构建的东西,”Hugging Face 联合创始人兼首席科学官 Thomas Wolf 说。 “今天,借助 LeRobot 中的 NVIDIA Isaac GR00T 1.7 和 Isaac TeleOp,机器人开发人员可以使用共享模型、数据和工作流程来公开训练和评估机器人。随着下一步计划的 NVIDIA Cosmos 3,社区将有一条将前沿世界模型引入同一协作循环的途径。”

机器人基础模型的开放管道

Hugging Face LeRobot 是一个开源机器人库,用于训练、运行和共享机器人数据集、模型、策略和工作流程。 NVIDIA 与 Hugging Face 的持续合作将 NVIDIA 的 300 万机器人开发人员与 Hugging Face 的 1600 万人工智能构建者联系起来,通过开放工作流程扩大对前沿物理人工智能工具的访问。

将 NVIDIA 物理 AI 功能引入乐机器人,为开发人员提供了一种通用方法来收集和标准化数据、训练和微调机器人基础模型、评估性能以及通过开放工作流程部署模型。集成包括: