走进全方位宇宙:开放世界基础模型为物理人工智能开发生成合成世界

物理人工智能模型——为机器人、自动驾驶汽车和其他智能机器提供动力——必须是安全的、针对动态场景的通用性,并且能够实时感知、推理和操作。

来源:NVIDIA 博客 _机器人技术

编者注:本文是 Into the Omniverse 系列文章的一部分,该系列文章重点介绍开发人员、3D 从业者和企业如何利用 OpenUSD 和 NVIDIA Omniverse 的最新进展来转变其工作流程。

编者注:这篇文章是 进入全宇宙 ,一系列重点关注开发人员、3D 从业者和企业如何利用 OpenUSD NVIDIA Omniverse

物理人工智能模型——为机器人、自动驾驶汽车和其他智能机器提供动力——必须是安全的、针对动态场景的通用性,并且能够实时感知、推理和操作。与可以在互联网上的大量数据集上训练的大型语言模型不同,物理人工智能模型必须从现实世界的数据中学习。

物理人工智能

然而,收集足够的数据来覆盖现实世界中的各种场景是非常困难的,在某些情况下甚至是危险的。基于物理的合成数据生成提供了解决这一差距的关键方法。

合成数据生成

NVIDIA 最近发布了 NVIDIA Cosmos 开放世界基础模型 (WFM) 的更新,以加速用于测试和验证物理 AI 模型的数据生成。使用 NVIDIA Omniverse 库和 Cosmos,开发人员可以生成规模惊人的基于物理的合成数据。

NVIDIA Cosmos 世界基础模型 (WFM)

Cosmos Predict 2.5 现在将三个独立的模型(Text2World、Image2World 和 Video2World)统一到一个轻量级架构中,该架构可以从单个图像、视频或提示生成一致、可控的多摄像机视频世界。

Cosmos 预测 2.5 Cosmos 转账 2.5

这些 WFM 可以集成到在 NVIDIA Isaac Sim 开源机器人模拟框架(基于 NVIDIA Omniverse 平台构建)中运行的合成数据管道中,以生成逼真的视频,从而缩小模拟与真实的差距。开发人员可以参考由四部分组成的管道来生成合成数据:

NVIDIA Isaac Sim

视频