详细内容或原文请订阅后点击阅览
走进全方位宇宙:开放世界基础模型为物理人工智能开发生成合成世界
物理人工智能模型——为机器人、自动驾驶汽车和其他智能机器提供动力——必须是安全的、针对动态场景的通用性,并且能够实时感知、推理和操作。
来源:NVIDIA 博客 _机器人技术编者注:本文是 Into the Omniverse 系列文章的一部分,该系列文章重点介绍开发人员、3D 从业者和企业如何利用 OpenUSD 和 NVIDIA Omniverse 的最新进展来转变其工作流程。
编者注:这篇文章是 进入全宇宙 ,一系列重点关注开发人员、3D 从业者和企业如何利用 OpenUSD 和 NVIDIA Omniverse 。物理人工智能模型——为机器人、自动驾驶汽车和其他智能机器提供动力——必须是安全的、针对动态场景的通用性,并且能够实时感知、推理和操作。与可以在互联网上的大量数据集上训练的大型语言模型不同,物理人工智能模型必须从现实世界的数据中学习。
物理人工智能然而,收集足够的数据来覆盖现实世界中的各种场景是非常困难的,在某些情况下甚至是危险的。基于物理的合成数据生成提供了解决这一差距的关键方法。
合成数据生成NVIDIA 最近发布了 NVIDIA Cosmos 开放世界基础模型 (WFM) 的更新,以加速用于测试和验证物理 AI 模型的数据生成。使用 NVIDIA Omniverse 库和 Cosmos,开发人员可以生成规模惊人的基于物理的合成数据。
NVIDIA Cosmos 世界基础模型 (WFM)Cosmos Predict 2.5 现在将三个独立的模型(Text2World、Image2World 和 Video2World)统一到一个轻量级架构中,该架构可以从单个图像、视频或提示生成一致、可控的多摄像机视频世界。
Cosmos 预测 2.5 Cosmos 转账 2.5这些 WFM 可以集成到在 NVIDIA Isaac Sim 开源机器人模拟框架(基于 NVIDIA Omniverse 平台构建)中运行的合成数据管道中,以生成逼真的视频,从而缩小模拟与真实的差距。开发人员可以参考由四部分组成的管道来生成合成数据:
NVIDIA Isaac Sim视频
