NVIDIA 向物理 AI 开发者社区公开提供 Cosmos World Foundation 模型

NVIDIA Cosmos 是一个加速物理 AI 开发的平台,它推出了一系列世界基础模型 - 可以预测和生成虚拟环境未来状态的物理感知视频的神经网络 - 以帮助开发人员构建下一代机器人和自动驾驶汽车 (AV)。世界基础模型 (WFM) 与大型阅读文章

来源:NVIDIA 博客 _机器人技术

NVIDIA Cosmos 是一个加速物理 AI 开发的平台,它推出了一系列世界基础模型 - 可以预测和生成虚拟环境未来状态的物理感知视频的神经网络 - 以帮助开发人员构建下一代机器人和自动驾驶汽车 (AV)。

NVIDIA Cosmos 物理 AI 世界基础模型

世界基础模型 (WFM) 与大型语言模型一样重要。 它们使用输入数据(包括文本、图像、视频和运动)来生成和模拟虚拟世界,从而准确地模拟场景中物体的空间关系及其物理交互。

NVIDIA 今天在 CES 上宣布,将推出首批用于基于物理的模拟和合成数据生成的 Cosmos WFM - 以及最先进的标记器、护栏、加速数据处理和管理管道以及用于模型定制和优化的框架。

今天在 CES 上宣布

无论公司规模如何,研究人员和开发人员都可以根据 NVIDIA 允许商业使用的宽松开放模型许可自由使用 Cosmos 模型。构建 AI 代理的企业还可以使用在 CES 上发布的全新开放 NVIDIA Llama Nemotron 和 Cosmos Nemotron 模型。

NVIDIA Llama Nemotron 和 Cosmos Nemotron 模型

Cosmos 最先进模型的开放性为构建机器人和 AV 技术的物理 AI 开发人员提供了便利,并使各种规模的企业能够更快地将其物理 AI 应用程序推向市场。开发人员可以直接使用 Cosmos 模型生成基于物理的合成数据,也可以利用 NVIDIA NeMo 框架使用自己的视频对模型进行微调,以适应特定的物理 AI 设置。

物理 AI NVIDIA NeMo 框架

物理 AI 领导者(包括机器人公司 1X、Agility Robotics 和 XPENG,以及 AV 开发商 Uber 和 Waabi)已与 Cosmos 合作,以加速和增强模型开发。

自回归 扩散 拥抱脸