机构名称：
¥ 2.0
在Internet数据中训练的生成模型已彻底改变了如何创建文本，图像和视频内容。也许生成模式的下一个里程碑是对人类，机器人和其他互动剂采取的行动进行模拟现实经验。现实世界模拟器的应用程序范围从游戏和电影中的可控内容创建到纯粹在现实世界中直接部署的模拟中的体现代理。我们探索通过生成建模学习现实世界相互作用的通用模拟器（UNISIM）的可能性。我们首先要进行一个重要的观察，即可用于学习的天然数据集通常沿不同的维度富含（例如，图像数据中的丰富对象，机器人数据中的密集采样动作以及导航数据中的各种运动）。仔细编排了各种数据集的编排，每个数据集都提供了各个方面的各个方面，我们可以模拟两个高级指令的视觉结果，例如“打开抽屉”和低级控制，例如从其他静态场景和对象中使用“Δx，∆ y”。我们使用模拟器来训练高级视觉语言政策和低级强化学习政策，每种政策都可以在现实世界中部署在现实世界中，纯粹是在纯粹的训练中纯化的。我们还表明，其他类型的智能（例如视频字幕）可以通过模拟体验培训受益，开放更广泛的应用程序。可以在https://universal-simulator.github.io上找到视频演示。
学习交互式现实世界模拟器
主要关键词
相关文件推荐
