详细内容或原文请订阅后点击阅览
采访 Sherry Yang：学习交互式真实世界模拟器
Sherry Yang、Yilun Du、Kamyar Ghasemipour、Jonathan Tompson、Leslie Kaelbling、Dale Schuurmans 和 Pieter Abbeel 凭借其论文《学习交互式真实世界模拟器》在 ICLR2024 上获得了优秀论文奖。在论文中，他们介绍了一种通用模拟器（称为 UniSim），它接受图像和文本输入来训练机器人模拟器。我们与 Sherry 进行了交谈 [...]
来源:ΑΙhubSherry Yang、Yilun Du、Kamyar Ghasemipour、Jonathan Tompson、Leslie Kaelbling、Dale Schuurmans 和 Pieter Abbeel 凭借其作品《学习交互式真实世界模拟器》在 ICLR2024 上获得了优秀论文奖。在论文中，他们介绍了一种通用模拟器（称为 UniSim），它接受图像和文本输入来训练机器人模拟器。我们与 Sherry 谈论了这项工作、一些挑战和潜在应用。
Sherry Yang ICLR2024 优秀论文奖 学习交互式真实世界模拟器您能否简要定义一下通用模拟器，然后概述这种模拟器的一些有趣应用？
它有两个组件 - 一个是通用组件，另一个是模拟器组件。首先看看模拟器组件——通常，当人们构建模拟器时，他们会基于对现实世界的理解，使用物理方程式。研究人员将构建模拟器来研究事物的工作原理，例如汽车如何移动。一个观察结果是，当我们拥有非常好的模拟器时，我们实际上可以训练出非常好的代理。AlphaGo 是一个完美模拟器的非常成功的例子——我们知道围棋游戏的规则，我们可以编写代码，然后 AlphaGo 代理直接与规则交互，玩游戏，然后判断游戏是赢还是输。因为模拟器是完美的，人们在模拟器中开发的任何算法实际上都可以转移到现实世界中。
UniSim通用模拟器在包括对象、场景、人类活动、导航和操作中的运动、全景扫描以及模拟和渲染在内的数据上进行训练。
通用模拟器在包括物体、场景、人类活动、导航和操控中的运动、全景扫描以及模拟和渲染在内的数据上进行训练。