摘要。世界模型,尤其是在自主驾驶中,由于其构成驾驶环境的能力,人们引起了广泛的关注。既定的世界模型具有产生高质量驾驶视频的重要潜力,并为安全操纵而驱动政策。但是,相关研究的一个关键局限性在于它主要关注游戏环境或模拟设置,因此缺乏现实世界中的动力场景的代表。因此,我们介绍了DrivedReamer,这是一个完全源自现实世界驾驶场景的开创性世界模型。关于在复杂的驾驶场景中建模世界的建模需要一个压倒性的搜索空间,我们建议利用强大的扩散模型来结构复杂环境的全面表示。fur-hoverore,我们引入了两阶段的训练管道。在最初的阶段,DrivedReamer对结构化交通构成的深刻了解,而随后的阶段使其能够抗击未来状态。进行了广泛的实验,以验证DrivedReamer赋予了驱动视频生成和动作词典的能力,忠实地捕获了现实世界的交通限制。此外,DrivedReamer生成的视频显着增强了驾驶感知方法的训练。
主要关键词