机构名称：
¥ 1.0
我们介绍了矩阵，这是第一个基础现实的世界模拟器，能够在第一和第三人称视角以实时的，重新控制的方式生成无限长的720p高富达现实现场视频流，从而实现了丰富动态环境的沉浸式探索。Trained on limited supervised data from AAA games like Forza Horizon 5 and Cyberpunk 2077, complemented by large-scale unsupervised footage from real-world set- tings like Tokyo streets, The Matrix allows users to tra- verse diverse terrains—deserts, grasslands, water bodies, and urban landscapes—in continuous, uncut hour-long se- quences.以高达16 fps的速度，该系统支持实时交互性，并演示了零拍的通用性，将虚拟游戏环境转换为现实世界上下文，在这些环境中，收集连续移动数据的数据是不可行的。例如，矩阵可以模拟通过办公室设置驱动的宝马X3，这是游戏数据和现实世界中的一个环境。这种方法展示了AAA游戏数据对强大的世界模型的潜力，在具有Lim esed数据的情况下弥合了模拟和现实世界应用程序之间的差距。本文中的所有代码，数据和模型检查点都将被开源。
矩阵：实时移动控制
主要关键词
相关文件推荐
