抽屉:创建静态室内视频的交互式数字环境

康奈尔大学的研究人员开发了一个AI驱动的过程,该过程将自动将房间的简短视频转换为互动3D环境。通过使用能够创建真实空间数字表示的技术,用户现在可以以全新的方式导航和与这些房间进行交互。抽屉是一个开创性的[…]帖子抽屉:创建静态室内视频的交互式数字环境首次出现在AI新闻中。

来源:AI新闻
抽屉将静态室内场景的视频转换为交互式数字环境,而无需在录制过程中与对象进行互动。重建的环境可以实时运行(〜100fps),并且与两个游戏引擎(例如虚幻引擎和机器人仿真平台)兼容。 抽屉可以使用诸如打开橱柜和抽屉以及在环境中拍摄分段的对象之类的功能创建互动游戏。康奈尔大学的研究人员已经开发了一个AI驱动的过程,该过程会自动将房间的简短视频转换为互动3D环境。通过使用能够创建真实空间数字表示的技术,用户现在可以以全新的方式导航和与这些房间进行交互。抽屉是一个开创性的框架,它通过将高级3D会计与场景相结合而没有与场景中的门和对象的相互作用,将静态室内环境的视频转换为照片现实和交互式数字环境,并将其与场景中的门和对象进行任何交互作用。这种方法使得可以轻松地从传统的视频格式中创建3D模型,这可能会对设计,教育和各种应用产生重大影响。通过分析视频内容,系统可以识别对象及其在房间中的投资,然后构建现实,操纵性的3D体验。这项技术有可能彻底改变我们如何体验和与周围环境互动,这在许多领域(包括游戏,建筑和教育)开放了新的机会。它还可以促进为各种场景创建虚拟旅行或仿真的过程,以前需要大量的手动建模和渲染工作。
互动3D环境的房间的视频。

更多信息: