详细内容或原文请订阅后点击阅览
从电话视频到虚拟现实：AI将真实房间变成交互式3D空间
想象一下用手机拍摄厨房的简短视频，然后能够浏览详细的3D版本 - 打开抽屉，移动物体并探索空间，就好像您真的在那里一样。得益于康奈尔大学及其合作伙伴的新AI研究，这种未来派的想法现在变得可能成为可能。 […]从电话视频到虚拟现实的帖子：AI将真实的房间变成交互式3D空间，首先出现在Knowridge Science报告中。
来源:Knowridge科学报告想象一下用手机拍摄厨房的简短视频，然后能够浏览详细的3D版本 - 打开抽屉，移动物体并探索空间，就好像您真的在那里一样。
多亏了康奈尔大学及其合作伙伴的新AI研究，这种未来派的想法现在变得可能变得可能。
由Wei-Chiu Ma教授领导的团队开发了一个名为Drawer的新系统，该系统可以将房间的普通视频转变为完全互动的数字模型。
这个“数字双胞胎”不仅仅是视觉副本，它允许用户打开橱柜，移动对象并以现实的方式探索空间。
该技术对于从创建更多寿命的视频游戏到训练机器人到在真实房屋中执行任务的所有事物都可能有用。
使此方法与众不同的是使用多么容易。您不需要花哨的设备或特殊传感器。
只需在智能手机上拍摄一个休闲视频，而无需打开抽屉或触摸对象 - AI都会完成其余的视频。
抽屉系统分析素材并创建一个交互式3D场景。
为了建立这个数字房间，研究人员将几种类型的AI结合在一起。一种模型着重于创建真实的图像，而另一个模型则确保了准确的形状和大小。
第三个模型还可以算出场景的哪些部分可以移动，例如门或抽屉，以及它们应该如何移动。最后一步填补了相机未捕获的房间的部分，例如机柜里面的东西。
帮助领导该项目的研究生Hongchi Xia说，挑战不仅是建立每个AI组件，而且还使它们都一起工作。将碎片放入一个系统后，团队通过重新创建厨房，浴室和办公室来对其进行测试。
结果甚至可以用于视频游戏引擎。在一个演示中，用户可以拍摄虚拟球以敲开厨房中的物体，例如水壶或肥皂瓶。该团队还使用数字房间实际上训练机器人手臂。