详细内容或原文请订阅后点击阅览
研究人员利用阴影来模拟 3D 场景,包括被遮挡的物体从视图
这项技术可以带来更安全的自动驾驶汽车、更高效的 AR/VR 耳机或更快的仓库机器人。
来源:MIT新闻 - 人工智能想象一下,您驾驶自动驾驶汽车穿过隧道,但您不知道的是,前方发生车祸导致交通中断。通常情况下,您需要依靠前面的汽车来判断是否应该开始刹车。但如果您的汽车能够看到前方车辆并更早刹车,情况会怎样?
麻省理工学院和 Meta 的研究人员开发了一种计算机视觉技术,有朝一日,这种技术可以让自动驾驶汽车做到这一点。
他们介绍了一种方法,可以使用来自单个摄像机位置的图像创建整个场景(包括视线被遮挡的区域)的物理精确的 3D 模型。他们的技术使用阴影来确定场景中被遮挡部分的内容。
他们将自己的方法称为 PlatoNeRF,基于柏拉图的洞穴寓言,这是古希腊哲学家《理想国》中的一段话,其中被锁在洞穴中的囚犯根据洞穴墙壁上投射的阴影来辨别外部世界的现实。
通过将激光雷达(光检测和测距)技术与机器学习相结合,PlatoNeRF 可以生成比某些现有 AI 技术更精确的 3D 几何重建。此外,PlatoNeRF 更擅长平滑重建难以看到阴影的场景,例如环境光强或背景较暗的场景。
除了提高自动驾驶汽车的安全性之外,PlatoNeRF 还可以使用户无需走动进行测量即可对房间的几何形状进行建模,从而使 AR/VR 耳机更加高效。它还可以帮助仓库机器人更快地在杂乱的环境中找到物品。
关于 PlatoNeRF 的论文阐明问题
阐明问题从一个摄像机视点重建完整的 3D 场景是一个复杂的问题。
通过计算光线反射两次然后返回激光雷达传感器所需的时间,PlatoNeRF 可以捕获有关场景的其他信息,包括深度。第二次反射的光线还包含有关阴影的信息。
成功的组合