详细内容或原文请订阅后点击阅览
LiTo：表面光场标记化
我们提出了一种 3D 潜在表示，可以对对象几何形状和依赖于视图的外观进行联合建模。大多数先前的工作都集中于重建 3D 几何或预测与视图无关的漫反射外观，因此很难捕捉真实的视图相关效果。我们的方法利用 RGB 深度图像提供表面光场的样本。通过将该表面光场的随机子样本编码为一组紧凑的潜在向量，我们的模型学会了在统一的 3D 潜在空间中表示几何形状和外观。这种表示再现了视图相关的...
来源:Apple机器学习研究我们提出了一种 3D 潜在表示，可以对对象几何形状和依赖于视图的外观进行联合建模。大多数先前的工作都集中于重建 3D 几何或预测与视图无关的漫反射外观，因此很难捕捉真实的视图相关效果。我们的方法利用 RGB 深度图像提供表面光场的样本。通过将该表面光场的随机子样本编码为一组紧凑的潜在向量，我们的模型学会了在统一的 3D 潜在空间中表示几何形状和外观。这种表示再现了依赖于视图的效果，例如复杂照明下的镜面高光和菲涅尔反射。我们进一步在此表示上训练潜在流匹配模型，以了解其在单个输入图像上的分布，从而能够生成外观与输入中的照明和材质一致的 3D 对象。实验表明，我们的方法比现有方法实现了更高的视觉质量和更好的输入保真度。