Multidiff

一致的新型视图综合来自单个图像

我们介绍了Multidiff，这是一种新颖的方法，用于从单个RGB图像中始终如一地进行新颖的视图综合。从单个参考图像中综合新观点的任务是大自然的高度不足，因为存在多种对未观察到的区域的合理解释。为了解决这个问题，我们以单核深度预测变量和视频扩散模型的形式结合了强大的先验。单核深度使我们能够在目标视图的扭曲参考图像上调节模型，从而提高了几何稳定性。视频扩散先验为3D场景提供了强大的代理，从而使模型可以在生成的图像上学习连续和像素精度的对应关系。与依靠容易出现漂移和误差累积的自动格言形象生成的方法相反，Multidiff共同综合了一系列帧，产生了高质量和多视图一致的RE-