详细内容或原文请订阅后点击阅览
DSplats：通过对基于 Splats 的多视图扩散模型进行去噪实现 3D 生成
生成高质量的 3D 内容需要能够学习复杂场景及其中真实物体的稳健分布的模型。最近基于高斯的 3D 重建技术通过以前馈方式预测 3D 高斯函数，在从稀疏输入图像中恢复高保真 3D 资产方面取得了令人印象深刻的结果。然而，这些技术通常缺乏扩散模型提供的广泛先验和表现力。另一方面，已成功应用于多视图图像去噪的 2D 扩散模型显示出生成广泛...
来源:Apple机器学习研究生成高质量的 3D 内容需要能够学习复杂场景及其中真实物体的鲁棒分布的模型。最近基于高斯的 3D 重建技术通过以前馈方式预测 3D 高斯，在从稀疏输入图像中恢复高保真 3D 资源方面取得了令人瞩目的成果。然而，这些技术往往缺乏扩散模型所提供的广泛先验和表现力。另一方面，已成功应用于多视图图像去噪的 2D 扩散模型显示出生成各种逼真的 3D 输出的潜力，但在明确的 3D 先验和一致性方面仍然存在不足。在这项工作中，我们旨在通过引入 DSplats 来弥合这两种方法之间的差距，DSplats 是一种新颖的方法，它使用基于高斯 Splat 的重建器直接对多视图图像进行去噪，以生成各种逼真的 3D 资源。为了利用 2D 扩散模型的广泛先验知识，我们将预训练的潜在扩散模型整合到重建器主干中，以预测一组 3D 高斯分布。此外，嵌入在去噪网络中的显式 3D 表示提供了强大的归纳偏差，确保了几何一致的新视图生成。我们的定性和定量实验表明，DSplats 不仅可以产生高质量、空间一致的输出，而且还为单图像到 3D 重建树立了新标准。在 Google 扫描对象数据集上进行评估时，DSplats 实现了 20.38 的 PSNR、0.842 的 SSIM 和 0.109 的 LPIPS。