机构名称：
¥ 1.0
从单目图像重建3D物体是计算机视觉领域的一个基本问题。高效的重建系统能够开辟广泛的应用领域，包括增强现实、电影制作和制造业。单目3D重建也是一个复杂的逆问题：虽然可见表面可以通过阴影估计，但预测遮挡表面需要强大的3D物体先验知识。我们的领域已经在两个不同的方向上出现了分歧：前馈回归[2、10、19、24、25、27、37、53、54、59-62、65、66、69]和基于扩散的生成[6、8、9、26、29、31-35、39、46-48、68、71]。尽管在两个方向上都取得了重大进展，但每个方向都有根本的局限性。基于回归的模型在粘附图像中的可见表面方面非常有效，并且推理速度通常很快。然而，它们对图像和 3D 之间的双射映射做出了过于简单的假设。这一假设在学习目标中引入了模糊性，导致遮挡区域的表面和纹理估计不佳。另一方面，基于扩散的方法是生成性的，不能预测统计平均值。然而，在建模高分辨率 3D 时，它们在推理时的迭代采样计算效率低下。此外，[27] 等先前的研究表明，扩散生成的 3D 模型与输入图像中可见表面的对齐效果较差。我们如何才能兼顾两者的优点而又避免它们的局限性？有鉴于此，我们提出了 SPAR3D，它将 3D 重建过程分为两个阶段：点采样阶段和网格划分阶段。点采样阶段使用扩散模型生成稀疏点云，然后是网格划分阶段，将点云转换为高度详细的网格。我们的主要思想是将不确定性建模转移到点采样阶段，在此阶段，点云的低分辨率允许快速迭代采样。随后的网格划分阶段利用局部图像特征将点云转换为具有高输出保真度的详细网格。减少点云网格划分的不确定性进一步促进了逆渲染的无监督学习，从而减少了纹理中的烘焙照明。我们的两阶段设计使 SPAR3D 的性能显著优于以前的回归方法，同时保持了高计算效率和对输入观测的保真度。我们方法的一个关键设计选择是使用点云来连接两个阶段。为了确保快速重建，我们的中间表示需要轻量级，以便能够高效生成。另一方面，它应该为网格划分阶段提供足够的指导。这
SPAR3D：从单幅图像实现稳定的点感知三维物体重建
主要关键词
相关文件推荐
