详细内容或原文请订阅后点击阅览
新的 3D 成像方法将实时速度与更精确的表面相结合
研究人员开发了一种新方法，可以根据照片创建详细的 3D 模型，同时支持实时图像渲染和更准确的表面重建。将一组照片转变为三维物体或环境是计算机视觉中的一项重要任务。由此产生的模型可用于机器人、虚拟和增强现实，[…]结合实时速度和更精确表面的新 3D 成像方法首先出现在 Knowridge Science Report 上。
来源:Knowridge科学报告研究人员开发了一种新方法，可以根据照片创建详细的 3D 模型，同时支持实时图像渲染和更准确的表面重建。
将一组照片转变为三维物体或环境是计算机视觉中的一项重要任务。
由此产生的模型可用于机器人、虚拟和增强现实、数字孪生和文物保护。
然而，成功的 3D 模型必须捕获两个不同的东西：场景的外观及其表面的确切形状。现有系统通常在一个领域表现良好，但在另一领域却表现不佳。
一种名为 3D 高斯泼溅的最新技术可以从新的视点实时生成复杂场景的逼真图像。
它表示使用许多称为高斯基元的小元素的场景。这些元素会被调整，直到它们的颜色和外观与原始照片相匹配。
虽然此方法速度快并且生成令人印象深刻的图像，但它可能无法准确地重建底层表面。模型可能有模糊的边缘、扭曲的薄结构、缺失的区域或看起来漂浮在太空中的小碎片。
另一种技术称为有符号距离函数 (Signed Distance Function, SDF)，更适合描述表面几何形状。它计算 3D 空间中的点距表面的距离，从而可以创建连续且完整的数字形状。然而，许多SDF方法需要大量计算，使得它们对于实时渲染来说太慢。
世宗大学的研究人员现已开发出 GauSDF，这是一种将高斯泼溅的速度与 SDF 的几何精度相结合的系统。该研究发表在 CVPR Finds 2026 上。
GauSDF 从称为高斯面元的平坦定向元素构建场景，这些元素就像表面的小块一样。每个面元都有自己的可调节距离值，告诉系统它与重建表面的关系。
靠近预期表面的面元变得更加明显，而距离较远的面元对最终图像的贡献较小。这使得系统能够同时改善视觉外观和表面几何形状。
该框架有两个相连的部分。人们可以快速渲染图像并学习每个面元的位置、方向、颜色、大小和可见性等特征。另一个学习连续的 3D 表面。多个数学约束使两个零件保持对齐，并提高平滑区域的深度、表面方向和精度。
训练后，系统将连续表面转换为标准 3D 网格。
测试在涉及物体、室内和室外场景以及复杂形状的服装的多个基准测试中显示出强劲的结果。在 DTU 基准测试中，GauSDF 在研究中的方法中记录了最低的平均几何误差，同时保持了较高的视觉质量。实验使用单个 NVIDIA RTX 4090 显卡。
该方法仍然难以捕获一些高度弯曲的表面和隐藏在相机中的区域。尽管如此，它最终可以改善机器人、沉浸式环境、数字孪生和文化保护的逼真且几何精确的 3D 模型。