详细内容或原文请订阅后点击阅览
3D 高斯泼溅的直接感知优化
尽管 3D 高斯泼溅 (3DGS) 方法的输出最终被人类观看者使用，但它们通常依赖于像素级损失的临时组合，从而导致渲染模糊。为了解决这个问题，我们通过搜索不同的失真损失集来系统地探索 3DGS 的感知优化策略。我们对 3DGS 进行了首次大规模人类主观研究，涉及多个数据集和 3DGS 框架中的 39,320 个成对评分。 Wasserstein Distortion 的常规版本（我们称之为 WD-R）成为明显的赢家，擅长......
来源:Apple机器学习研究尽管 3D 高斯泼溅 (3DGS) 方法的输出最终被人类观看者使用，但它们通常依赖于像素级损失的临时组合，从而导致渲染模糊。为了解决这个问题，我们通过搜索不同的失真损失集来系统地探索 3DGS 的感知优化策略。我们对 3DGS 进行了首次大规模人类主观研究，涉及多个数据集和 3DGS 框架中的 39,320 个成对评分。 Wasserstein Distortion 的常规版本（我们称之为 WD-R）成为明显的赢家，它擅长恢复精细纹理，而不会产生更高的碎片数。评估者对 WD-R 的青睐程度是原始 3DGS 损失的 2.3 倍以上，是当前最佳方法 Perceptual-GS 的 1.5 倍。 WD-R 还在各种数据集上始终如一地实现了最先进的 LPIPS、DISTS 和 FID 分数，并在最近的框架（例如 Mip-Splatting 和 Scaffold-GS）中进行了推广，其中用 WD-R 替换原始损失可以在类似的资源预算（Mip-Splatting 的 splatting 数量、Scaffold-GS 的模型大小）内持续增强感知质量，并导致人类评分者首选的重建分别为 1.8× 和 3.6×。我们还发现这也适用于 3DGS 场景压缩的任务，在可比较的感知指标性能下可节省约 50% 的比特率。
图 1：使用 2D 失真和率失真目标优化的 3DGS 表示和压缩框架，将感知损失纳入训练框架。
图 2：室内场景（深度混合、Mip-NeRF 360 室内）、室外场景（坦克与神庙、Mip-NeRF 360 室外和 BungeeNeRF）以及所有场景组合的 3DGS 表示方法的贝叶斯 Elo 分数。 WD-R 和 WD 在所有设置中均获得最高分（在 95% 置信区间内）。