详细内容或原文请订阅后点击阅览
通过多视图捕获进行大规模高质量 3D 高斯头部重建
我们提出了 HeadsUp，这是一种可扩展的前馈方法，用于从大规模多相机设置重建高质量 3D 高斯头部。我们的方法采用高效的编码器-解码器架构，将输入视图压缩为紧凑的潜在表示。然后，该潜在表示被解码为一组锚定到中性头部模板的 UV 参数化 3D 高斯函数。这种 UV 表示将 3D 高斯的数量与输入图像的数量和分辨率解耦，从而能够使用许多高分辨率输入视图进行训练。我们在......上训练和评估我们的模型
来源:Apple机器学习研究我们提出了 HeadsUp，这是一种可扩展的前馈方法，用于从大规模多相机设置重建高质量 3D 高斯头部。我们的方法采用高效的编码器-解码器架构，将输入视图压缩为紧凑的潜在表示。然后，该潜在表示被解码为一组锚定到中性头部模板的 UV 参数化 3D 高斯函数。这种 UV 表示将 3D 高斯的数量与输入图像的数量和分辨率解耦，从而能够使用许多高分辨率输入视图进行训练。我们在包含 10,000 多个受试者的内部数据集上训练和评估我们的模型，这比现有的多视图人体头部数据集大一个数量级。 HeadsUp 实现了最先进的重建质量，并且无需测试时优化即可推广到新的身份。我们广泛分析了模型在身份、视图和模型容量方面的扩展行为，揭示了质量计算权衡的实用见解。最后，我们通过展示两个下游应用来强调潜在空间的优势：生成新颖的 3D 身份并使用表达混合形状对 3D 头部进行动画处理。