详细内容或原文请订阅后点击阅览
Luce：用于3D资产生成的可重照明高斯模型
高保真图像到3D生成需要一种能够同时捕捉几何形状和外观的3D表示。为了支持重新照明和集成到标准渲染管道中，该表示应包括基于物理的渲染（PBR）模态。
来源:Apple机器学习研究高保真图像到3D生成需要一种能够捕捉几何和外观的3D表示。为了支持重新照明并集成到标准渲染流程中，该表示应包括基于物理的渲染（PBR）模式，如反照率、金属粗糙度和表面法线。我们提出Luce，一种在体素化多模态高斯云中统一几何和PBR材料的3D表示，为每种模态使用专用的高斯图元。一个变分自编码器将该表示压缩到一个统一的材料感知潜在空间中。一个整流流变换器从单张图像生成该潜在表示，条件是来自预训练图像编码器的多层特征，这些特征保留了语义上下文和精细空间细节。然后，潜在表示解码为可重新照明的PBR高斯函数和一个可选的带切线空间法线贴图的纹理网格。在Toys4K上，Luce实现了最先进的单图像到3D生成，FID比最强基线提高了28%。我们进一步引入了一个AI生成图像的基准，在该基准上，Luce将CLIP图像对齐分数提高到最佳基线之上（0.8519 vs. 0.8299）。Luce生成可重新照明、几何准确且材料逼真的资产，保留了文本、标志和铭文等精细细节。