从大型2D图像收集中学习3D头先验是迈向高质量3D感知人类建模的重要一步。核心需求是一种有效的体系结构,可以很好地扩展到大型数据集和大型图像分辨率。不幸的是,现有的3D GAN由于火车相对较慢和渲染速度而难以扩展以高分辨率生成样品,并且通常必须依靠2D超分辨率网络以牺牲全球3D一致性为代价。为了应对这些挑战,我们提出了发电性高斯头(GGHEAD),该挑战在3D GAN框架内采用了最近的3D高斯剥落表示。为了生成3D表示,我们采用强大的2D CNN发电机来预测模板头网格的UV空间中的高斯属性。以这种方式,GGHEAD利用了模板的UV布局的规律性,从而实质上促进了预测非结构化的3D高斯人的挑战性任务。我们进一步提高了生成的3D表示的几何保真度,并在渲染的紫外线坐标上发生了新的总变化损失。直觉,这种正则化鼓励相邻的渲染像素应源于模板的紫外线空间中的邻近高斯人。总的来说,我们的管道可以有效地生成仅从单视2D图像观测值训练的3D头。我们的拟议框架与FFHQ上现有的3D头gan的质量相匹配,同时既快速又完全3D。结果,我们首次以1024 2分辨率证明了高质量3D一致的头的实时生成和渲染。项目网站:https://tobias-kirschstein.github.io/gghead
主要关键词