3D 形状标记化

我们引入了形状标记,这是一种连续、紧凑且易于集成到机器学习模型中的 3D 表示。形状标记用作条件向量,表示 3D 流匹配模型中的形状信息。此流匹配模型经过训练,可以近似对应于集中在 3D 形状表面上的 delta 函数的概率密度函数。通过将形状标记整合到各种机器学习模型中,我们可以生成新形状、将图像转换为 3D、将 3D 形状与文本和图像对齐,并直接在变量处渲染形状……

来源:Apple机器学习研究

我们引入了形状标记,这是一种连续、紧凑且易于集成到机器学习模型中的 3D 表示。形状标记充当条件向量,表示 3D 流匹配模型中的形状信息。此流匹配模型经过训练,可以近似对应于集中在 3D 形状表面上的 delta 函数的概率密度函数。通过将形状标记整合到各种机器学习模型中,我们可以生成新形状、将图像转换为 3D、将 3D 形状与文本和图像对齐,并以用户指定的可变分辨率直接渲染形状。此外,形状标记可以对几何属性进行系统分析,包括法线、密度和变形场。在各个任务和实验中,与现有基线相比,使用形状标记表现出了强大的性能。

图 1:我们的 Shape Tokens 表示可以很容易地用作各种应用中的机器学习模型的输入/输出,包括单图像到 3D(左)、法线贴图的神经渲染(右上)和 3D-CLIP 对齐(右下)。与单个任务的基线相比,生成的模型实现了强大的性能。
图 1:我们的 Shape Tokens 表示可以很容易地用作各种应用中的机器学习模型的输入/输出,包括单图像到 3D(左)、法线贴图的神经渲染(右上)和 3D-CLIP 对齐(右下)。与单个任务的基线相比,生成的模型实现了强大的性能。
视频 1:视频展示了我们的单图像到 3D 点云结果。图像是 Objaverse 测试集中看不见的物体。每个视频首先显示输入图像,然后显示生成的点云。 [Credits]
视频 1:视频展示了我们的单幅图像到 3D 点云结果。图像是 Objaverse 测试集中未见过的物体。每个视频首先显示输入图像,然后显示生成的点云。[Credits]
[Credits] [Credits] [Credits]
  • [Credits]
  • 输入图像我们的