详细内容或原文请订阅后点击阅览
Velox：学习 4D 几何和外观的表示
我们引入了一个用于学习 4D 对象的潜在表示的框架，该表示是描述性的，忠实地捕获对象的几何形状和外观；压缩，有助于提高下游效率；并且易于访问，需要最少的输入（即非结构化动态点云）来构建。具体来说，Velox 训练编码器将时空颜色点云压缩为一组动态形状标记。这些标记使用两个互补的解码器进行监督：一个 4D 表面解码器，它对捕获几何形状的时变表面分布进行建模；和高斯解码器......
来源:Apple机器学习研究我们引入了一个用于学习 4D 对象的潜在表示的框架，该表示是描述性的，忠实地捕获对象的几何形状和外观；压缩，有助于提高下游效率；并且易于访问，需要最少的输入（即非结构化动态点云）来构建。具体来说，Velox 训练编码器将时空颜色点云压缩为一组动态形状标记。这些标记使用两个互补的解码器进行监督：一个 4D 表面解码器，它对捕获几何形状的时变表面分布进行建模；高斯解码器，将标记映射到 3D 高斯，帮助学习外观。为了证明我们的表示的实用性，我们在三个下游任务中对其进行了评估——视频到 4D 生成、3D 跟踪和通过图像到 4D 生成进行布料模拟——并观察到在所有设置中的强大性能。