机构名称：
¥ 1.0
人类的视野。这种能力不仅对于诸如对象操纵和导航之类的实践日常任务至关重要，而且在培养人类创造力方面起着关键作用，使我们能够以深度，幽默感和沉浸感进行设想和制作对象。在本文中，我们重新审视了视图综合问题并提出：我们如何学习一般的3D表示以促进可扩展的视图综合？我们试图从以下两个观察结果中调查这个问题：i）到目前为止，目前的最新进展主要集中在训练速度和/或提高效率上[12，18，18，31，48]。值得注意的是，这些进步都共同依赖于体积渲染以进行场景优化。因此，所有这些视图合成方法固有地是场景特定的，再加上全局3D空间坐标。相比之下，我们主张一个范式移动，其中3D表示仅依赖场景颜色和几何形状，学习隐式表示无需地面真相3D几何形状，同时也从任何特定坐标系统中具有重要的独立性。这种区别对于实现可扩展性至关重要，以超越场景指编码所施加的约束。ii）本质上，视图合成更适合作为有条件的生成建模问题，类似于生成图像中的图像[25，60]。随着可用信息的增加，生成的场景变得更加限制，逐渐收敛于地面真相表示。仅给出一组稀疏的参考视图时，所需的模型应提供多个合理的预测，并利用生成表述中的固有随机性，并从自然图像统计信息和从其他图像和对象中学到的语义先验中获取见解。值得注意的是，现有的3D生成模型通常仅支持单个参考视图[20 - 23，44]。我们认为，更理想的生成配方应具有不同级别的输入信息。在这些见解的基础上，我们引入了Eschernet，这是一种图像到图像的条件扩散模型，用于视图合成。Eschernet利用了使用Dot-Product自我注意力的变压器体系结构[51]，以捕获参考对目标和目标对目标视图一致性之间的复杂关系。Eschernet中的一个关键创新是相机位置编码（CAPE）的设计，专门代表4个DOF（以对象）和6个DOF相机姿势。这种编码的速率空间结构进入令牌，使模型能够仅基于其相对摄像机的转换来计算查询和密钥之间的自我注意事项。总而言之，Eschernet表现出以下非凡的特征：•一致性：埃舍内特固有地整合了视图的固定性，这要归功于相机位置编码的设计，从而鼓励了对目标对目标和目标视图视图的一致性。
Eschernet：可扩展视图合成的生成模型
主要关键词
相关文件推荐
