修复扩散模型对镜子和反射的有限理解

自从生成AI开始引起公共利益以来,计算机视觉研究领域已加深了其对能够理解和复制物理定律的AI模型的兴趣。然而,教学机器学习系统模拟重力和液体动力学等现象的挑战一直是研究工作的重点,即[…]固定扩散模型对镜像和反射的有限理解的有限理解,首先是在unite.ai上出现的。

来源:Unite.AI

自从生成AI开始引起公共利益以来,计算机视觉研究领域已加深了其对能够理解和复制物理定律的AI模型的兴趣。然而,教学机器学习系统模拟重力和液体动态等现象的挑战至少在过去五年中一直是研究工作的重点。

液体动力学 过去五年

由于潜在扩散模型(LDMS)在2022年占据了生成的AI场景,因此研究人员越来越关注LDM体系结构有限的理解和再现物理现象的能力。现在,随着OpenAI的生成视频模型Sora的里程碑开发以及(可以说)更大程度上出现的开源视频模型Hunyuan Video和WAN 2.1(WAN 2.1),该问题已获得了更大的突出。

潜在扩散模型 越来越重点 Sora, 视频 Hunyuan视频 WAN 2.1

反映不良

大多数旨在提高LDM对物理学理解的研究都集中在步态模拟,粒子物理和牛顿运动的其他方面等领域。这些领域引起了人们的关注,因为基本身体行为的不准确性会立即破坏AI生成的视频的真实性。

然而,一条小但不断增长的研究集中在LDM最大的弱点之一上 - 相对无法产生准确的反射。

相对无能 反射

从2025年1月的论文开始“反映现实:使扩散模型产生忠实的镜像反射”,“反射失败”与研究人员自己的方法的示例。资料来源:https://arxiv.org/pdf/2409.14677

从2025年1月的论文开始“反映现实:使扩散模型产生忠实的镜像反射”,“反射失败”与研究人员自己的方法的示例。 射线追踪 最重要的机会之一

图像问题

神经辐射场 高斯脱落 Ref2-nerf 2 nerfren Lora -5