摘要。我们提出了一种新颖的图像到视频生成方法,该方法将转换单个图像和输入条件(例如,将力和扭矩应用于图像中的对象),以产生一种现实,物理上合理的和时间一致的视频。我们的关键见解是将基于模型的物理仿真与数据驱动的视频通用过程集成,从而实现了合理的图像空间动力学。我们系统的核心是三个核心组成部分:(i)有效捕获图像的几何形状,材料和物理参数的图像理解模块; (ii)使用刚体物理和推断参数来模拟实体行为的图像空间动力学模拟模型; (iii)基于图像的渲染和完善模块,利用生成视频扩散来产生具有模拟运动的逼真的视频镜头。由此产生的视频在物理和外观上都是实现的,甚至是可控制的,从而通过定量比较和全面的用户研究来表现出优于现有数据驱动的图像到视频的效果。Physgen的结果视频可用于各种下游
主要关键词