摘要。我们提出了一种新颖的图像到视频生成方法,该方法将转换单个图像和输入条件(例如,将力和扭矩应用于图像中的对象),以产生一种现实,物理上合理的和时间一致的视频。我们的关键见解是将基于模型的物理仿真与数据驱动的视频通用过程集成,从而实现了合理的图像空间动力学。我们系统的核心是三个核心组成部分:(i)有效捕获图像的几何形状,材料和物理参数的图像理解模块; (ii)使用刚体物理和推断参数来模拟实体行为的图像空间动力学模拟模型; (iii)基于图像的渲染和完善模块,利用生成视频扩散来产生具有模拟运动的逼真的视频镜头。由此产生的视频在物理和外观上都是实现的,甚至是可控制的,从而通过定量比较和全面的用户研究来表现出优于现有数据驱动的图像到视频的效果。Physgen的结果视频可用于各种下游
1。简介compution countientation在包括机器人技术和航空设备在内的许多领域中,刚体的方向是一项重要任务。特定于机器人技术,定向在许多工业,医疗和手术应用中起着基本作用。各种方法通常用于建模和表示刚体的方向,例如球形坐标和欧拉角,或偏航,俯仰和滚动(YPR)角度。这些方法使用3 3个矩阵来保存三个单元向量的投影坐标,从而使它们成为内存和资源密集型。相比之下,还开发了紧凑的方法,例如四季度和双重四季度。此代表仅使用四个组件:一个真实和三个虚构部分。上述所有方法已成功用于多个应用程序;
1尽管在第3.1节中正式定义了 1,但它们可以非正式地理解为那些符合欧几里得几何形状的五个公理的 1(1 st的事物(等于同一事物的1件事也等于彼此),如果将等于等值的零件等于相等;彼此彼此相等。 2对象的姿势既包括其位置和态度。1,但它们可以非正式地理解为那些符合欧几里得几何形状的五个公理的 1(1 st的事物(等于同一事物的1件事也等于彼此),如果将等于等值的零件等于相等;彼此彼此相等。 2对象的姿势既包括其位置和态度。1(1 st的事物(等于同一事物的1件事也等于彼此),如果将等于等值的零件等于相等;彼此彼此相等。2对象的姿势既包括其位置和态度。
推荐引用 推荐引用 Hembree, Bradley C.,“使用非递归和递归刚体动力学的高效系留气球模型公式”(2010 年)。学位论文。260。https://louis.uah.edu/uah-dissertations/260
1机械工程系,魁北克大学氢和研究所的机械工程系,3351 BOULEVARD DES FORGES,TROIS-RIVIères,QC G8Z 4M3,加拿大,电子邮件,电子邮件:nadjet.zioui@uqqtr.ca 2 Ezzouar,16111年,阿尔及利亚,阿尔及利亚,电子邮件:yousra.mahmoudi@uqtr.ca 3城市液压部,国立液压学院Arbaoui Abdallah,29号,布里达路线29,阿尔及利亚4Véo4Véo项目,Sherbrooke,Sherbrooke,2500 de l'电子邮件:aicha.mahmoudi@usherbrooke.ca 5流程控制实验室,国家理工学院,阿尔及利亚,阿尔及利亚,电子邮件:mohamed.tadjine@g.enp.enp.edu.dz 6工程与科学学院,挪威西部挪威大学应用科学大学,北挪威大学,北北,5063,5063,Email,电子邮件: say.bentouba@hvl.no