带有新变质视频功能的文本到视频ai ai花朵

使用延时视频作为培训数据,计算机科学家开发了视频发生器,这些视频发生器更准确地模拟了物理世界。

来源:罗切斯特大学

使用延时视频作为培训数据,计算机科学家开发了视频发生器,这些视频发生器更准确地模拟了物理世界。

虽然诸如Openai's Sora之类的文本到视频人工智能模型在我们眼前迅速变质,但他们一直在努力制作变质视频。对于AI系统而言,模拟树发芽或花朵开花比生成其他类型的视频更难,因为它需要物理世界的知识,并且可能差异很大。

,但是现在,这些模型已经采取了进化步骤。

罗切斯特大学,北京大学,加利福尼亚大学,圣克鲁斯大学和新加坡国立大学的计算机科学家开发了一种新的AI文本与视频模型,该模型从延时视频中学习了现实世界的物理知识。该团队在IEEE交易中发表的有关模式分析和机器智能的交易中概述了他们的模型Magictime。

罗切斯特大学 IEEE关于模式分析和机器智能的交易

“已经开发了人工智能来试图了解现实世界并模拟发生的活动和事件,”由罗切斯特计算机科学系的Jiebo Luo教授监督的博士生Jinfa Huang说。 “魔术师是迈出人工智能的一步,可以更好地模拟我们周围世界的物理,化学,生物或社会特性。”

jinfa huang Jiebo Luo 计算机科学系

以前的模型生成的视频通常具有有限的运动和变化差。为了培训AI模型以更有效地模仿变质过程,研究人员开发了一个高质量的数据集,其中包含2,000多个带有详细标题的延时视频。

Magictime