详细内容或原文请订阅后点击阅览
混合动力AI模型在几秒钟内制作流畅,高质量的视频
CAUSVID生成的AI工具使用扩散模型来教授自回归(逐帧)系统,以迅速生成稳定的高分辨率视频。
来源:MIT新闻 - 人工智能幕后几乎看人工智能模型产生的视频是什么样的?您可能会认为该过程类似于定格动画,其中创建和缝合了许多图像,但是对于“扩散模型”(如OpenAl的Sora和Google的VEO 2)而言,情况并非如此。
这些系统不是一次处理整个序列,而不是制作视频框架(或“自动捕获”)。所得的剪辑通常是逼真的,但是该过程很慢,不允许进行直接更改。 麻省理工学院计算机科学和人工智能实验室(CSAIL)和Adobe Research的科学家现在已经开发了一种称为“ Causvid”的混合方法,以在几秒钟内创建视频。就像一个快速的学生向一位熟练的老师学习一样,一个完整的扩散模型训练自回归系统,以迅速预测下一个框架,同时确保高质量和一致性。然后,Causvid的学生模型可以从简单的文本提示中生成剪辑,将照片转换为移动的场景,扩展视频或使用新输入中的新输入更改其创作。
此动态工具可以快速,交互式内容创建,将50步流程切成几个动作。它可以制作许多富有想象力和艺术的场景,例如纸飞机变成天鹅,羊毛猛mm象在雪中冒险,或者一个孩子跳到水坑里。用户还可以发出初始提示,例如“生成一个人过马路”,然后进行后续输入以在现场添加新元素,例如“当他到达对面的人行道时,他在笔记本上写了写作。”
Causvid制作的视频说明了其创建光滑,高质量内容的能力。
AI生成的动画由研究人员提供。
纸 因果(vid)和效果CAUSVID可以实现快速,交互式视频的创建,将50步的过程切成几个动作。 视频由研究人员提供。
OpenSora Moviegen vChitect gen-3。