在训练期间通过改组框架更好地生成AI视频

本周在ARXIV上发出的一篇新论文解决了一个问题,该问题的任何人现在都会出现hunyuan视频或WAN 2.1 AI视频发电机的问题:暂时的畸变,在这种情况下,生成过程倾向于突然加快,混乱,省略,省略或以其他方式混乱的时刻,在一份产生的视频中陷入困境:在[…]上播放的视频中,请在[…]出现时出现。

来源:Unite.AI

本周在ARXIV上发出的一篇新论文解决了一个问题,任何采用Hunyuan视频或WAN 2.1 AI视频发电机的人都将出现:暂时的畸变,生成过程往往会突然加快,混乱,忽略或以其他方式弄乱,或者以其他方式陷入困境:

Hunyuan视频 WAN 2.1 时间畸变

单击要播放。新论文中突出显示了新浪潮的生成视频系统用户所熟悉的一些时间故障。在右边,新磁通量方法的改善效果。  来源:https://haroldchen19.github.io/fluxflow/

单击播放 。新论文中突出显示了新浪潮的生成视频系统用户所熟悉的一些时间故障。在右边,新磁通量方法的改善效果。

上面的视频中有示例测试视频的摘录(请警告:相当混乱)本网站。我们可以看到作者方法(视频中的右图)正在修复一些日益熟悉的问题,这实际上是适用于任何生成视频体系结构的数据集预处理技术。

项目网站 数据集预处理

在第一个示例中,由Cogvideox生成的“两个孩子玩球”的特征是(在上面的汇编视频中以及下面的特定示例中的左侧),本地一代迅速跳过了几个必需的微动物,从而加快了孩子的活动,直至“卡通”。相比之下,相同的数据集和方法通过新的预处理技术(称为通量流)(在下面的视频中的图像右侧)产生更好的结果:

cogvideox FluxFlow

单击要播放。

Nova-0.6b

在各种图像和视频综合组中,运动或主体被“卡住”的综合症是HV和WAN最常见的HV和WAN的虫子之一。

看这周 运动 更改帧数 新作品 图像