弥合生成视频中的“空间差距”
来自中国的一项新研究提供了一种改进的方法来插入两个时间上相距较远的视频帧之间的间隙——这是当前生成 AI 视频以及视频编解码器压缩在真实性方面的竞争中面临的最关键挑战之一。在下面的示例视频中，我们在最左边的列中看到一个“开始”[…] 这篇文章《弥合生成视频中的“空间”》首先出现在 Unite.AI 上。
来源:Unite.AI来自中国的一项新研究提供了一种改进的方法来插入两个时间上相距较远的视频帧之间的间隙——这是当前生成式人工智能视频以及视频编解码器压缩在追求真实感方面面临的最关键挑战之一。
插值 编解码器在下面的示例视频中，我们在最左边的列中看到“开始”（左上方）和“结束”（左下方）帧。 竞争系统必须承担的任务是猜测两张图片中的主体如何从 A 帧移动到 B 帧。 在动画中，这个过程称为补间，让人回想起电影制作的无声时代。
补间 补间 补间单击播放。 在最左边的第一列中，我们看到了建议的开始帧和结束帧。在中间一列和第三列（最右边）的顶部，我们看到了应对这一挑战的三种先前方法。在右下角，我们看到新方法在提供间隙帧方面获得了更令人信服的结果。来源：https://fcvg-inbetween.github.io/
单击播放。在最左边的第一列中，我们看到了建议的开始和结束帧。在中间一列和第三列（最右边）的顶部，我们看到了应对这一挑战的三种先前方法。在右下角，我们看到新方法在提供间隙帧方面获得了更令人信服的结果。来源：https://fcvg-inbetween.github.io/ 单击播放。在最左边的第一列中，我们看到了建议的开始和结束帧。在中间一列和第三列（最右边）的顶部，我们看到了应对这一挑战的三种先前方法。右下角，我们看到新方法在提供间隙帧方面获得了更令人信服的结果 点击播放。中国研究人员提出的新方法称为逐帧条件驱动的视频生成（FCVG），其结果可以在上述视频的右下角看到，它提供了从一个静止帧到下一个静止帧的平滑且合乎逻辑的过渡。
大运动的帧插值