在AI视频生成中完全控制
诸如Hunyuan和Wan 2.1之类的视频基础模型虽然强大,但并未为用户提供电影和电视制作(尤其是VFX制作)需求的颗粒状控制。在专业的视觉效果工作室中,诸如此类的开源模型,以及较早的基于图像的(而不是视频)模型,例如稳定的扩散,kandinsky和Flux,通常是[…] AI视频生成中完全控制的帖子,首先出现在Unite.ai上。
来源:Unite.AI诸如Hunyuan和Wan 2.1之类的视频基础模型虽然强大,但并未为用户提供电影和电视制作(尤其是VFX制作)需求的颗粒状控制。
hunyuan WAN 2.1在专业的视觉效果工作室中,诸如此类的开源模型,以及较早的基于图像的(而不是视频)模型,例如稳定扩散,坎登斯基和助图,通常与一系列支持其原始输出以满足特定创造性需求的支持工具一起使用。当导演说:“这看起来很棒,但是我们可以让它多一点吗?”您不能说该模型还不够精确,无法处理此类请求。
稳定扩散 Kandinsky flux “看起来很棒,但是我们可以使它多一点[n]吗?”相反,AI VFX团队将使用一系列传统的CGI和构图技术,与随时间推移的自定义过程和工作流相结合,以尝试将视频合成的限制进一步推动。
CGIso类比,基础视频模型就像Chrome这样的Web浏览器的默认安装。它可以开箱即用,但是如果您希望它适应您的需求,而不是反之亦然,则需要一些插件。
控制狂
在基于扩散的图像合成世界中,最重要的第三方系统是控制网。
ControlNetControlNet是一种用于将结构化控制添加到基于扩散的生成模型中的技术,使用户可以使用其他输入(例如边缘地图,深度地图或姿势信息)引导图像或视频生成。
边缘地图 深度地图 姿势信息控制网的各种方法允许深度>图像(顶行),语义分割>图像(左下)和人类和动物的姿势引导的图像产生(左下)。
ControlNet不仅依靠文本提示,而是引入单独的神经网络分支或适配器,而是在保留基本模型的生成功能的同时处理这些条件信号。
适配器 分支冲突 -5