Toonify

vtoonify：可控的高分辨率肖像视频风格转移

生成高质量的艺术肖像视频是计算机图形和视觉中的重要且理想的任务。尽管已经提出了一系列成功的肖像图像图像模型模型，但这些面向图像的方法在应用于视频（例如固定框架尺寸，面部对齐，缺失非种族细节和时间不一致的要求）时具有明显的局限性。在这项工作中，我们通过引入一个新颖的Vtoonify框架来研究具有挑战性的可控高分辨率肖像视频风格转移。具体而言，Vtoonify利用了基于编码器提取的多尺度内容功能的高质量艺术肖像来利用型号的中高分辨率层，以更好地保留框架详细信息。结果完全卷积体系结构接受可变大小的视频中的非对准面孔作为输入，从而有助于完整的面部区域，并在输出中自然动作。我们的框架与现有的基于样式的图像图像模型兼容，以将其扩展到视频化，并继承了这些模型的吸引力，以使其具有柔性风格的颜色和强度控制。这项工作分别为基于收藏和基于典范的肖像视频风格转移而建立在Toonify和Dualstylegan的基于Toonify和Dualstylegan的Vtoonify的两个实例化。广泛的实验结果证明了我们提出的VTOONIFY框架对现有甲基的有效性在生成具有灵活风格控件的高质量和临时艺术肖像视频方面的有效性。代码和预估计的模型可在我们的项目页面上找到：www.mmlab-ntu.com/project/vtoonify/。