机构名称：
¥ 1.0
摘要。扩散模型在高质量产生中表现出色，但由于迭代采样而导致缓慢的推断。尽管最近的方法已成功地将扩散模型转换为单步生成器，但它们忽略了模型尺寸的减小，从而将其适用性限制在计算受约束的情况下。本文旨在通过探索推理步骤和模型大小的关节压缩来开发基于强大的整流流框架的小型，有效的一步扩散模型。使用两种操作，回流和蒸馏，整流的流框架训练一步生成模型。与原始框架相比，挤压型号的大小带来了两个新的挑战：（1）在回流过程中，大型老师和小学生之间的初始化不匹配； （2）小型学生模型上天真蒸馏的表现不佳。为了克服这些问题，我们提出了退火回退和流引导的蒸馏，这共同构成了我们的Slimflow框架。使用新颖的框架，我们训练一个一步扩散模型，其FID为5.02和1570万参数，在CIFAR10上表现优于先前最新的一步扩散模型（FID = 6.47，1940万参数）。在Imagenet 64×64和FFHQ 64×64上，我们的方法产生了与较大模型相当的小型单步扩散模型，从而展示了我们方法在创建紧凑，有效的一步扩散模型时的效率。
Slimflow：训练带有整流流量的较小的一步扩散模型
主要关键词
相关文件推荐
