简单的回流:快速流模型的改进技术

扩散和流程匹配模型实现了显着的生成性能,但以许多抽样步骤的成本为代价,这会减慢推理并将适用性限制在关键任务中。回流过程可以通过拉直产生轨迹加速采样。但是,反流是一种迭代过程,通常需要对模拟数据进行培训,并导致样品质量降低。为了减轻样品恶化,我们检查了反流的设计空间,并在先前的启发式实践中突出了潜在的陷阱。然后,我们提出了七个训练动态的改进……

来源:Apple机器学习研究

扩散和流程匹配模型实现了显着的生成性能,但以许多抽样步骤的成本为代价,这会减慢推理并将适用性限制在关键任务中。回流过程可以通过拉直产生轨迹加速采样。但是,反流是一种迭代过程,通常需要对模拟数据进行培训,并导致样品质量降低。为了减轻样品恶化,我们检查了反流的设计空间,并在先前的启发式实践中突出了潜在的陷阱。然后,我们提出了七个改进培训动态,学习和推理的改进,通过对CIFAR10 32×32,AFHQV2 64×64和FFHQ 64×64的彻底消融研究进行了验证。结合我们所有的技术,我们实现了先进的FID速度,我们实现了Neverage Inder of Nevand / neural in。 1.91在AFHQV2上,FFHQ上的2.84 / 2.67,Imagenet-64上的3.49 / 1.74,仅具有9个神经功能评估。

†韩国高级科学技术学院(KAIST)