Loading...
机构名称:
¥ 1.0

一致性模型表现出较高的样本质量,即使不依赖于预先训练的教师扩散模型,也有几步的采样步骤。然而,随着总离散步骤的数量增加,由于差异很大,它们遭受了不稳定的培训,从而导致了次级性能。众所周知,可以通过预先训练的扩散模型初始化其权重来减轻这一点,这表明采用扩散模型解决该问题的有效性。受到这一点的启发,我们介绍了一个称为得分头的转换层,该转换层与一致性模型一起训练以形成更大的扩散模型。加法更新一致性模型,其分数来自得分头的级别会减少训练期间的差异。我们还观察到,该联合训练方案有助于一致性模型学习扩散模型获得的常见低级特征。在CIFAR-10测量时,样品质量会相应改善。

通过得分指导稳定一致性模型的训练

通过得分指导稳定一致性模型的训练PDF文件第1页

通过得分指导稳定一致性模型的训练PDF文件第2页

通过得分指导稳定一致性模型的训练PDF文件第3页

通过得分指导稳定一致性模型的训练PDF文件第4页

通过得分指导稳定一致性模型的训练PDF文件第5页