机构名称：
¥ 1.0
一致性蒸馏是一种在一致性（轨迹）模型中采用的加速扩散模型的普遍方法，在该模型中，学生模型被训练以对概率流（PF）普通微分方程（PF）轨迹向后遍历，由教师模型确定。预处理是通过线性将输入数据和网络输出与预定义系数组合为一致性函数的稳定一致性蒸馏的重要技术。它强加了一致性函数的边界条件，而无需限制神经网络的形式和表现力。但是，先前的前提条件是手工制作的，可能是次优选择。在这项工作中，我们通过阐明其设计标准以及与教师ode轨迹的联系来提供对一致性蒸馏的预处理的第一个理论见解。基于这些分析，我们进一步提出了一种原则性的方式，以一种名为Analytic Tracent的方式，以根据一致性差距（以教师Denoiser和Optimal Student Denoiser之间的差距）对预处理进行分析优化预处理，从而对普遍的教师ODE进行了优化。我们证明了分析性可以促进轨迹跳线的学习，增强了学生创造力与教师的一致性，并在多个数据集的多步生成中实现一致性轨迹模型的2×至3×训练加速。
水平蒸馏
主要关键词
相关文件推荐
