改进了基于扩散的生成模型
机构名称:
¥ 3.0

扩散概率模型(DPM)在发电任务中取得了显着成功。但是,他们的培训和抽样过程遇到了分配不匹配的问题。在降级过程中,培训和推理阶段之间的输入数据分布有所不同,可能导致数据生成不准确。为了消除这一点,我们分析了DPM的训练目标,并在看来可以通过分布强劲的优化(DRO)来缓解这种不匹配,这等同于在DPMS上进行稳健性驱动的对抗性训练(在)。此外,对于最近提出的一致性模型(CM),它提炼了DPM的推理过程,我们证明其训练目标还遇到了不匹配问题。幸运的是,此问题也可以通过AT减轻。基于这些见解,我们建议在DPM和CM上进行有效的效率。最后,广泛的经验研究验证了基于扩散模型的AT有效性。代码可在https://github.com/kugwzk/at_diff上找到。

改进了基于扩散的生成模型

改进了基于扩散的生成模型PDF文件第1页

改进了基于扩散的生成模型PDF文件第2页

改进了基于扩散的生成模型PDF文件第3页

改进了基于扩散的生成模型PDF文件第4页

改进了基于扩散的生成模型PDF文件第5页