机构名称：
¥ 5.0
摘要。扩散模型已成为生成建模的强大框架。该方法的核心是分数匹配：在不同尺度上，数据分布的嘈杂版本的对数密度的学习梯度。当使用经验数据而不是人口损失评估评分匹配中采用的损失函数时，最小化器对应于时间依赖的高斯混合物的得分。但是，使用此分析可牵引的最小化器会导致数据记忆：在无条件和条件设置中，生成模型都返回训练样本。本文包含对记忆潜在的动力学机制的分析。分析强调了避免重现分析可牵引的最小化器的正规化的必要性；而且，这样做的基础是对如何正规化的原则理解。数值实验研究了：（i）Tikhonov正则化的特性； （ii）旨在促进渐近一致性的正则化； （iii）通过训练神经网络的神经网络的参数不足或提早停止引起的正常化。这些实验是在记忆的背景下评估的，并突出了未来正规化发展的方向。
生成扩散模型中的记忆和正则化
主要关键词
相关文件推荐
