逐步扩散:基本教程

我们提供了一门关于扩散模型数学和机器学习流程匹配的可访问的第一门课程。我们的目标是尽可能简单地教授扩散,以最少的数学和机器学习先决条件,但足够的技术细节来理解其正确性。与大多数有关该主题的教程不同,我们既不采用变异自动编码器(VAE),也不采用随机微分方程(SDE)方法。实际上,对于核心思想,我们将不需要任何SDE,基于证据的降低器(ELBOS),Langevin Dynamics,甚至分数的概念。读者只需要…

来源:Apple机器学习研究

我们提供了一门关于扩散模型数学和机器学习流程匹配的可访问的第一门课程。我们的目标是尽可能简单地教授扩散,以最少的数学和机器学习先决条件,但足够的技术细节来理解其正确性。与大多数有关该主题的教程不同,我们既不采用变异自动编码器(VAE),也不采用随机微分方程(SDE)方法。实际上,对于核心思想,我们将不需要任何SDE,基于证据的降低器(ELBOS),Langevin Dynamics,甚至分数的概念。读者只需要熟悉基本概率,微积分,线性代数和多元高斯人即可。

本教程有五个部分,每个部分相对独立。第1节介绍了扩散的基本原理:我们试图解决的问题以及基本方法的概述。第2和3节显示了如何分别构造随机和确定性扩散采样器,并为为什么这些采样器正确扭转了正向扩散过程而给出直观的推导。第4节涵盖了与流程匹配密切相关的主题,可以将其视为扩散的概括,该扩散提供了额外的灵活性(包括所谓的整流流或线性流)。最后,在第5节中,我们返回扩散并将本教程连接到更广泛的文献,同时突出了一些在实践中最重要的设计选择,包括采样器,噪声时间表和参数化。

†MILA,蒙特利尔大学†MILA,蒙特利尔大学