潜在变量模型背后的理论：制定变分自动编码器

在过去的几年中，研究重点转向生成模型和无监督学习。生成对抗模型和潜在变量模型是两种最突出的架构。在本文中，我们将深入研究潜在变量模型的工作原理及其核心原理，并制定其最受欢迎的代表：变分自动编码器 (VAE)。

判别模型与生成模型

机器学习模型通常分为判别模型和生成模型。这种区别源于我们用来构建和训练这些模型的概率公式。

判别模型根据数据点 xxx 学习标签 yyy 的概率。用数学术语来说，这表示为 p(y∣x)p( y | x)p(y∣x)。为了将数据点归类为一个类，我们需要学习数据和类之间的映射。这种映射可以描述为概率分布。每个标签都会与其他标签“竞争”特定数据点的概率密度。

判别模型 yyy yyy yy $yy$ yy y y y y y xxx xxx xx xx $xx$ x x x x x x p(y∣x)p( y | x)p(y∣x) p(y∣x)p( y | x)p(y∣x) p(y∣x)p( y | x) p(y∣x)p( y | x) $p(y\mid x)p(\; y\; |\; x)$ p(y∣x) p ( y ∣ x ) p( y | x) p(y∣x) p(y∣x) p ( y ∣ x ) 学习数据和类别之间的映射 另一方面，生成模型学习没有外部标签的数据点的概率分布。从数学上讲，这可以表示为 p(x)p(x)p(x)。在这种情况下，我们让数据本身“竞争”概率密度。

生成模型

学习数据点的概率分布 p(x)p(x)p(x) p(x)p(x)p(x) p(x)p(x) p(x)p(x) $p(x)p(x)$ p(x) p ( x ) p(x) p(x) p ( x ) 条件生成模型是另一类模型，它试图学习以标签 yyy 为条件的数据 xxx 的概率分布。您可能已经知道，这表示为 p(x∣y)p(x|y)p(x∣y)。在这里，我们再次让数据“竞争”密度，但针对每个可能的标签。 条件生成模型

xxx

xxx xx