详细内容或原文请订阅后点击阅览
变分自动编码器的混合 - MoE 与 VAE 的融合
一种无监督的数字分类和生成方法。
来源:Another Datum变分自动编码器 (VAE) 是尝试学习输入空间形状的神经网络的典范。经过训练后，该模型可用于从输入空间生成新样本。
变分自动编码器 (VAE)如果我们有输入数据的标签，那么也可以根据标签来调节生成过程。在 MNIST 的情况下，这意味着我们可以指定要为哪个数字生成图像。
调节生成过程 MNIST让我们更进一步……我们能否在不使用标签的情况下根据数字来调节生成过程？我们可以使用无监督方法实现相同的结果吗？
如果我们想依赖标签，我们可以做一些非常简单的事情。我们可以训练 10 个独立的 VAE 模型，每个模型使用单个数字的图像。
这显然可行，但你使用了标签。这是作弊！
这显然可行，但你使用了标签。这是作弊！好吧，我们根本不使用它们。让我们训练我们的 10 个模型，然后，在将每幅图像传递给适当的模型之前，用眼睛看一下它。
嘿，你又作弊了！虽然你不使用标签本身，但你确实会查看图像以将它们路由到适当的模型。
嘿，你又作弊了！虽然你不使用标签本身，但你确实会查看图像以将它们路由到适当的模型。好吧……如果我们不自己进行路由，而是让另一个模型学习路由，那就根本不是作弊了，不是吗？
对！ :)
对！:)我们可以使用 11 个模块的架构，如下所示：
但是管理器如何决定将图像传递给哪个专家？ 我们可以训练它来预测图像的数字，但同样 - 我们不想使用标签！
呼...我以为你要作弊......
呼...我以为你要作弊...... 专家混合 (MoE)向非专家解释专家混合¶
¶ YouTubeMoE 使用多个子网络的架构来实现这一点 - 一个管理器和多个专家：
视频 ¶