自动编码器和潜在空间的简要介绍

简介 繁重计算是当今各种机器学习算法中的一个众所周知的问题,特别是当生成式人工智能应用于文本、图像和其他非结构化数据时。缓解此问题的主要方法之一是将输入数据压缩为低维表示,同时保留主要上下文。有多种方法可以实现这一目标[...]自动编码器和潜在空间的温和介绍一文首先出现在走向数据科学上。

来源:走向数据科学

繁重的计算是当今各种机器学习算法中的一个众所周知的问题,特别是当生成式人工智能应用于文本、图像和其他非结构化数据时。

缓解此问题的主要方法之一是将输入数据压缩为低维表示,同时保留主要上下文。有多种方法可以实现这一目标,包括自动编码器,我们将在本文中讨论。

为简单起见,在本文中,我们将重点关注基于图像的自动编码器,但请记住,它们也可以应用于其他数据类型。

想法

自动编码器是一种用于无监督学习的神经网络。他们的架构由三个主要组件组成:

  • 编码器。神经网络的第一部分获取输入数据并通过其层逐渐降低其维度,最终达到瓶颈。
  • 瓶颈。具有最小维度的网络层,包含输入数据的潜在表示。
  • 解码器。网络中连接到瓶颈输出的部分,逐渐扩展数据的维度。因此,在最后一层,它返回的数据大小与最初传递给编码器的数据大小相同。
  • 对于图像,编码器和解码器通常表示为卷积神经网络。

    在自动编码器中,我们在训练过程中的最终目标是使网络在瓶颈中将输入数据转换为更压缩的表示,而不会丢失太多信息。在推理过程中,我们可以将数据传递给编码器,从瓶颈中提取生成的嵌入,然后将其用于我们自己的目的。

    让我们了解自动编码器中的训练如何进行。

    训练

    自动编码器的一大优点是它们不需要任何标记数据!让我们看看它们是如何工作的。

    正如您可能已经猜到的,解码器可以简单地尝试从瓶颈中的压缩表示重建原始图像。为什么要这样做呢?

    这背后的想法很简单:

    重建损失