详细内容或原文请订阅后点击阅览
一层就足够了：采用预训练的视觉编码器进行图像生成
视觉生成模型（例如扩散模型）通常在压缩的潜在空间中运行，以平衡训练效率和样本质量。与此同时，人们对利用高质量的预训练视觉表示越来越感兴趣——无论是在 VAE 内对齐它们还是直接在生成模型内对齐它们。然而，由于面向理解的特征和生成友好的潜在空间之间的根本不匹配，适应这种表示仍然具有挑战性。表示编码器受益于高维潜伏，捕捉不同的假设......
来源:Apple机器学习研究视觉生成模型（例如扩散模型）通常在压缩的潜在空间中运行，以平衡训练效率和样本质量。与此同时，人们对利用高质量的预训练视觉表示越来越感兴趣——无论是在 VAE 内对齐它们还是直接在生成模型内对齐它们。然而，由于面向理解的特征和生成友好的潜在空间之间的根本不匹配，适应这种表示仍然具有挑战性。表示编码器受益于高维潜在，捕获屏蔽区域的不同假设，而生成模型则倾向于低维潜在，必须忠实地保留注入的噪声。这种差异导致之前的工作依赖于复杂的目标和架构。在这项工作中，我们提出了 FAE（特征自动编码器），这是一种简单而有效的框架，它将预先训练的视觉表示适应低维潜在，适合使用很少的单个注意层进行生成，同时保留足够的信息用于重建和理解。关键是耦合两个独立的深度解码器：一个经过训练以重建原始特征空间，第二个将重建的特征作为图像生成的输入。 FAE 是通用的——它可以用各种自监督编码器（例如 DINO、SigLIP）进行实例化，并插入两个不同的生成系列——扩散模型和标准化流。在类条件和文本到图像基准测试中，FAE 取得了强劲的性能。例如，在 ImageNet 256×256 上，我们使用 CFG 的扩散模型获得了接近最先进的 FID：1.29（800 个 epoch）和 1.70（80 个 epoch）。在没有 CFG 的情况下，FAE 达到了最先进的 FID 1.48（800 个 epoch）和 2.08（80 个 epoch），展示了高质量和快速的学习。