Adapting Self-Supervised Representations as a Latent Space for Efficient Generation
我们引入了 Representation Tokenizer (RepTok)，这是一种生成建模框架，它使用从自监督视觉转换器获得的单个连续潜在标记来表示图像。在预先训练的 SSL 编码器的基础上，我们仅微调语义标记嵌入，并将其与使用标准流匹配目标联合训练的生成解码器配对。这种适应通过低级的、与重建相关的细节丰富了令牌，从而实现了忠实的图像重建。为了保留原始 SSL 空间的有利几何形状，我们添加了余弦相似度损失......
