One Layer Is Enough: Adapting Pretrained Visual Encoders for Image Generation
视觉生成模型（例如扩散模型）通常在压缩的潜在空间中运行，以平衡训练效率和样本质量。与此同时，人们对利用高质量的预训练视觉表示越来越感兴趣——无论是在 VAE 内对齐它们还是直接在生成模型内对齐它们。然而，由于面向理解的特征和生成友好的潜在空间之间的根本不匹配，适应这种表示仍然具有挑战性。表示编码器受益于高维潜伏，捕捉不同的假设......
LensVLM: Selective Context Expansion for Compressed Visual Representation of Text
视觉语言模型 (VLM) 提供了将文本处理为渲染图像的令人兴奋的可能性，无需将文本标记为长标记序列。由于 VLM 图像编码器将固定大小的图像映射到固定数量的视觉标记，因此不同的渲染分辨率提供了细粒度的压缩旋钮。然而，随着压缩率的增加，准确性会迅速下降：字符缩小到低于视觉编码器的有效分辨率，使它们难以区分。为了解决这个问题，我们提出了 LensVLM，这是一个推理框架和训练后配方，使 VLM 能够扫描……
