详细内容或原文请订阅后点击阅览
LensVLM：用于文本压缩视觉表示的选择性上下文扩展
视觉语言模型 (VLM) 提供了将文本处理为渲染图像的令人兴奋的可能性，无需将文本标记为长标记序列。由于 VLM 图像编码器将固定大小的图像映射到固定数量的视觉标记，因此不同的渲染分辨率提供了细粒度的压缩旋钮。然而，随着压缩率的增加，准确性会迅速下降：字符缩小到低于视觉编码器的有效分辨率，使它们难以区分。为了解决这个问题，我们提出了 LensVLM，这是一个推理框架和训练后配方，使 VLM 能够扫描……
来源:Apple机器学习研究视觉语言模型 (VLM) 提供了将文本处理为渲染图像的令人兴奋的可能性，无需将文本标记为长标记序列。由于 VLM 图像编码器将固定大小的图像映射到固定数量的视觉标记，因此不同的渲染分辨率提供了细粒度的压缩旋钮。然而，随着压缩率的增加，准确性会迅速下降：字符缩小到低于视觉编码器的有效分辨率，使它们难以区分。为了解决这个问题，我们提出了 LensVLM，这是一种推理框架和后训练配方，使 VLM 能够扫描压缩图像，然后通过学习工具选择性地将相关图像扩展为其未压缩形式。 LensVLM 以 Qwen3.5-9B-Base 为基础，在 4.3 倍有效压缩下保持与全文上限相当的准确性，并在七个文本 QA 基准中优于基于检索的文本和视觉压缩基线，高达 10.1 倍有效压缩。 LensVLM 还可以推广到多模式文档和代码理解任务，随着压缩的增加，相对于基线的准确度增益也会增加。我们的分析验证了这种方法：训练使视觉压缩对渲染选择具有鲁棒性，并且随着压缩的增加，模型越来越依赖于扩展的内容，而不是不可靠的视觉阅读。该分析还提供了实用的工具选择指导：文本扩展更适合渲染文本，而高分辨率图像扩展适合其布局提示携带任务相关信息的本机文档。