FastVLM: Efficient Vision Encoding for Vision Language Models
视觉语言模型（VLMS）可与文本输入一起视觉理解。它们通常是通过将视觉令牌从验证的视觉编码传递到预处理的大型语言模型（LLM）通过投影层来构建的。通过利用视觉编码器的丰富视觉表示以及LLM的世界知识和推理能力，VLM可用于广泛的应用程序，包括可访问性助手，UI导航，机器人技术和GAMING.VLM精度通常可以通过更高的输入图像解决，可以在精确的情况下提高精确折磨，> vlm的精度可以提高。
FastVLM: Efficient Vision encoding for Vision Language Models
缩放输入图像分辨率对于增强视觉语言模型（VLM）的性能至关重要，尤其是在文本丰富的图像理解任务中。但是，由于大量令牌和高度编码延迟，流行的视觉编码器（例如VIT）在高分辨率下效率低下。在不同的操作分辨率下，可以沿两个轴优化VLM的视觉编码器：减少编码延迟并最小化传递给LLM的视觉令牌的数量，从而降低整体延迟。基于对互动的综合效率分析…
