FastVLM: Efficient Vision Encoding for Vision Language Models
视觉语言模型（VLMS）可与文本输入一起视觉理解。它们通常是通过将视觉令牌从验证的视觉编码传递到预处理的大型语言模型（LLM）通过投影层来构建的。通过利用视觉编码器的丰富视觉表示以及LLM的世界知识和推理能力，VLM可用于广泛的应用程序，包括可访问性助手，UI导航，机器人技术和GAMING.VLM精度通常可以通过更高的输入图像解决，可以在精确的情况下提高精确折磨，> vlm的精度可以提高。
ILuvUI: Instruction-Tuned Language-Vision Modeling of UIs from Machine Conversations
多模式视觉模型（VLMS）从对图像和语言的融合理解中启用了强大的应用程序，由于缺乏UI培训数据，Butmany在UI任务上的表现较差。在本文中，我们通过将现有基于像素的方法与大语言模型（LLM）相结合，以将VLM的配对文本构想数据与UI域生成对UI域。与Plior Art不同，我们的方法不需要人提供的注释，并且可以应用于UI屏幕截图的任何数据集。我们生成了335K的对话示例的adataset，并与涵盖问答的UI配对，UI…
