XiaoMi-AI文件搜索系统
World File Search System视觉模型
评估对象对象的基于视觉模型的弹性...
摘要。鉴于对最近的基于视觉模型的大规模多模式培训及其概括能力，因此了解其鲁棒性的程度对于他们的现实世界部署至关重要。在这项工作中，我们的目标是评估当前基于视觉模型的弹性，以应对不同的对象到后环上下文变化。大多数鲁棒性评估方法都引入了合成数据集，以引起对物体特征（观点，比例，颜色）的变化或实际图像上使用的图像转换技术（对抗性变化，常见的损坏），以模拟分离中的变化。最近的作品探索了利用大型语言模式和di！使用模型来产生背景变化。但是，这些方法要么缺乏对要进行的更改或扭曲对象语义的控制，从而使它们不适合任务。另一方面，我们的方法可以诱导各种对象兼容地面变化，同时保留对象的原始语义和对象的真实性。为了实现这一目标，我们利用文本对图像，图像到文本和图像对段的生成能力自动生成广泛的对象到背景的变化。我们通过修改文本提示或优化文本模型的潜伏期和Textual嵌入来引起自然和对抗背景的变化。这使我们能够量化背景上下文在理解深神经网络的鲁棒性和一般性中的作用。我们生产了各种版本的标准视觉数据集（Imagenet，Coco），将多样的和相同的背景纳入图像中，或在背景中引入颜色，纹理和对抗性变化。我们进行了彻底的实验，并对基于视觉模型的鲁棒性与对象之间的背景环境之间的鲁棒性进行了深入的分析。我们的代码和评估基准将在https://github.com/muhammad-huzaifaa/ObjectCompose上找到。
在固体基础上建立视觉模型的模型
视觉模型（VLM）的最新进步在弥合计算机视觉和自然语言处理之间的差距方面取得了重大飞跃。然而，传统的VLM通过对有限和嘈杂的图像文本对进行对比学习训练，通常缺乏空间和语言的理解，可以很好地推广到密集的视觉任务或更少的通用语言。我们的方法，坚实的基础剪辑（SF-CLIP），通过隐式建立对经过大量单峰数据训练的基础模型的可靠的视觉和语言理解来避免此问题。sf-clip将对比的图像文本预测与大型基础文本和视觉模型的掩盖知识蒸馏。这种方法可以指导我们的VLM开发强大的文本和图像表示。结果，SF-CLIP显示出异常的零射击分类精度，并增强了图像和文本检索能力，为在YFCC15M和CC12M上训练的VIT-B/16的新最新状态。此外，在语义分割任务中，密集的每个斑点监督增强了我们的零射击和线性探针的性能。我们模型的一个了不起的方面是它的多语言能力，尽管主要接受了英语数据的培训，但通过多种语言的强劲检索结果证明了这一点。我们通过选择性地应用掩盖的蒸馏和教师单词嵌入的继承来实现所有这些改进，而无需牺牲培训效率。
视觉模型的有效测试时间适应
通过预训练的视觉模型进行测试时间适应，引起了越来越多的关注，以应对测试时间的分离转移。尽管事先实现了非常有前途的性能，但它们会进行密集的计算，这与测试时间适应非常不规则。我们设计了TDA，这是一种无训练的动态适配器，可通过视觉模型进行有效，有效的测试时间适应。tda可与轻巧的键值缓存一起使用，该缓存维持具有很少射击伪标签的dy-namic队列作为值，而相应的测试样本特征则是键。杠杆键值缓存，TDA允许通过渐进式伪标签的细化逐渐调整数据，而逐步测试数据，而不会产生任何反向传播。此外，我们引入了负伪标记，即当模型不确定其伪标签预测时，通过将伪标签分配给某些负类时，可以减轻伪标签噪声的不利影响。在两个基准上进行的广泛实验表明，与最先进的艺术品相比，TDA的实体有效性和效率。该代码已在https：//kdiaaa.github.io/tda/中发布。
基于以上为中心的视觉模型，基于便携式实时智能助手
图4。Egovideo-VL模型的概述。 eGovideo-VL是一种旨在实时自我中心的理解和援助的多模式视觉语言模型。 该模型包含五个关键组件：（1）遵循Egovideo [58]的设计模态编码器，并包括一个视频编码器和用于多模式特征提取的文本编码器； （2）存储模块，该模块存储历史上下文以实现时间基础，摘要和个性化互动； （3）大型语言模型（LLM），该模型执行多模式推理和响应生成； （4）生成模块，该模块综合了视觉动作预测，以指导用户完成任务； （5）检索模块，该模块检索第三人称专家演示以补充以自我为中心的理解。Egovideo-VL模型的概述。eGovideo-VL是一种旨在实时自我中心的理解和援助的多模式视觉语言模型。该模型包含五个关键组件：（1）遵循Egovideo [58]的设计模态编码器，并包括一个视频编码器和用于多模式特征提取的文本编码器； （2）存储模块，该模块存储历史上下文以实现时间基础，摘要和个性化互动； （3）大型语言模型（LLM），该模型执行多模式推理和响应生成； （4）生成模块，该模块综合了视觉动作预测，以指导用户完成任务； （5）检索模块，该模块检索第三人称专家演示以补充以自我为中心的理解。
Benjamin L. Ochoa -UCSD CSE 计算机视觉简介I CSE 152A讲座1 LIFT3D：将任何2D视觉模型的零射击到3D Nadia Heninger -UCSD CSE 立体声（第2部分） Jishen Zhao -UCSD CSE 逆渲染的时空双侧梯度过滤 神经体系结构CSE 252D：高级计算机视觉 图像过滤 浮雕歧义 光度图像形成 未校准的立体声和特征提取
教学加利福尼亚大学圣地亚哥大学本科课程CSE 8B编程和计算问题解决简介II，2020，2021，2021，2022（春季和秋季），2023，2023，2025 CSE 11编程和计算问题解决简介解决简介：解决速度：加速速度，2024（Spring and Fall），2024（Spring and Fall）CSE 15L软件工具和技术分析，春季和2019年，2019年（冬季），2019年（冬季），2019年，冬季（冬季），企业，2019年冬季cers和2019 of Algorithms , 2018 CSE 152 Introduction to Computer Vision , 2015, 2016, 2017, 2018 CSE 152A Introduction to Computer Vision I (broad introduction), 2021, 2024 CSE 166 Image Processing , 2016, 2017, 2019, 2020 (spring and fall), 2022, 2023 (winter and fall) CSE 167 Computer Graphics , 2018, 2020 Graduate Courses CSE 252A Computer Vision I (comprehensive简介），2014，2015，2015，2016，2019，2021，2022，2023，2023，2025 CSE 252B计算机愿景II（成像几何），2014，2014，2015，2016，2017，2018，2019，2019，2021，2021，2021，2022，2022，2023，2023，2023，2024 CSE 252C选择了视觉和学习的主题291），2021（作为CSE 291），2022，2023，2024
利用自然文本监督的视觉模型进行MRI检索，字幕，分类和视觉问题回答
摘要 - 大型多模型现在已在全球范围内广泛使用，最强大的模型在大规模的通用数据集中受过训练。尽管它们迅速部署，但仍关注培训数据的质量和领域相关性，尤其是在放射学，医学研究和神经科学方面。此外，当查询接受医疗数据训练的模型时，医疗保健数据隐私至关重要，有关服务托管和数据存储的透明度也是如此。到目前为止，放射学研究中的大多数深度学习算法旨在执行特定任务（例如诊断分类），并且不能提示使用自然语言执行多个任务。在这项工作中，我们引入了一个基于矢量检索和对比度学习的框架，以通过自然语言监督有效地学习视觉脑MRI概念。我们展示了该方法如何通过联合嵌入和自然语言监督来识别影响阿尔茨海默氏病（AD）的大脑的因素。首先，我们使用自我监督的学习预处理文本和图像编码器，并共同微调这些编码器以开发共享的嵌入空间。我们训练模型执行多个任务，包括MRI检索，MRI字幕和MRI分类。我们通过开发检索和重新排列的机制以及用于视觉问题回答的变压器解码器来显示其多功能性。
与视觉模型识别人类作用识别的共形预测
摘要 - 人类在循环（HITL）框架上是许多现实世界中的计算机视觉系统的特征，使人类操作员能够在AI帮助的情况下做出明智的决定。共形预测（CP）为标签集提供了严格的基于地面真相包容概率的保证，最近已成为HITL设置中有价值的工具。一个关键的应用领域是视频监视，与人类行动识别（HAR）紧密相关。这项研究探讨了CP在使用广泛预先训练的视觉模型（VLMS）的最先进的方法上的应用。我们的发现表明，CP可以显着减少候选类别的平均数量，而无需修改基础VLM。但是，这些减少通常会导致长尾巴的分布。为了解决这个问题，我们引入了一种基于调整VLM的温度参数以最小化这些尾巴的方法而无需其他校准数据的方法。我们的代码可在github上通过地址https://github.com/tbary/cp4vlm提供。索引项 - 符合预测，温度调整，视觉语言模型，人类行动识别。
CNN和视觉模型的比较研究图表图像分类
摘要：图表图像分类是自动化数据提取和从可视化的解释的关键任务，这些任务被广泛用于业务，研究和教育等领域。在本文中，我们评估了卷积神经网络（CNN）和视觉模型（VLM）的性能，鉴于它们在各种图像分类和理解任务中的使用越来越多。，我们构建了25种图表类型的不同数据集，每个数据集包含1,000张图像，并培训了多个CNN体系结构，同时还评估了预训练的VLM的零拍概括能力。我们的结果表明，在经过专门用于图表分类的培训时，CNN胜过VLM，尽管如此，它仍显示出有希望的潜力，而无需特定于任务的培训。这些发现强调了CNN在图表分类中的重要性，同时突出了VLM的进一步微调的未开发潜力，这对于推进自动数据可视化分析至关重要。
指导视觉模型选择跨任务，域和知识类型的视觉提问
视觉提问（VQA）是用户体验的关键，尤其是在改善视觉语言模型（VLMS）的概括能力之后。但在实际设置中使用标准化框架评估应用程序要求的VLM仍然具有挑战性。本文旨在使用端到端框架解决该问题。我们提出VQA360 - 一种源自估计的VQA基准测试的新型数据集，该数据集用任务类型，应用程序域和知识类型注释，以进行全面评估。我们还引入了Goeval，这是一种使用GPT-4O开发的多模式评估度量，与Human判断相关系数为56.71％。我们使用状态VLMS的实验表明，没有任何单个模型都普遍擅长，因此，将正确的选择成为关键的设计决策。专有模型（例如Gemini-1.5-Pro和GPT-4O-Mini）通常优于其他模型，但是诸如InternVL-2-8B和COGVLM-2-LALAMA-3-19B之类的开源模型也表现出竞争优势，同时提供了其他优势。我们的框架工作也可以扩展到其他任务1。
参观视觉模型的蒸馏
摘要 - 简单的提示学习方法可有效地适应视觉语言模型（VLMS）到下游任务。然而，经验证据表明，现有方法的趋势是他们过度拟合的班级，并且在看不见的阶级上表现出降解的表现。此限制是由于训练数据中对所见类的固有偏见。为了解决这个问题，我们提出了一种新颖的软提示学习方法，称为蒸馏混合物（MOPD），该方法可以从硬手工制作的硬提示中有效地传递有用的知识（又称A.K.A.老师提示）到可学习的软提示（又称学生提示），从而增强了在看不见的课程上软提示的概括能力。此外，提出的MOPD方法采用了一个门控网络，该网络学会选择用于迅速蒸馏的硬提示。广泛的实验表明，所提出的MOPD方法的表现优于现状的基准，尤其是在看不见的类别上。