XiaoMi-AI文件搜索系统
World File Search SystemVisio
朝着更好的视力启发的视觉语言模型
视觉语言（VL）模型最近取得了未经证实的成功，其中连接模块是弥合模式差距的关键。尽管如此，在大多数存在方法中，富裕的视觉线索尚未充分利用。在视觉侧，大多数现有方法仅使用视觉塔的最后一个功能，而无需使用低级功能。在语言方面，大多数现有的方法仅引入浅视力互动。在本文中，我们提出了一个视觉启发的视觉语言连接模块，称为VIVL，该模块有效利用了VL模型的视觉提示。为了利用视觉塔中的较低级别信息，引入了特征金字塔提取器（FPE），以结合不同中间层的特征，该特征将视觉提示与可忽略不计的参数和计算在头顶上。为了实现VL相互作用，我们提出了深视觉条件的提示（DVCP），可以有效地进行视觉和语言特征的深层互动。我们的VIVL超过了以前的最新方法，当时是18.1苹果酒在从头开始训练可可字幕任务，这极大地提高了数据效率。当用作插件模块时，VIVL始终提高各种骨干和VL框架的性能，在多个基准测试中提供新的最新结果，例如Nocaps和VQAV2。
视觉导航的体积环境表示
Vision语言导航（VLN）要求代理在基于视觉观察和自然语言说明的3D环境中导航。很明显，成功导航的关键因素在于全面的场景理解。以前的VLN代理使用单眼框架直接提取透视视图的2D特征。虽然很简单，但他们为捕获3D几何和语义而努力，导致部分不完整的环境代表。为了实现具有细粒细节的全面3D表示，我们引入了体积环境（VER），将物理世界脱氧于结构化的3D细胞中。对于每个单元格，通过2D-3D采样将多视图2D特征归纳到如此统一的3D空间中。通过对VER的粗略到纤维特征进行推断和多任务学习，我们的代理人可以共同预测3D占用率，3D房间布局和3D边界框。基于在线收集的vers，我们的代理构成了体积状态估计，并构建情节内存以预测下一步。实验结果表明，我们从多任务学习的环境表示导致了VLN的可观绩效提高。我们的模型在VLN基准（R2R，Reverie和R4R）之间实现了最新的性能。
用计算机视觉和人工智能革新医学成像
Revolutionising Medical Imaging with Computer Vision and Artificial Intelligence Edited by Seema Bhatnagar, Priyanka Narad, Rajashree Das and Debarati Paul This book first published 2024 Cambridge Scholars Publishing Lady Stephenson Library, Newcastle upon Tyne, NE6 2PA, UK British Library Cataloguing in Publication Data A catalogue record for this book is available from the British Library Copyright © 2024年，Seema Bhatnagar，Priyanka Narad，Rajashree Das，Debarati Paul和本书保留的所有权利。未经版权所有者事先许可，以任何形式或以任何形式或以任何形式（任何形式），以任何形式或以任何形式的方式，以任何形式或以任何形式）复制了本书的一部分，以任何形式或以任何形式或以任何方式传输。ISBN：978-1-0364-1061-2 ISBN（电子书）：978-1-0364-1062-9ISBN：978-1-0364-1061-2 ISBN（电子书）：978-1-0364-1062-9
视觉模型的有效测试时间适应
通过预训练的视觉模型进行测试时间适应，引起了越来越多的关注，以应对测试时间的分离转移。尽管事先实现了非常有前途的性能，但它们会进行密集的计算，这与测试时间适应非常不规则。我们设计了TDA，这是一种无训练的动态适配器，可通过视觉模型进行有效，有效的测试时间适应。tda可与轻巧的键值缓存一起使用，该缓存维持具有很少射击伪标签的dy-namic队列作为值，而相应的测试样本特征则是键。杠杆键值缓存，TDA允许通过渐进式伪标签的细化逐渐调整数据，而逐步测试数据，而不会产生任何反向传播。此外，我们引入了负伪标记，即当模型不确定其伪标签预测时，通过将伪标签分配给某些负类时，可以减轻伪标签噪声的不利影响。在两个基准上进行的广泛实验表明，与最先进的艺术品相比，TDA的实体有效性和效率。该代码已在https：//kdiaaa.github.io/tda/中发布。
建模合作者：通过LLM工具使用
从内容节制到野生动植物保护，需要模型识别细微或主观的视觉概念的应用数量正在增长。传统上，开发用于此类概念的分类器需要在数小时，天甚至数月内衡量的大量手动努力来识别和注释培训所需的数据。即使最近提出的敏捷建模技术可以快速地进行图像分类器的快速启动，但仍需要用户花费30分钟或更多的单调，重复的数据标签，以训练一个罪恶的分类器。利用了Fiske的认知灾难理论，我们提出了一个新框架，通过用自然语言相互作用代替人类标签，从而减少了由自然语言相互作用，从而减少了通过一个数量级来定义的总体努力所需的总体努力：从将2,000张标记的图像定义为只有2,000张图像到只有100张图像到100次自然语言相互作用。我们的框架利用了大型语言模型和视觉语言模型的基础模型的最新进展，以通过对话和自动标记培训数据点来雕刻概念空间。最重要的是，我们的框架消除了对人群来源注释的需求。此外，我们的框架最终生产出在成本敏感的方案中可部署的轻量级分类模型。在15个主观概念和2个公共图像分类数据集中，我们训练的模型的表现优于传统敏捷建模以及最先进的零拍模型，例如Align，clip，cupl，Cupl和大型视觉问题回答诸如Pali-X之类的模型。
美国环保署 2022-2032 愿景的 TMDL 优先战略
2025 年 1 月 24 日 简介 《联邦清洁水法》第 303(d)(1)(A) 条规定，各州必须为需要开发总最大日负荷 (TMDL) 的水道制定优先级排序。该优先级排序必须包括损害的原因，并考虑污染的严重程度和水体的用途。本文件包含宾夕法尼亚州对美国环境保护署 (USEPA) TMDL 计划 2022-2032 愿景的优先级排序理由。根据 40 CFR 130.7(b)(4)，这一原理将有助于指导在宾夕法尼亚州选择特定水体进行 TMDL 开发，以两年为周期，从 2024 年 10 月 1 日开始，用于美国环保署 2022-2032 愿景的剩余部分。除了 TMDL，此优先级排序还设想在适当的情况下使用其他类型的修复计划，包括下文所述的提前修复计划 (ARP) 和保护计划。虽然这种优先级策略有助于以有组织和周到的方式规划未来工作，但它并不意味着严格限制此时间范围内的项目，因为可能会出现不可预见的需求和机会。高效 TMDL 开发的一个关键实际考虑是开发特定污染物/用途组合的方法所需的大量资源投入。例如，用于开发因淤积而导致的水生生物使用障碍的 TMDL 的方法可能与用于解决因病原体导致的娱乐使用障碍的数据和方法大不相同。为了最大限度地提高项目资源的有效利用，明智的做法是一次关注一种特定的污染物/用途组合，并在将重点转向其他污染物/用途组合之前制定许多类似的 TMDL。因此，宾夕法尼亚州环境保护局 (DEP) 正在根据本美国环境保护署愿景周期的目标污染物/用途组合简短列表组织此拟议优先级排名。指定用途和令人关注的污染物对宾夕法尼亚州 2022 年综合水质报告最终版和 2024 年综合水质报告草案的审查显示，水生生物用途的损害最为常见，其次是娱乐用途的损害。相比之下，鱼类消费和供水用途的损害则不那么常见。在水生生物用途类别中，淤积损害最为常见，其次是金属、pH 值和营养物损害。病原体/大肠杆菌 (E. coli) 是娱乐用途类别中唯一列出的污染物原因。下面进一步讨论在未来几年内对 TMDL/ARP 开发中每种污染物进行优先排序的理由。
