XiaoMi-AI文件搜索系统
World File Search SystemVisio
视觉变压器具有分层注意力
摘要：本文解决了香草视觉变压器中与多头自我注意（MHSA）相关的高计算/空间复杂性。为此，我们提出了层次MHSA（H-MHSA），这是一种新颖的方法，以层次的方式计算自我注意力。具体来说，我们首先将输入图像分为通常完成的补丁，每个补丁都被视为令牌。然后，提议的H-MHSA学习本地贴片中的令牌关系，作为局部关系建模。然后，将小斑块合并为较大的贴片，H-MHSA对少量合并令牌的全局依赖性建模。终于，将本地和全球专注的特征汇总为具有强大表示能力的功能。由于我们仅在每个步骤中计算有限数量的令牌的注意力，因此计算负载大大减少。因此，H-MHSA可以在不牺牲细粒度信息的情况下有效地模拟令牌之间的环境关系。与H-MHSA模块合并，我们建立了一个基于层次的变压器网络的家族，即HAT-NET。为了证明帽子网络在场景中的优越性，我们就基本视觉任务进行了广泛的实验，包括图像分类，语义分割，对象titection和实例分段。因此，HAT-NET为视觉变压器提供了新的视角。代码和预估计的模型可在https://github.com/yun-liu/hat-net上找到。
语言模型作为视觉的黑盒优化器...
在Web-scale数据集中预先训练的视觉语言模型（VLMS）在用最小数据调整时，在下游任务上表现出了显着的功能。但是，许多VLM依赖于专有数据，而不是开源数据，这限制了使用白色框的使用进行精细调整。因此，我们旨在开发一种黑匣子方法来通过自然语言提示来优化VLM，从而避免需要访问模型参数，功能嵌入甚至输出逻辑。我们采用基于聊天的LLMS来搜索VLM的最佳文本提示。特别是，我们采用了一种自动的“爬山”程序，该程序通过评估当前提示的性能并要求LLMS根据文本反馈来对其进行融合，从而将其融合到有效的提示中，所有这些程序都在没有人类的对话过程中进行了反馈。在具有挑战性的1-Shot图像分类设置中，我们的简单方法平均超过了白色框连续提示方法（COP）1。在包括Imagenet在内的11个数据集中有5％。我们的方法还优于人工工程和LLM生成的提示。我们高出了对话反馈的优势，该反馈既不是正面和负面提示，表明LLM可以在文本反馈中利用隐式“梯度”方向，以进行更有效的搜索。此外，我们发现通过我们的策略生成的文本提示不仅更容易解释，而且还以黑盒方式在不同的VLM架构上良好地转移。最后，我们在最先进的Black-Box VLM（DALL-E 3）上演示了我们的框架，以进行文本对图像优化。
在固体基础上建立视觉模型的模型
视觉模型（VLM）的最新进步在弥合计算机视觉和自然语言处理之间的差距方面取得了重大飞跃。然而，传统的VLM通过对有限和嘈杂的图像文本对进行对比学习训练，通常缺乏空间和语言的理解，可以很好地推广到密集的视觉任务或更少的通用语言。我们的方法，坚实的基础剪辑（SF-CLIP），通过隐式建立对经过大量单峰数据训练的基础模型的可靠的视觉和语言理解来避免此问题。sf-clip将对比的图像文本预测与大型基础文本和视觉模型的掩盖知识蒸馏。这种方法可以指导我们的VLM开发强大的文本和图像表示。结果，SF-CLIP显示出异常的零射击分类精度，并增强了图像和文本检索能力，为在YFCC15M和CC12M上训练的VIT-B/16的新最新状态。此外，在语义分割任务中，密集的每个斑点监督增强了我们的零射击和线性探针的性能。我们模型的一个了不起的方面是它的多语言能力，尽管主要接受了英语数据的培训，但通过多种语言的强劲检索结果证明了这一点。我们通过选择性地应用掩盖的蒸馏和教师单词嵌入的继承来实现所有这些改进，而无需牺牲培训效率。
未来愿景：自然共生经济
13 https://www.enecho.meti.go.jp/about/whitepaper/2021/html/1-2-2.html 14 闭环：委员会通过雄心勃勃的新循环经济一揽子计划，以提高竞争力、创造就业机会和实现可持续增长（欧盟委员会，2015 年） https://ec.europa.eu/commission/presscorner/detail/en/IP_15_6203 15 国家回收战略（美国环境保护署，2021 年） https://www.epa.gov/system/files/documents/2021-11/final-national-recycling-strategy.pdf 16 2020 年 2 月 10 日关于打击浪费和循环经济的法律（法兰西共和国，2020 年） https://www.vie-publique.fr/loi/268681-loi-10-fevrier-2020-lutte-contre-le-gaspillage-et-economie-circulaire
气候弹性的旁遮普视觉和行动计划2024
1。水资源：通过保护和保护水资源来增强水安全。改善综合水资源管理，并通过法规和技术措施确保水质。促进气候硫化的水存储和分配基础设施，例如为井，雨水收集和社区池塘。2。生物多样性：制定和实施综合的生物多样性保护计划，以保护和保护高保护价值领域。通过基于生态系统的适应来修复降级的栖息地，并建立新的保护区以确保受威胁生态系统的生存。改善湿地的健康状况（即Ramsar遗址）充当闸门，牧场，牧场和沙漠和保护水生的多样性和栖息地条件。3。改善针对气候诱发灾难的反应：通过优先考虑灾难挽救基础设施来加强气候诱发的灾难管理能力，
美国环保署 2022-2032 愿景的 TMDL 优先战略
2025 年 1 月 24 日 简介 《联邦清洁水法》第 303(d)(1)(A) 条规定，各州必须为需要开发总最大日负荷 (TMDL) 的水道制定优先级排序。该优先级排序必须包括损害的原因，并考虑污染的严重程度和水体的用途。本文件包含宾夕法尼亚州对美国环境保护署 (USEPA) TMDL 计划 2022-2032 愿景的优先级排序理由。根据 40 CFR 130.7(b)(4)，这一原理将有助于指导在宾夕法尼亚州选择特定水体进行 TMDL 开发，以两年为周期，从 2024 年 10 月 1 日开始，用于美国环保署 2022-2032 愿景的剩余部分。除了 TMDL，此优先级排序还设想在适当的情况下使用其他类型的修复计划，包括下文所述的提前修复计划 (ARP) 和保护计划。虽然这种优先级策略有助于以有组织和周到的方式规划未来工作，但它并不意味着严格限制此时间范围内的项目，因为可能会出现不可预见的需求和机会。高效 TMDL 开发的一个关键实际考虑是开发特定污染物/用途组合的方法所需的大量资源投入。例如，用于开发因淤积而导致的水生生物使用障碍的 TMDL 的方法可能与用于解决因病原体导致的娱乐使用障碍的数据和方法大不相同。为了最大限度地提高项目资源的有效利用，明智的做法是一次关注一种特定的污染物/用途组合，并在将重点转向其他污染物/用途组合之前制定许多类似的 TMDL。因此，宾夕法尼亚州环境保护局 (DEP) 正在根据本美国环境保护署愿景周期的目标污染物/用途组合简短列表组织此拟议优先级排名。指定用途和令人关注的污染物对宾夕法尼亚州 2022 年综合水质报告最终版和 2024 年综合水质报告草案的审查显示，水生生物用途的损害最为常见，其次是娱乐用途的损害。相比之下，鱼类消费和供水用途的损害则不那么常见。在水生生物用途类别中，淤积损害最为常见，其次是金属、pH 值和营养物损害。病原体/大肠杆菌 (E. coli) 是娱乐用途类别中唯一列出的污染物原因。下面进一步讨论在未来几年内对 TMDL/ARP 开发中每种污染物进行优先排序的理由。
视觉导航的体积环境表示
Vision语言导航（VLN）要求代理在基于视觉观察和自然语言说明的3D环境中导航。很明显，成功导航的关键因素在于全面的场景理解。以前的VLN代理使用单眼框架直接提取透视视图的2D特征。虽然很简单，但他们为捕获3D几何和语义而努力，导致部分不完整的环境代表。为了实现具有细粒细节的全面3D表示，我们引入了体积环境（VER），将物理世界脱氧于结构化的3D细胞中。对于每个单元格，通过2D-3D采样将多视图2D特征归纳到如此统一的3D空间中。通过对VER的粗略到纤维特征进行推断和多任务学习，我们的代理人可以共同预测3D占用率，3D房间布局和3D边界框。基于在线收集的vers，我们的代理构成了体积状态估计，并构建情节内存以预测下一步。实验结果表明，我们从多任务学习的环境表示导致了VLN的可观绩效提高。我们的模型在VLN基准（R2R，Reverie和R4R）之间实现了最新的性能。
shvit：带有内存有效宏设计的单头视觉变压器
最近，有效的视觉变压器表现出出色的性能，并且在资源受限的范围内延迟较低。通常，他们在宏观水平上使用4×4贴片嵌入式和4阶段结构，同时在微观级别利用多头配置的同时注意力。本文旨在解决记忆效率高的人中所有设计级别的计算重复。我们发现，使用较大的修补茎不仅降低了内存访问成本，而且还通过利用令牌表示，从早期阶段降低了空间冗余，从而实现了态度性能。fur-hoverore，我们的初步分析表明，在早期阶段的注意力层可以用会议代替，并且后期阶段的几个注意力头在计算上是多余的。为了处理这一点，我们介绍了一个单头注意模块，该模块固有地预先预先冗余，并同时通过相结合的全局和本地信息来提高准确性。在解决方案的基础上，我们引入了Shvit，这是一种单头视觉变压器，获得了最先进的速度准确性权衡。例如，在ImagEnet-1k上，我们的SHVIT-S4在GPU，CPU和iPhone12移动设备上比MobileVitV2×1.0快3.3×，8.1×和2.4倍，而同时更准确。用于使用Mask-RCNN头对MS Coco进行的对象检测和实例分割，我们的模型分别在GPU和移动设备上表现出3.8×和2.0×下骨架潜伏期时，可以与FastVit-SA12进行比较。
建模合作者：通过LLM工具使用
从内容节制到野生动植物保护，需要模型识别细微或主观的视觉概念的应用数量正在增长。传统上，开发用于此类概念的分类器需要在数小时，天甚至数月内衡量的大量手动努力来识别和注释培训所需的数据。即使最近提出的敏捷建模技术可以快速地进行图像分类器的快速启动，但仍需要用户花费30分钟或更多的单调，重复的数据标签，以训练一个罪恶的分类器。利用了Fiske的认知灾难理论，我们提出了一个新框架，通过用自然语言相互作用代替人类标签，从而减少了由自然语言相互作用，从而减少了通过一个数量级来定义的总体努力所需的总体努力：从将2,000张标记的图像定义为只有2,000张图像到只有100张图像到100次自然语言相互作用。我们的框架利用了大型语言模型和视觉语言模型的基础模型的最新进展，以通过对话和自动标记培训数据点来雕刻概念空间。最重要的是，我们的框架消除了对人群来源注释的需求。此外，我们的框架最终生产出在成本敏感的方案中可部署的轻量级分类模型。在15个主观概念和2个公共图像分类数据集中，我们训练的模型的表现优于传统敏捷建模以及最先进的零拍模型，例如Align，clip，cupl，Cupl和大型视觉问题回答诸如Pali-X之类的模型。
与计算机视觉的深度学习
深度学习和神经网络：多层感知器：多层感知器体系结构，什么是隐藏的层？每一层中有多少层和多少个节点？激活函数：线性传输函数，重型阶跃功能（二进制分类器），sigmoid/logistic函数，软马克斯函数，双曲线切线函数（TANH），整流的线性单元，泄漏的relu。前馈过程：前馈计算，特征学习。错误函数：错误函数是什么？，为什么我们需要一个错误函数？错误总是正面的，均为正方形错误。跨凝性，关于错误和权重优化算法的最终说明：什么是优化？，批处理梯度下降，随机梯度下降，微型批次梯度下降，梯度下降点击。反向传播：什么是反向传播？，反向传播外卖。