XiaoMi-AI文件搜索系统
World File Search System零拍
剪贴画：通过语言监督的信息有效的视觉表示学习
我们提出了夹子 - 列表，这是一种通过文本注释来进行视觉表示学习的信息有效方法。与先前提出的剪辑模型相结合，在优化其对比度学习目标的过程中，夹子夹仅需要一个负面图像文本样本对。我们通过提高信息有效下限的优势来实现这一目标，以最大程度地提高两种输入方式之间的相互信息。这允许在相同尺度上比夹子相比，可以通过显着摄入的数据和批量大小进行培训。我们通过在可可扣数据集上进行预处理并测试向其他数据集的转移学习来评估夹列。夹子夹在Pascal VOC分类中获得了 +14.0％的MAP绝对增益，并且在Imagenet上获得了 +22.1％的TOP-1准确性增益，同时是合并或优于其他，更复杂，更复杂的文本监督模型。夹子夹也可以夹在图像和文本检索，零拍零分类和视觉接地上。fi-Nelly，我们表明夹具可以利用语言语义来鼓励可以在下游任务中使用的无偏见的视觉表示。实现：https：// github。com/4m4n5/clip-lite
LLM可以理解计算机网络吗？走向虚拟系统管理员
摘要 - 人工智能和典型的大语言模型（LLMS）的发展，为帮助系统管理员管理现代网络的复杂性提供了有希望的前景。，尽管存在这种潜力，但文献中仍然存在有关LLM可以理解计算机网络的程度的显着差距。没有经验证据，系统管理员可能会依靠这些模型，而不会确保其在准确执行与网络相关的任务方面的功效。在本文中，我们是第一个对LLMS对计算机网络理解的详尽研究。我们提出了几个研究问题，以确定LLM在提供网络拓扑及其问题时是否可以提供正确的答案。为了评估它们，我们开发了一个详尽的框架来评估LLMS在各种网络相关任务中的功能。我们在多个计算机网络上评估了我们的框架（例如，GPT4）和开放源代码（例如Llama2）模型。使用零拍的场景中，我们在通用LLM中的发现表明了令人鼓舞的结果，最佳模型的平均准确度为79.3％。专有的LLM在中小型网络中取得了值得注意的结果，而挑战则持续理解复杂的网络拓扑，尤其是对于开源模型。此外，我们提供了有关及时工程如何提高某些任务准确性的洞察力。索引术语 - LARGE语言模型，计算机网络，系统管理员。
控制...
视觉语言模型（例如剪辑）对零拍或无标签预测的各种下流任务显示出很大的影响。但是，当涉及到低级视觉时，例如图像恢复其性能会由于输入损坏而急剧下降。在本文中，我们提出了一种退化感知的视觉模型（DA-CLIP），以更好地将预验证的视觉模型转移到低级视觉任务中，作为用于图像恢复的多任务框架。更具体地说，DA-CLIP训练一个额外的控制器，该控制器适应固定的剪辑图像编码器以预测高质量的特征嵌入。通过通过交叉注意将床上用品集成到图像恢复网络中，我们能够试行该模型以学习高保真图像重建。控制器本身还将输出与输入的真实损坏相匹配的降级功能，从而为不同的降解类型产生天然分类器。此外，我们将混合降解数据集与合成字幕结构为DA-CLIP训练。我们的方法在特定于降解和统一的图像恢复任务上提高了最先进的性能，显示出具有大规模预处理视觉模型促使图像恢复的有希望的方向。我们的代码可在https://github.com/algolzw/daclip-uir上找到。
![arxiv：2311.12386v3 [CS.CV] 2024年3月27日](/simg/g:\will\search\icon\source\7\7f44962f6543f6c8bd6e46396e93d7bef56e1429.webp)
arxiv：2311.12386v3 [CS.CV] 2024年3月27日
类别不合时宜的对象计数旨在将图像中的所有对象计数相对于示例框或类名称，又称几个弹药和零照片计数。在本文中，我们提出了一个基于检测的几射击对象和零射击对象的广义框架。我们的框架结合了两个基础模型的出色优势，而不会损害其零拍的能力：（i）SAM将所有可能的对象分割为掩膜建议，以及（ii）剪辑来对建议进行分类以获得准确的对象计数。但是，这种策略遇到了效率过高的障碍，而无法局部和区分的小型拥挤的物体。要解决这些问题，我们的框架称为PSECO，遵循三个步骤：点，细分和计数。具体来说，我们首先提出了一个类不足的对象局部 - 为SAM提供准确但最小的提示，因此，这不仅会降低计算成本，而且还避免了缺少小对象。此外，我们采用了一种广义的对象分类，该对象分类利用剪辑图像/文本嵌入为分类器，遵循层次知识蒸馏，以获得层次掩盖建议中的歧视性层状。对FSC-147，可可和LVISMON的广泛实验结果，即PSECO在几次/零摄像对象计数/检测中都可以实现最先进的性能。
![arxiv：2305.04536v2 [CS.CV] 2024年6月18日](/simg/g:\will\search\icon\source\9\954ae78a6188e649adb8f41247881a246a455e8d.webp)
arxiv：2305.04536v2 [CS.CV] 2024年6月18日
长尾的多标签视觉识别（LTML）任务是由于标签共发生和不平衡的数据分布，这是一项极具挑战性的任务。在这项工作中，我们为LTML提出了一个统一的框架，即促使特定于班级的嵌入损失（LMPT）进行调整，从而通过结合文本和im im Im operational数据来捕获语义功能相互作用，并在头部和尾部同步改进型号。具体来说，LMPT通过班级感知的软边距和重新投资介绍了嵌入式损失函数，以学习特定的班级上下文，并带有文本描述（字幕）的好处，这可以帮助建立类之间的语义关系，尤其是在头和尾部之间。fur-hoverore考虑到类失样的类别，分配平衡的损失被用作分类损失函数，以进一步提高尾部类别的性能而不会损害头部类别。在VOC-LT和可可-LT数据集上进行了广泛的实验，这表明我们的方法显着超过了先前的最新方法，而LTML中的零拍夹。我们的代码在https：//github.com/richard-peng-xia/lmpt上完全公开。
lmpt：长尾多标签视觉识别的特定于类的嵌入损失
长尾的多标签视觉识别（LTML）任务是由于标签共发生和不平衡的数据分布，这是一项极具挑战性的任务。在这项工作中，我们为LTML提出了一个统一的框架，即促使特定于班级的嵌入损失（LMPT）进行调整，从而通过结合文本和im im Im operational数据来捕获语义功能相互作用，并在头部和尾部同步改进型号。具体来说，LMPT通过班级感知的软边距和重新投资介绍了嵌入式损失函数，以学习特定的班级上下文，并带有文本描述（字幕）的好处，这可以帮助建立类之间的语义关系，尤其是在头和尾部之间。fur-hoverore考虑到类失样的类别，分配平衡的损失被用作分类损失函数，以进一步提高尾部类别的性能而不会损害头部类别。在VOC-LT和可可-LT数据集上进行了广泛的实验，这表明我们的方法显着超过了先前的最新方法，而LTML中的零拍夹。我们的代码在https：//github.com/richard-peng-xia/lmpt上完全公开。
加速科学模拟和设计Kamyar Azizzadenesheli 1，Nikola Kovachki 1，Zongyi li 2，Miguel Liu-Schiaffini
科学发现和工程设计目前受到物理实验的时间和成本的限制，主要是通过需要深入域专业知识的反复试验和直觉选择。数值模拟是物理实验的替代方法，但由于现有数值方法的计算要求，通常对于复杂的现实世界域而言是不可行的。人工智能（AI）通过开发快速数据驱动的替代模型来提出潜在的范式转移。尤其是一个称为神经操作员的AI框架提出了一个原则上的框架，用于在连续域上定义的功能之间学习映射，例如时空过程和部分微分方程（PDE）。他们可以在训练期间看不见的新位置推断和预测解决方案，即执行零拍的超分辨率。神经操作员可以在许多应用中增强甚至替换现有的模拟器，例如计算流体动力学，天气预报和材料模型，而速度更快4-5个数量级。此外，可以将神经操作员与物理和其他领域的约束集成在一起，以获得更高的重点，以获得高保真的解决方案和良好的概括。由于神经操作员是可区分的，因此他们可以直接优化用于反设计和其他反问题的参数。我们认为，神经操作员提出了一种变革性的模拟和设计方法，从而可以快速的研发。
矩阵：实时移动控制
我们介绍了矩阵，这是第一个基础现实的世界模拟器，能够在第一和第三人称视角以实时的，重新控制的方式生成无限长的720p高富达现实现场视频流，从而实现了丰富动态环境的沉浸式探索。Trained on limited supervised data from AAA games like Forza Horizon 5 and Cyberpunk 2077, complemented by large-scale unsupervised footage from real-world set- tings like Tokyo streets, The Matrix allows users to tra- verse diverse terrains—deserts, grasslands, water bodies, and urban landscapes—in continuous, uncut hour-long se- quences.以高达16 fps的速度，该系统支持实时交互性，并演示了零拍的通用性，将虚拟游戏环境转换为现实世界上下文，在这些环境中，收集连续移动数据的数据是不可行的。例如，矩阵可以模拟通过办公室设置驱动的宝马X3，这是游戏数据和现实世界中的一个环境。这种方法展示了AAA游戏数据对强大的世界模型的潜力，在具有Lim esed数据的情况下弥合了模拟和现实世界应用程序之间的差距。本文中的所有代码，数据和模型检查点都将被开源。
dme：揭示偏见以获得更好的全身性单眼估计
本文旨在设计具有更好概括能力的单眼深度估计模式。为此，我们进行了定量分析，并发现了两个重要的见解。首先，在长尾分类问题中发现的模拟相关现象也存在于单眼深度估计中，这表明训练数据中深度分布的不平衡分布可能是导致泛化能力有限的原因。第二，深度值的不平衡和长尾分布范围超出了数据集量表，并且在每个单独的图像中也表现出来，进一步表达了单眼深度估计的挑战。通过上述发现，我们提出了距离感知的多专家（DME）深度估计模型。与先前的方法不同地处理不同深度范围的方法不同，DME采用了分歧和诱使哲学，每个专家都负责对特定深度范围内的区域进行深度估计。因此，每个专家看到的深度分布更加统一，并且可以更容易预测。一个像素级路由模块的进一步设计和学会了，以将所有专家的预测缝合到最终的深度图中。实验表明，DME在NYU-DEPTH V2和KITTI上都达到了最先进的性能，并且还可以在看不见的数据集上提供有利的零拍概括能力。
使用具有视觉和语言模型的人类在循环中进行道路损害检测的迭代注释
道路基础设施监测检查和诊断道路恶化是一个至关重要的挑战。由于财务限制和人员短缺，以有限成本进行这种维护的需求越来越大。计算机视觉的最新进展促进了检查和诊断的自动化，从而提高了操作效率和稳定性[1]。计算机视觉模型的开发需要手动注释标记的数据集。但是，深度学习减少人工劳动的目标与模型开发是必需的大量征收的事实之间存在矛盾。为了解决这一矛盾，正在考虑一种人类的方法。该框架大大减轻了人类注释负担，从而通过训练数据收集和参数更新的迭代过程来使模型有效地更新[2]。同时，已经发表了许多有关将计算机视觉和自然语言理解的视觉和语言模型发表的研究。具有大规模数据集的经过训练的视觉和语言模型已公开可用。这些模型通过语言特征和训练中的图像功能的结合，具有零拍的识别，使它们甚至能够理解特定类别的图像，而无需在这些类别上明确培训。此外，当在特定数据集上使用零射击识别的模型时，通过对有限的样本（几次学习）进行细化，预计可以进一步提高准确性[3-5]。