XiaoMi-AI文件搜索系统
World File Search SystemSegformer
基于改进的Segformer的水下图像的语义分割
水下图像细分对于诸如水下探索，海洋环境监测和资源开发等任务至关重要。尽管如此，鉴于水下环境的复杂性和可变性，改善模型准确性仍然是水下图像分割任务中的关键挑战。为了解决这些问题，本研究提出了基于标准Segformer模型的水下图像的高性能语义分割方法。首先，Segformer中的混合变压器主链被Swin Transformer替换，以增强特征提取并促进对全局上下文信息的有效获取。接下来，在骨干的下采样阶段和解码器中引入了有效的多尺度注意（EMA）机制，以更好地捕获多尺度特征，从而进一步提高了细分精度。此外，将特征金字塔网络（FPN）结构合并到解码器中，以在多个分辨率下组合特征图，从而使模型可以有效地集成上下文信息，从而在复杂的水下环境中增强了鲁棒性。对SUIM水下图像数据集进行测试表明，拟议的模型在多个指标上达到了高性能：联合（MIOU）的平均相交（MIOU）为77.00％，平均召回（MRECALL）为85.04％，平均精度（Mprecision）为89.03％，为89.03％，F1Score（MF1Score（Mf1score）为86.63％）。与标准Segformer相比，MIOU的提高3.73％，MRECALL为1.98％，Mprecision的3.38％和MF1Score的2.44％的提高，参数增加了989万。结果表明，所提出的方法通过最小的其他计算实现了出色的分割精度，从而显示了水下图像分割中的高性能。
AI模型调制，带有逻辑重新分布-Zihan Wang
大型型号通常适用于满足模型所有者和用户的各种要求。但是，维护多个专门版本的模型效率低下。 在响应中，我们提出了AIM，这是一种新型的模型调制范式，使单个模型能够表现出各种行为能够满足特定的最终需求。 AIM启用两个关键调制模式：实用程序和焦点调制。 前者为模型所有者提供了对输出质量的模型控制，以提供不同的实用程序级别，后者为用户提供了精确的控制，以移动模型的集中输入功能。 AIM介绍了以培训数据不合时宜的方式和无重新训练方式运行的逻辑再分配策略。 我们建立了正式的基础，以确保AIM的监管能力，以通过关节概率分布来订购的统计特性。 我们的评估证实了AIM对AI模型调制的实用性和多功能性，任务涵盖了IMEGE分类，语义细分和文本生成，以及包括Resnet，Segformer和Llama在内的普遍体系结构。但是，维护多个专门版本的模型效率低下。在响应中，我们提出了AIM，这是一种新型的模型调制范式，使单个模型能够表现出各种行为能够满足特定的最终需求。AIM启用两个关键调制模式：实用程序和焦点调制。前者为模型所有者提供了对输出质量的模型控制，以提供不同的实用程序级别，后者为用户提供了精确的控制，以移动模型的集中输入功能。AIM介绍了以培训数据不合时宜的方式和无重新训练方式运行的逻辑再分配策略。我们建立了正式的基础，以确保AIM的监管能力，以通过关节概率分布来订购的统计特性。我们的评估证实了AIM对AI模型调制的实用性和多功能性，任务涵盖了IMEGE分类，语义细分和文本生成，以及包括Resnet，Segformer和Llama在内的普遍体系结构。
网格注意力：提高大型视力模型的计算效率，而无需微调
Gridattn集成了提出的网格聚类模块，网格分配策略以及将网格恢复模块与常见的MHA相结合，以提高大型视力模型的计算效率并保持其性能，而无需重新训练或对其参数进行微调。我们对最近的高分辨率任务进行了广泛的实验，包括零摄像实例分割（SAM，Expedit-SAM），文本到图像生成（稳定扩散v2.1）和语义segmentation（segformer b0-b5）。实验表明：通过任何训练或微调，Gridattn将GFLOPS降低[4.6％，16.1％]和GPU推断潜伏期的范围[8.2％，21.4％]，同时达到等效性能（绩效偏见比率低于1％）。此外，提出的实验表明，Gridattn也可以从头开始训练，也可以通过微调的微调成本进行微调，从而大大提高了性能效率 - 折衷方案。作为建议，我们鼓励社区直接部署训练有素的变压器，对预先训练的训练训练，或从头开始训练新的变压器时，将社区合并。源代码将在https://github.com/pengyulpy/gridattn中发布。
语义分割 - 易手式 - 合成 -
图像分割是计算机视觉中的一个基本问题，涉及将图像分为多个段或区域，以简化表示形式，并使其对分析更有意义。在对象识别，医学成像和自动驱动器之类的任务中至关重要，其中理解图像中不同对象的空间组织至关重要[3，4]。在图像分割的背景下经常引用的一项基础工作是Long等。的完全卷积网络（FCN）用于半分割[6]。本文通过对CNN进行适应Pixel的预测而无需任何完全连接的层，从而彻底改变了该领域，从而实现了端到端训练并了解任意大小的图像。这种方法为随后的分割方法中的许多后续发展奠定了基础。变压器模型的引入为处理图像分割任务带来了新的视角，该任务在传统上以卷积网络为主导。Xie等人的Seg-前论文。[7]集成了专门针对半分割需求量身定制的变压器体系结构。segformer在其层次变压器编码中脱颖而出，该编码器有效地处理多尺度特征，对于在准确的分割所需的可变分辨率下捕获详细上下文至关重要。