XiaoMi-AI文件搜索系统
World File Search SystemSegment
极端监督实例细分
本文介绍了一种新颖的方法，可以使用极端点，即每个对象的最上方，最左侧，最左侧，bottommost和最右点进行学习。这些要点在现代边界框注释过程中很容易获得，同时为预分段提供了强大的线索，因此可以使用盒子监督的方法以相同的注释成本来提高性能。我们的工作将极端点视为真实实例掩盖的一部分，并传播它们以识别潜在的前面和背景点，它们全部用于训练伪标签生成器。然后，发电机给出的伪标签又用于监督我们的最终模型。在三个公共基准测试中，我们的方法大大优于现有的盒子监督方法，以完全监督的对应物进一步缩小了差距。尤其是，当目标对象分为多个部分时，我们的模型会生成高质量的掩码，而以前的盒子监督方法通常会失败。
在伪装实例分段中揭示隐藏上下文
摘要。预测隐藏在com-plex上下文中的对象的实例级掩码是伪装实例分割（CIS）的目标，这一任务因伪装的obs obsptss and Anckatiks之间的惊人相似之处而复杂。伪装观察的各种外观，包括不同的角度，部分可见性和模棱两可的信息，进一步加剧了这一挑战。先前的作品考虑在高不确定性区域内clasifulsiful sifialpixels，而无需考虑其文本语义，从而导致许多假阳性。我们提出了一种称为Mask2Camouflage的新颖方法，该方法同时增强了上下文特征的建模，并完善了实例级别的预测地图。mask2Camouflage利用多尺度功能集成了骨干线中提取的功能。然后，引入了全局细化的交叉注意模块（GCA），以补充前景面罩和背景掩盖，以减少假阳性。fur-hoverore，通过模拟全球换档聚类过程，我们介绍了全球偏移的多头自我注意力（GSA），该过程使对象查询不仅可以从早期功能中捕获信息，还可以从结构性概念中捕获信息，从而降低与评估的数据验证的掩体对象检测任务中的类内部问题。与15种最先进的方法相比，我们的Mask2Camouflage显着提高了伪装实例细分的性能。我们的代码可在https://github.com/underlmao/mask2camouflage上找到。
机器学习Clifford不变的Ade Coxeter元素
摘要。胸肌分割是乳腺磁共振成像（MRI）的各种计算机辅助应用中的关键步骤。由于胸部和乳房区域之间的伪影和同质性，胸肌边界估计并不是一项琐碎的任务。在本文中，提出了一种基于深度学习的全自动分割方法，以准确描述轴向乳房MR图像中的胸肌边界。提出的方法涉及两个主要步骤：胸肌分割和边界估计。对于胸肌分割，基于U-NET结构的模型用于从输入图像中分离胸肌。接下来，通过候选点检测和轮廓分割来估计胸肌边界。使用两个Real-World数据集，我们自己的私人数据集和一个公开可用的数据集对所提出的方法进行了定量评估。第一个数据集包括12名患者乳房MR图像，第二个数据集由80名患者乳房MR图像组成。所提出的方法在第一个数据集中达到了95％的骰子得分，第二个数据集的骰子得分为89％。在大规模定量乳房MR图像上评估该方法的高分割性能表达了其在将来的乳腺癌临床应用中的潜在适用性。
Synergynet：弥合离散和连续表示之间的差距，以进行精确的医学图像分割
近年来，已经提出了连续的潜在空间（CLS）和DISCRETE潜在空间（DLS）深度学习模型，以改善医学图像分析。但是，这些模型遇到了不同的挑战。cls模型捕获了复杂的细节，但由于其强调低级特征，因此在结构表示和易男性方面通常缺乏解释性。尤其是，DLS模型提供了可解释性，鲁棒性以及由于其结构性潜在空间而捕获粗粒度信息的能力。但是，DLS模型在捕获细粒细节方面的功效有限。为了确定DLS和CLS模型的局限性，我们采用了Synergynet，这是一种新型的瓶颈体系结构，旨在增强现有的编码器 - 核编码器分割框架。Synergynet无缝地将离散和连续的表示形式整合到利用互补信息中，并成功保留了细学的表示的细节。我们对多器官分割和CAR-DIAC数据集进行的实验实验表明，SynergyNet的表现优于包括Transunet：Transunet：DICE评分提高2.16％的其他最新方法，而Hausdorff分别分别提高了11.13％。在评估皮肤病变和脑肿瘤分割数据集时，我们观察到皮肤病变分割的交互分数的1.71％的重新提高，脑肿瘤分割的增长率为8.58％。我们的创新方法为增强医学图像分析关键领域中深度学习模型的整体性能和能力铺平了道路。
一个航天器数据集用于检测，分割和零件识别
现代生活的几乎所有方面都取决于太空技术。多亏了计算机视频的一般和深度学习技术的巨大进步，几十年来，全世界都见证了将深度学习的发展用于解决太空问题的问题，例如自动驾驶机器人，诸如示踪剂，类似昆虫的机器人，类似昆虫的机器人和SpaceCraft的健康监测。这些只是一些在深度学习的帮助下具有高级空间行业的重要例子。但是，深度学习模型的成功需要大量的培训数据才能具有不错的性能，而另一方面，用于培训深度学习模型的公开空间数据集非常有限。当前没有用于基于太空的对象检测或实例分割的公共数据集，部分原因是手动注释对象分割掩码非常耗时，因为它们需要像素级标签，更不用说从空间获取图像的挑战了。在本文中，我们的目标是通过释放数据集以进行航天器检测，实例分割和零件识别来填补这一差距。这项工作的主要贡献是使用太空设置和卫星的图像开发数据集，并具有丰富的注释，包括绑定的航天器和口罩的框架盒对物体部分的水平，这些盒子是通过自动程序和手动努力的混合而获得的。我们还提供了对象检测和Intance Sementation的最新方法作为数据集的基准。可以在https://github.com/yurushia1998/satellitedataset上找到下载建议数据集的链接。
用原始特征重新思考知识蒸馏
用于半分割的大多数现有知识蒸馏方法着重于从原始特征中提取各种复杂知识。但是，这种知识通常是手动设计的，并且像传统功能工程一样依赖于先前的知识。在本文中，我们旨在提出一种使用RAW功能的简单有效的功能蒸馏方法。为此，我们重新审视了功能蒸馏中的开创性工作，Fitnets可以将平方误差（MSE）损失（MSE）损失最小化。我们的实验表明，在某些情况下，这种幼稚的方法可以产生良好的结果，甚至超过了一些精心设计的方法。但是，它需要仔细调整蒸馏损失的重量。通过将fitnets的损失函数分解为差异项和角度差项，我们发现角度差异项的重量受教师特征和学生特征的幅度的影响。我们通过实验表明，角度差异项在特征蒸馏中起着至关重要的作用，而不同模型产生的特征的大小可能会有很大变化。因此，很难确定各种模型的适合减肥体重。为了避免角度蒸馏术语的重量受到特征的影响，我们提出了角度蒸馏，并探索沿不同效率尺寸的蒸馏角度信息，以进行语义分割。广泛的例子表明，我们的简单方法对超级参数表现出极大的效果，并实现了语义细分的最先进的蒸馏性能。
课程点提示弱监督的参考图像分割
参考图像分割（RIS）的目的是通过相应的静脉语言表达式精确地分段图像中的对象，但依赖于成本密集的掩码注释。弱监督的RIS因此从图像文本对学习到像素级语义，这是用于分割细粒面罩的挑战。自然而然地提高了分割精度，是用图像分割模型SAM赋予弱监督的RI。尽管如此，我们观察到，简单地整合SAM会产生有限的收益，甚至由于不可避免的噪声而导致性能回归，而过度关注对象部分的挑战和挑战。在本文中，我们提出了一个创新的框架，即P PPT（PPT），与拟议的多源课程学习策略合并，以解决这些挑战。具体来说，PPT的核心是一个点发生器，它不仅可以利用Clip的文本图像对准能力和SAM强大的掩膜生成能力，而且还产生了负点提示，以固有，有效地解决嘈杂和过度的焦点问题。在适当的情况下，我们引入了一种以对象为中心图像的课程学习策略，以帮助PPT逐渐从更简单但精确的语义一致性中学习到更复杂的RIS。实验表明，我们的PPT在MIOU上显着胜过弱监督的技术，分别为11.34％，14.14％和6.97％，分别为6.97％。
在扩散模型中使用令牌优化的开放式摄取注意图
扩散模型代表文本到图像生成中的新范式。除了从文本提示中生成高质量的图像之外，诸如稳定扩散之类的模型已成功扩展到了共同生成的分段伪遮罩。但是，当前的敏感主要依赖于提取与用于图像合成的及时单词相关的关注。这种方法限制了从文本提示中未包含的单词代币中得出的分割掩码的产生。在这项工作中，我们介绍了开放式摄影注意力图（OVAM） - 用于文本到图像扩散模型的无训练方法，可为任何单词生成注意力图。此外，我们提出了一个基于OVAM的轻巧优化过程，用于查找具有单个注释的对象类的准确注意图。
从文本到图像综合的前景 - 背景分割的无监督共同生成
文本对图像（T2I）合成是一项艰巨的任务，该任务是对文本和图像域及其关系进行建模。最近作品实现的图像质量的实质性改进为Nuberon应用程序铺平了道路，例如语言辅助图像编辑，计算机辅助设计，基于文本的图像检索和培训数据增强。在这项工作中，我们提出了一个简单的问题：与逼真的图像一起，我们是否可以以一种不受影响的方式获得任何有用的副产品（例如前景 /背景或多类分割掩码，检测标签，检测标签），这也将使其他计算机视觉任务任务和应用受益？试图回答这个问题，我们探索了从给定文本中的逼真的图像及其相应的前景 /背景分割掩码。为了实现这一目标，我们与GAN一起实验了共进行分割的概念。具体而言，提出了一种名为“共裂”启发的GAN（COS-GAN）的新型GAN结构，该结构同时从不同的噪声矢量中同时生成两个或多个图像，并利用图像特征之间的空间关注机制来生成逼真的分段掩码，以生成生成的Im-Im-Im-Im-Im-Im-Im-Im-Im-Im-Im-Agens。这种架构的优点是两倍：1）生成的分割掩码可用于专注于前景和背景，以改善生成的图像的质量，2）分段蒙版可以用作其他任务的训练目标，例如访问本地化和分割。在CUB，Oxford-102和可可数据集上进行的广泛实验表明，Cos-Gan能够改善视觉质量，并为发电图像提供可靠的前景 /背景掩码。
开放世界的语义细分包括类相似性
解释摄像机数据是自主行动系统（例如自动驾驶汽车）的关键。在现实世界环境中运行的视觉系统必须能够解释其周围环境，并需要能够处理新型情况。本文解决了开放世界的分段，即解释训练过程中未见对象的图像数据的变体。我们提出了一种新的方法，该方法可以执行确定性封闭世界的语义分割，同时可以识别新类别，而无需任何适当的培训数据。我们的方法1另外，为图像中的每个新发现的类与已知类别提供了相似性度量，这在下游任务（例如计划或映射）中可能是有用的信息。通过广泛的实验，我们表明我们的模型在已知的训练数据以及异常分割的类别上实现了最新的结果，并且可以区分不同的未知类别。