XiaoMi-AI文件搜索系统
World File Search Systemgme
课程点提示弱监督的参考图像分割
参考图像分割（RIS）的目的是通过相应的静脉语言表达式精确地分段图像中的对象，但依赖于成本密集的掩码注释。弱监督的RIS因此从图像文本对学习到像素级语义，这是用于分割细粒面罩的挑战。自然而然地提高了分割精度，是用图像分割模型SAM赋予弱监督的RI。尽管如此，我们观察到，简单地整合SAM会产生有限的收益，甚至由于不可避免的噪声而导致性能回归，而过度关注对象部分的挑战和挑战。在本文中，我们提出了一个创新的框架，即P PPT（PPT），与拟议的多源课程学习策略合并，以解决这些挑战。具体来说，PPT的核心是一个点发生器，它不仅可以利用Clip的文本图像对准能力和SAM强大的掩膜生成能力，而且还产生了负点提示，以固有，有效地解决嘈杂和过度的焦点问题。在适当的情况下，我们引入了一种以对象为中心图像的课程学习策略，以帮助PPT逐渐从更简单但精确的语义一致性中学习到更复杂的RIS。实验表明，我们的PPT在MIOU上显着胜过弱监督的技术，分别为11.34％，14.14％和6.97％，分别为6.97％。
一个基于增强现实的游戏来教授编程
摘要：近年来，技术彻底改变了生活的所有领域。由于编程是软件技术的核心，因此，对程序员的需求也必须日复一日地增加。随着增强现实（AR）和计算机视觉（CV）领域的进步，我们现在可以为教育领域的独特体验开发应用程序。本研究旨在为小学生开发一种学习编程技能的游戏。为学生提供了作为我们游戏标记的卡片。每个标记在AR中都具有独特的编程块，这会导致我们的游戏角色执行一定的动作。学生需要以正确的方式放置这些块才能完成给定的任务。因此，它使学生能够以吸引他们的方式学习一些基本的编程技能。
DECIMER.ai - 用于科学出版物中自动光学化学结构识别、分割和识别的开放平台
在过去的几十年中，描述化学结构的出版物数量稳步增加。然而，目前大多数已发表的化学信息在公共数据库中都无法以机器可读的形式获得。以更少的人工干预方式实现信息提取过程的自动化仍然是一个挑战——尤其是化学结构描述的挖掘。作为一个利用深度学习、计算机视觉和自然语言处理方面的最新进展的开源平台，DECIMER.ai（化学图像识别深度学习）致力于自动分割、分类和翻译印刷文献中的化学结构描述。分割和分类工具是同类中唯一公开可用的软件包，光学化学结构识别 (OCSR) 核心应用程序在所有基准数据集上都表现出色。这项工作中开发的源代码、训练模型和数据集均已在许可下发布。DECIMER Web 应用程序的一个实例可在 https://decimer.ai 获得。
机器学习Clifford不变的Ade Coxeter元素
摘要。胸肌分割是乳腺磁共振成像（MRI）的各种计算机辅助应用中的关键步骤。由于胸部和乳房区域之间的伪影和同质性，胸肌边界估计并不是一项琐碎的任务。在本文中，提出了一种基于深度学习的全自动分割方法，以准确描述轴向乳房MR图像中的胸肌边界。提出的方法涉及两个主要步骤：胸肌分割和边界估计。对于胸肌分割，基于U-NET结构的模型用于从输入图像中分离胸肌。接下来，通过候选点检测和轮廓分割来估计胸肌边界。使用两个Real-World数据集，我们自己的私人数据集和一个公开可用的数据集对所提出的方法进行了定量评估。第一个数据集包括12名患者乳房MR图像，第二个数据集由80名患者乳房MR图像组成。所提出的方法在第一个数据集中达到了95％的骰子得分，第二个数据集的骰子得分为89％。在大规模定量乳房MR图像上评估该方法的高分割性能表达了其在将来的乳腺癌临床应用中的潜在适用性。
用原始特征重新思考知识蒸馏
用于半分割的大多数现有知识蒸馏方法着重于从原始特征中提取各种复杂知识。但是，这种知识通常是手动设计的，并且像传统功能工程一样依赖于先前的知识。在本文中，我们旨在提出一种使用RAW功能的简单有效的功能蒸馏方法。为此，我们重新审视了功能蒸馏中的开创性工作，Fitnets可以将平方误差（MSE）损失（MSE）损失最小化。我们的实验表明，在某些情况下，这种幼稚的方法可以产生良好的结果，甚至超过了一些精心设计的方法。但是，它需要仔细调整蒸馏损失的重量。通过将fitnets的损失函数分解为差异项和角度差项，我们发现角度差异项的重量受教师特征和学生特征的幅度的影响。我们通过实验表明，角度差异项在特征蒸馏中起着至关重要的作用，而不同模型产生的特征的大小可能会有很大变化。因此，很难确定各种模型的适合减肥体重。为了避免角度蒸馏术语的重量受到特征的影响，我们提出了角度蒸馏，并探索沿不同效率尺寸的蒸馏角度信息，以进行语义分割。广泛的例子表明，我们的简单方法对超级参数表现出极大的效果，并实现了语义细分的最先进的蒸馏性能。
生成数据集增强的域间隙嵌入
本文通过利用大型预训练模型来探讨合成数据的潜力，尤其是在面对分布变化时。al-尽管生成模型的最新进展已经阐明了跨分布数据发生的几项先前的作品，但它们需要模型调整和复杂的设置。为了绕过这些缺点，我们介绍了主要的g a a a a a a a a embeddings（doge），这是一个跨分布的插件语义数据augpection框架，几乎没有射击设置。我们的方法以潜在形式提取源和所需数据分布之间的差异，然后引导生成过程，以补充无数多种合成样本的训练集。我们的评估是在几个射击范式下进行亚种群偏移和三个领域适应方案进行的，表明我们的多功能方法改善了各个任务的性能，需要进行动手干预或复杂的调整。Doge铺平了毫不费力地生成遵循测试分布的现实，可转让的合成数据集的道路，从而加强了下游任务模型的现实世界效率。
开放世界的语义细分包括类相似性
解释摄像机数据是自主行动系统（例如自动驾驶汽车）的关键。在现实世界环境中运行的视觉系统必须能够解释其周围环境，并需要能够处理新型情况。本文解决了开放世界的分段，即解释训练过程中未见对象的图像数据的变体。我们提出了一种新的方法，该方法可以执行确定性封闭世界的语义分割，同时可以识别新类别，而无需任何适当的培训数据。我们的方法1另外，为图像中的每个新发现的类与已知类别提供了相似性度量，这在下游任务（例如计划或映射）中可能是有用的信息。通过广泛的实验，我们表明我们的模型在已知的训练数据以及异常分割的类别上实现了最新的结果，并且可以区分不同的未知类别。
在伪装实例分段中揭示隐藏上下文
摘要。预测隐藏在com-plex上下文中的对象的实例级掩码是伪装实例分割（CIS）的目标，这一任务因伪装的obs obsptss and Anckatiks之间的惊人相似之处而复杂。伪装观察的各种外观，包括不同的角度，部分可见性和模棱两可的信息，进一步加剧了这一挑战。先前的作品考虑在高不确定性区域内clasifulsiful sifialpixels，而无需考虑其文本语义，从而导致许多假阳性。我们提出了一种称为Mask2Camouflage的新颖方法，该方法同时增强了上下文特征的建模，并完善了实例级别的预测地图。mask2Camouflage利用多尺度功能集成了骨干线中提取的功能。然后，引入了全局细化的交叉注意模块（GCA），以补充前景面罩和背景掩盖，以减少假阳性。fur-hoverore，通过模拟全球换档聚类过程，我们介绍了全球偏移的多头自我注意力（GSA），该过程使对象查询不仅可以从早期功能中捕获信息，还可以从结构性概念中捕获信息，从而降低与评估的数据验证的掩体对象检测任务中的类内部问题。与15种最先进的方法相比，我们的Mask2Camouflage显着提高了伪装实例细分的性能。我们的代码可在https://github.com/underlmao/mask2camouflage上找到。
镜子u-net：将多模式裂变与多任务学习嫁给医学成像中的语义分割
正电子发射断层扫描（PET）和计算的刻录术（CT）通常共同用于检测肿瘤。PET/CT分割模型可以自动化肿瘤的描述，但是，当前的多模式模型不能完全阐明每种模式中的互补信息，因为它们要么串联PET和CT数据，要么在决策水平上融合它们。为了对抗这一点，我们提出了镜像u-net，它通过将多模式表示形式分配到模态特异性的解码器分支和辅助多模态解码器中，以多模态化的方式代替了传统的融合方法。在这些分支上，镜像u-net标志着一个针对每种模式量身定制的任务，以增强单峰特征，同时保留共享表示中的多模式特征。与以前的方法相比使用了其他方法或多任务学习，Mirror U-net将两个范式结合在一个统一的框架中。我们探索各种任务组合，并检查在模型中共享的哪些参数。我们在Autopet PET/CT和多模式MSD Braintumor数据集上评估了Mirror U-NET，证明了其在多模式分段中的有效性并在两个数据集中实现了先进的性能。代码：https：//github.com/zrrrrr1997/ autopet_challenge_mirrorunet
3D图像分割的拓扑感知焦点损失
分割算法的疗效经常因拓扑错误，连接中断和空隙等拓扑错误而受到损害。为了解决这一问题，我们引入了一种新颖的损失函数，即拓扑 - 意识局灶性损失（TAFL），该功能将基于基于地面真实和预测段蒙版的持久性图表之间的拓扑结构术语与拓扑结构术语结合在一起。通过实施与地面真理相同的拓扑结构，拓扑的约束可以有效地解决拓扑结构，而焦点损失可以解决阶级失衡。我们首先是从地面真理和预测的分割掩模的过滤的立方复合物中构造持久图。随后，我们利用sindhorn-knopp算法来确定两个持久图之间的最佳运输计划。最终的运输计划最小化了将质量从一个分布到另一个分布的运输成本，并在两个持久图中的点之间提供了映射。然后，我们根据该旅行计划计算沃斯堡的距离，以测量地面真相和预测的面具之间的拓扑差异。我们通过训练3D U-NET与MICCAI脑肿瘤分割（BRATS）CHALLENE验证数据集来评估我们的方法，该数据需要准确地分割3D MRI扫描，从而整合各种方式，以精确鉴定和跟踪恶性脑肿瘤。然后，我们证明，通过添加拓扑约束作为惩罚项，通过将焦点损失正规化来提高分段性能的质量。