XiaoMi-AI文件搜索系统
World File Search System图像分割
3D图像分割的拓扑感知焦点损失
分割算法的疗效经常因拓扑错误，连接中断和空隙等拓扑错误而受到损害。为了解决这一问题，我们引入了一种新颖的损失函数，即拓扑 - 意识局灶性损失（TAFL），该功能将基于基于地面真实和预测段蒙版的持久性图表之间的拓扑结构术语与拓扑结构术语结合在一起。通过实施与地面真理相同的拓扑结构，拓扑的约束可以有效地解决拓扑结构，而焦点损失可以解决阶级失衡。我们首先是从地面真理和预测的分割掩模的过滤的立方复合物中构造持久图。随后，我们利用sindhorn-knopp算法来确定两个持久图之间的最佳运输计划。最终的运输计划最小化了将质量从一个分布到另一个分布的运输成本，并在两个持久图中的点之间提供了映射。然后，我们根据该旅行计划计算沃斯堡的距离，以测量地面真相和预测的面具之间的拓扑差异。我们通过训练3D U-NET与MICCAI脑肿瘤分割（BRATS）CHALLENE验证数据集来评估我们的方法，该数据需要准确地分割3D MRI扫描，从而整合各种方式，以精确鉴定和跟踪恶性脑肿瘤。然后，我们证明，通过添加拓扑约束作为惩罚项，通过将焦点损失正规化来提高分段性能的质量。
计算机视觉方法烧伤区域图像分割
了解野火后被烧毁区域的程度和严重程度是对对Climate变化影响感兴趣的科学家进行研究的重要目标和重点。在我们的项目中，我们使用六个进一步的分割模型来实现这项任务，使用较低分辨率Landsat卫星的遥感图像作为输入和输出分割掩码，以表明图像的哪些部分被燃烧并且未燃烧。我们的模型建立在Pytorch模型库和开源U-NET模型的DeepLabv3分割模型上；我们使用这些模型的预贴版本作为基线，并进一步实验将红外带作为输入和MAE损失函数，旨在减少噪声和低分辨率的影响。我们发现所有方法都达到了高精度，但是除了RGB之外，还包括NIR（近红外）和SWIR（短波输入）频段的5频段模型，对于DeepLabV3和U-NET架构都表现最好。我们的模型在数据集中的加利福尼亚野火方面非常有效，但是我们希望将它们进一步推广到世界其他地区的分布之外的火灾，那里的火灾未有充分记录。这些广告将极大地帮助这些领域的应急准备，野生火灾和气候科学。
spt：交互式图像分割的序列提示变压器
摘要 - Interactive分割旨在根据用户提供的点击从图像中提取感兴趣的对象。在现实世界应用中，通常需要分割一系列具有相同目标对象的图像。但是，现有方法通常一次处理一个图像，未能考虑图像的顺序性质。为了克服这一限制，我们提出了一种称为序列提示变压器（SPT）的新方法，该方法是第一个利用顺序图像信息进行交互式分割的方法。我们的模型包括两个关键组成部分：（1）序列提示变压器（SPT），用于从图像，点击和掩码序列中获取信息以提高准确的信息。（2）TOP-K提示选择（TPS）选择SPT的精确提示，以进一步增强分割效果。此外，我们创建ADE20K-SEQ基准测试，以更好地评估模型性能。我们在多个基准数据集上评估了我们的方法，并表明我们的模型超过了所有数据集的最新方法。索引项 - 计算机视觉，交互式图像分割
基于图像分割的草坪割草机器人的边界识别
准确地识别草坪边界是草坪割草机器人的可行操作的基础。当前的草坪边界识别方法依赖于预埋的电缆或通过RTK-GPS定位技术绘制边界。两种方法都容易受到定位错误和环境变化的影响。实时识别基于图像的草坪边界的实时识别可以在路径计划和对草坪割草机器人的边界识别之间形成实时闭环，从而提高了机器人工作的鲁棒性和可靠性。U-NET网络是一个简单的图像分割模型，适用于具有有限计算资源的机器人。但是，草坪的二元分割的结果通常是开放的边界线，这与医学图像中U-NET模型的某些多闭合单元的结果不同。因此，很难将U-NET模型直接应用于准确的草坪分割。考虑到草坪图像的特征和有限的计算资源，本文引入了具有通道空间注意机制和变化的损耗函数的改进的U-NET模型，这更好地解决了草坪边界识别的问题。改进模型的MDICE值为97.7％，比原始U-NET模型高约2％。
找到最可转移的大脑图像分割任务
摘要 - 尽管许多研究已成功地将转移学习应用于医学图像分割，但是当有多个源任务可转移时，很少有人研究了选择策略。在本文中，我们提出了一个基于知识的知识和基于可传递性的框架，以在大脑图像分割任务集合中选择最佳的源任务，以提高给定目标任务上的转移学习绩效。该框架包括模态分析，ROI（感兴趣的区域）分析和可传递性效率，以便可以逐步对源任务选择进行。特别是，我们将最先进的分析转移能力估计指标调整为医学图像分割任务，并进一步表明，基于模态和ROI特征的候选源任务可以显着提高其性能。我们关于脑物质，脑肿瘤和白质超强度分割数据集的实验表明，从同一模式下的不同任务转移通常比在不同方式下从同一任务转移的实验更成功。此外，在相同的方式中，从具有更强的ROI形状相似性与目标任务的源任务转移可以显着提高最终传输性能。可以使用标签空间中的结构相似性指数捕获这种相似性。索引术语 - 转移学习，医学图像分析，来源选择I。
课程点提示弱监督的参考图像分割
参考图像分割（RIS）的目的是通过相应的静脉语言表达式精确地分段图像中的对象，但依赖于成本密集的掩码注释。弱监督的RIS因此从图像文本对学习到像素级语义，这是用于分割细粒面罩的挑战。自然而然地提高了分割精度，是用图像分割模型SAM赋予弱监督的RI。尽管如此，我们观察到，简单地整合SAM会产生有限的收益，甚至由于不可避免的噪声而导致性能回归，而过度关注对象部分的挑战和挑战。在本文中，我们提出了一个创新的框架，即P PPT（PPT），与拟议的多源课程学习策略合并，以解决这些挑战。具体来说，PPT的核心是一个点发生器，它不仅可以利用Clip的文本图像对准能力和SAM强大的掩膜生成能力，而且还产生了负点提示，以固有，有效地解决嘈杂和过度的焦点问题。在适当的情况下，我们引入了一种以对象为中心图像的课程学习策略，以帮助PPT逐渐从更简单但精确的语义一致性中学习到更复杂的RIS。实验表明，我们的PPT在MIOU上显着胜过弱监督的技术，分别为11.34％，14.14％和6.97％，分别为6.97％。
测试时间适应性的神经网络，用于强大的医学图像分割
卷积神经网络（CNN）在培训数据集代表预期在测试时遇到的变化时，可以很好地解决监督学习问题。在医学图像细分中，当培训和测试图像之间的获取细节（例如扫描仪模型或协议）之间存在不匹配和测试图像之间的不匹配时，就会违反此前提。在这种情况下，CNNS的显着性能降解在文献中有很好的记录。为了解决此问题，我们将分割CNN设计为两个子网络的串联：一个相对较浅的图像差异CNN，然后是将归一化图像分离的深CNN。我们使用培训数据集训练这两个子网络，这些数据集由特定扫描仪和协议设置的带注释的图像组成。现在，在测试时，我们适应了每个测试图像的图像归一化子网络，并在预测的分割标签上具有隐式先验。我们采用了经过独立训练的Denoising自动编码器（DAE），以对合理的解剖分段标签进行模型。我们验证了三个解剖学的多中心磁共振成像数据集的拟议思想：大脑，心脏和前列腺。拟议的测试时间适应不断提供绩效的改进，证明了方法的前景和普遍性。对深CNN的体系结构不可知，第二个子网络可以使用任何分割网络使用，以提高成像扫描仪和协议的变化的鲁棒性。我们的代码可在以下网址提供：https：//github.com/neerakara/test- time- aptaptable-neural-near-netural-netural-networks- for- domain-概括。
A2FSEG：医学图像分割的自适应多模式融合网络
摘要。磁共振成像（MRI）在多模式脑肿瘤分割中起重要作用。但是，缺失方式在临床诊断中非常普遍，这将导致严重的分割性能降解。在本文中，我们提出了一个简单的自适应多模式融合网络，用于脑肿瘤分割，该网络具有两个特征融合的阶段，包括简单的平均融合和基于注意机制的适应性融合。两种融合技术都能够处理缺失的形态情况，并有助于改善分割结果，尤其是自适应结果。我们在BRATS2020数据集上评估了我们的方法，与最近的四种方法相比，与不完整的多模式脑肿瘤疗法达到了最先进的性能。我们的A2FSEG（平均和自适应融合分割网络）很简单但有效，并且具有处理任何数量的图像模式以进行多模式分割的能力。我们的源代码在线，可在https://github.com/zirui0623/a2fseg.git上找到。
比较 3D、2.5D 和 2D 脑图像分割方法
摘要 用于自动分割脑部图像的深度学习方法可以分割图像的一片（2D）、五片连续的图像切片（2.5D）或整个图像体积（3D）。目前尚不清楚哪种方法更适合自动分割脑部图像。我们在三个自动分割模型（胶囊网络、UNets 和 nnUNets）中比较了这三种方法（3D、2.5D 和 2D）来分割脑部结构。我们使用在一项多机构研究中获得的 3430 个脑部 MRI 来训练和测试我们的模型。我们使用了以下性能指标：分割准确性、有限训练数据下的性能、所需的计算内存以及训练和部署期间的计算速度。3D、2.5D 和 2D 方法在所有模型中分别给出了最高到最低的 Dice 分数。当训练集大小从 3199 个 MRI 减少到 60 个 MRI 时，3D 模型保持了更高的 Dice 分数。 3D 模型在训练过程中的收敛速度提高了 20% 至 40%，在部署过程中的收敛速度提高了 30% 至 50%。但是，与 2.5D 或 2D 模型相比，3D 模型需要的计算内存是后者的 20 倍。这项研究表明，3D 模型更准确，在有限的训练数据下保持更好的性能，并且训练和部署速度更快。但是，与 2.5D 或 2D 模型相比，3D 模型需要更多的计算内存。
ecseg：自动驾驶汽车的边缘云切换图像分割
摘要 - 由于较长的车辆到云通信延迟，因此存在的自动驾驶汽车尚未利用云计算来执行其深度学习的驾驶任务。同时，这些车辆通常配备了资源受限的边缘计算设备，这些设备可能无法实时执行计算密集的深度学习模型。商业移动网络的数据传输速度的提高阐明了将云计算用于自动驾驶的可行性。我们的城市规模的现实世界测量结果表明，车辆可以通过低数据传输延迟的第五代（5G）移动网络部分使用云计算。在本文中，我们介绍了ECSEG的设计和实现，ECSEG是一个边缘云的切换图像分割系统，该系统在边缘和云之间动态切换，以实现基于深度学习的语义分割模型，以实时了解车辆的视觉场景。由于各种因素之间的复杂相互依存关系，包括动态无线通道状况，车辆的运动和视觉场景变化，因此开关决策具有挑战性。为此，我们采用深度强化学习来学习最佳的切换政策。基于现实世界实验和痕量驱动模拟的广泛评估表明，与四种基线方法相比，ECSEG可以实现自动驾驶汽车的卓越图像分割精度。