1 乔治华盛顿大学,华盛顿特区,美国。 2 加州大学伯克利分校电气工程与计算机科学系,加利福尼亚州伯克利,美国。 3 独立研究员,加利福尼亚州圣何塞,美国。 *通讯作者电子邮件:chris.tqy128@outlook.com 摘要。本文讨论了一种改进的脑肿瘤医学图像分割模型,该模型是一种基于U-Net架构的深度学习算法。在传统U-Net的基础上,引入GSConv模块和ECA注意机制来提高模型在医学图像分割任务中的表现。通过这些改进,新的U-Net模型能够更有效地提取和利用多尺度特征,同时灵活地关注重要通道,从而显著提高分割结果。在实验过程中,对改进的U-Net模型进行了系统的训练和评估。通过查看训练集和测试集的损失曲线,我们发现两者的损失值在第八个epoch之后都迅速下降到最低点,然后逐渐收敛并稳定下来。这表明我们的模型具有良好的学习能力和泛化能力。此外,通过监测平均交集比(mIoU)的变化,我们可以看到在第35个epoch之后,mIoU逐渐趋近于0.8并且保持稳定,这进一步验证了模型的有效性。与传统的U-Net相比,基于GSConv模块和ECA注意机制的改进版本在分割效果上表现出明显的优势。特别是在脑肿瘤图像边缘的处理上,改进的模型可以提供更准确的分割结果。这一成果不仅提高了医学图像分析的准确性,也为临床诊断提供了更可靠的技术支持。综上所述,本文提出的基于GSConv模块和ECA注意机制的改进U-Net模型为脑肿瘤医学图像分割提供了一种新的解决方案,其优越的性能有助于提高疾病的检测和治疗效果,在相关领域具有重要意义。未来我们希望进一步探索该方法在其他类型医学图像处理中的应用潜力,推动医学影像的发展。
摘要:本文讨论了一种针对脑肿瘤的医学图像分割改进模型,该模型是一种基于U-Net架构的深度学习算法。在传统U-Net基础上,引入GSConv模块和ECA注意力机制,提升模型在医学图像分割任务中的表现。通过这些改进,新的U-Net模型能够更高效地提取和利用多尺度特征,同时灵活地聚焦重要通道,从而显著提高分割效果。在实验过程中,对改进的U-Net模型进行了系统的训练和评估。通过观察训练集和测试集的loss曲线,我们发现两者的loss值在第8个epoch之后迅速下降到最低点,随后逐渐收敛并趋于稳定。这表明我们的模型具有良好的学习能力和泛化能力。此外,通过监测平均交集比(mIoU)的变化,我们可以看到在第35个epoch之后,mIoU逐渐趋近于0.8并且保持稳定,这进一步验证了模型的有效性。与传统U-Net相比,基于GSConv模块和ECA注意机制的改进版本在分割效果上表现出明显的优势,特别是在脑肿瘤图像边缘的处理上,改进模型能够提供更为准确的分割结果,这一成果不仅提高了医学图像分析的准确率,也为临床诊断提供了更可靠的技术支持。综上所述,本文提出的基于GSConv模块和ECA注意机制的改进U-Net模型为脑肿瘤医学图像分割提供了一种新的解决方案,其优越的性能有助于提高疾病的检测和治疗效果,在相关领域具有重要的意义。未来希望进一步挖掘该方法在其他类型医学图像处理中的应用潜力,推动医学影像事业的发展。
焊接过程产生的图像噪声(例如弧光,飞溅和烟雾)给基于激光视觉传感器的焊接机器人带来了巨大的挑战,可以定位焊接接缝并准确地进行自动焊接。当前,基于深度学习的方法超过了灵活性和鲁棒性的传统方法。但是,它们的重大计算成本导致与自动焊接的实时要求不匹配。在本文中,我们对卷积神经网络(CNN)和变压器的有效混合体系结构(称为动态挤压网络(DSNET))进行实时焊接接缝分段。更准确地说,开发了一个轻巧的分割框架,以充分利用变压器结构的优势,而无需显着增加计算开销。在这方面,旨在提高其功能多样性的高效编码器已被设计并导致了编码性能的大幅改进。此外,我们提出了一个插件轻巧的注意模块,该模块通过利用焊接接缝数据的统计信息并引入线性先验来产生更有效的注意力权重。使用NVIDIA GTX 1050TI对焊缝图像进行广泛的实验表明,与基线方法Transunet相比,我们的方法将参数的数量减少了54倍,将计算复杂性降低了34倍,并将推理速度提高33倍。dsnet可实现较高的准确性(78.01%IOU,87.64%骰子)和速度性能(100 fps),其模型复杂性和计算负担较低。该代码可在https://github.com/hackerschen/dsnet上找到。
摘要:在使用传统和新型机器学习和深度学习技术的研究人员中,二维医学图像分割模型很受欢迎。此外,由于近年来对三维体积创建进行了大量研究,三维体积数据最近变得更加容易获取。利用这些三维数据,研究人员已经开始研究创建三维分割模型,如脑肿瘤分割和分类。由于使用三维数据可以比二维数据提取出更多关键特征,三维脑肿瘤检测模型在研究人员中越来越受欢迎。到目前为止,各种重要的研究工作都集中在 3D 版本的 U-Net 和其他流行模型上,如 3D U-Net 和 V-Net,同时也做了一些出色的研究工作。在本研究中,我们使用了三维脑图像数据,并基于 3D U-Net 模型创建了一个新架构,该模型使用多个跳过连接和具有成本效益的预训练 3D MobileNetV2 块和注意模块。这些预训练的 MobileNetV2 模块通过提供较小的参数来辅助我们的架构,以在我们的计算能力方面保持可操作的模型大小,并帮助模型更快地收敛。我们在编码器和解码器模块之间添加了额外的跳跃连接,以简化两个模块之间提取特征的交换,从而最大限度地利用特征。我们还使用注意模块来过滤掉通过跳跃连接传入的不相关特征,从而在提高准确性的同时保留了更多的计算能力。
对于医学图像分割,想象一下如果一个模型仅使用源域中的 MRI 图像进行训练,那么它在目标域中直接分割 CT 图像的性能如何?这种设置,即具有临床潜力的通用跨模态分割,比其他相关设置(例如域自适应)更具挑战性。为了实现这一目标,我们在本文中提出了一种新颖的双重规范化模型,该模型在通用分割过程中利用增强的源相似和源不相似图像。具体而言,给定一个源域,旨在模拟看不见的目标域中可能的外观变化,我们首先利用非线性变换来增强源相似和源不相似图像。然后,为了充分利用这两种类型的增强,我们提出的基于双重规范化的模型采用共享主干但独立的批量规范化层进行单独规范化。随后,我们提出了一种基于风格的选择方案,在测试阶段自动选择合适的路径。在三个公开数据集(即 BraTS、跨模态心脏和腹部多器官数据集)上进行的大量实验表明,我们的方法优于其他最先进的领域泛化方法。代码可在 https://github.com/zzzqzhou/Dual-Normalization 获得。
脑肿瘤语义分割在临床治疗中起着至关重要的作用,特别是对于临床中经常使用的三维(3D)磁共振成像(MRI)。自动分割脑肿瘤的三维结构可以帮助医生快速了解肿瘤的形状、大小等属性,从而提高术前规划的效率和手术的成功率。在过去的几十年里,三维卷积神经网络(CNN)一直主导着三维医学图像的自动分割方法,这些网络结构取得了良好的效果。然而为了减少神经网络参数的数量,从业者确保三维卷积操作中卷积核的大小一般不超过7×7×7,这也导致CNN无法学习长距离依赖信息。 Vision Transformer (ViT) 非常擅长学习图像中的长距离依赖信息,但它存在参数过多和缺乏归纳偏差来恢复短距离依赖信息的问题。这
深度卷积神经网络的成功部分归功于海量带注释的训练数据。然而在实践中,获取医疗数据注释通常非常昂贵且耗时。考虑到具有相同解剖结构的多模态数据在临床应用中广泛可用,在本文中,我们旨在利用从一种模态(又称辅助模态)学到的先验知识(例如形状先验)来提高另一种模态(又称目标模态)的分割性能,以弥补注释的稀缺性。为了缓解由模态特定外观差异引起的学习困难,我们首先提出一个图像对齐模块(IAM)来缩小辅助和目标模态数据之间的外观差距。然后,我们提出了一种新颖的相互知识蒸馏(MKD)方案,以充分利用模态共享知识来促进目标模态分割。具体来说,我们将我们的框架制定为两个独立分割器的集成。每个分割器不仅从相应的注释中显式提取一种模态知识,而且还以相互引导的方式从其对应部分中隐式探索另一种模态知识。两个分割器的集合将进一步整合来自两种模态的知识,并在目标模态上生成可靠的分割结果。在公共多类心脏分割数据(即 MM-WHS 2017)上的实验结果表明,我们的方法通过利用额外的 MRI 数据在 CT 分割方面取得了很大的改进,并且优于其他最先进的多模态学习方法。
摘要:缺乏高质量、高度专业化的标注图像以及昂贵的标注成本一直是图像分割领域的关键问题。然而,目前的大多数方法,如深度学习,一般需要大量的训练成本和高质量的数据集。因此,针对小样本图像分割问题,该文提出了一种基于简单线性迭代聚类(SLIC)、特征迁移模型和随机森林(RF)分类器的可优化图像分割方法(OISM)。该方法利用SLIC通过聚类提取图像边界,利用Unet特征迁移模型获取多维超像素特征,利用RF分类器预测和更新图像分割结果。结果表明,所提出的OISM具有可接受的准确率,并且比改进的Unet模型更好地保留了目标边界。此外,OISM 显示出处理涡轮叶片疲劳图像识别的潜力,这也是一种有前途的有效图像分割方法,可以揭示航空发动机部件高性能结构的微观损伤和裂纹扩展。
手动图像分割非常耗时,需要一种自动、准确的方法来利用富含上下文信息的三维医学图像分割多模态脑肿瘤,以用于临床治疗决策和手术计划。然而,由于肿瘤的多样性和子区域间复杂的边界相互作用,而有限的计算资源阻碍了高效神经网络的构建,利用深度学习实现医学图像的精确分割是一项挑战。我们提出了一种基于分层解耦卷积网络和注意机制的特征融合模块来提高网络分割的性能。我们用特征融合模块替换了U型网络的跳过连接来解决类别不平衡问题,从而有助于分割更复杂的医学图像。我们引入了全局注意机制来进一步融合编码器学习到的特征并探索上下文信息。对所提出的方法进行了增强肿瘤、整个肿瘤和肿瘤核心的评估,在 BraTS 2019 数据集上分别实现了 0.775、0.900 和 0.827 的 Dice 相似系数指标,在 BraTS 2018 数据集上分别实现了 0.800、0.902 和 0.841 的 Dice 相似系数指标。结果表明,我们提出的方法本质上是通用的,是脑肿瘤图像研究的有力工具。我们的代码可在以下位置获得:https://github.com/WSake/Feature-interaction-network-based-on-Hierarchical-Decoupled-Convolution。
在临床实践中,视觉解释被广泛用作评估癫痫中PET/CT图像的主观方法。结果在很大程度上取决于诊断医生的经验;因此,该方法具有许多缺点,包括它是高度主观的,难以解释(4)。为了实现客观评估,脑内不对称指数(AI)测量方法使用同一患者正常侧的大脑区域作为评估另一侧的癫痫状态的参考。在大脑的癫痫和正常区域中绘制了相同大小,形状和面积的感兴趣的镜像区域(ROI),并计算其平均标准化吸收值(SUV)和AI值(5)。但是,AI方法在很大程度上取决于医生的诊断经验,并且可重复性差(5,6)。