摘要 同步加速器 X 射线成像已用于检测金属增材制造 (AM) 过程中熔池的动态行为,此过程中会产生大量图像数据。在此,我们开发了一种高效且稳健的深度学习模型 AM-SegNet,用于分割和量化高分辨率 X 射线图像,并准备了一个包含超过 10,000 个像素标记图像的大型数据库,用于模型训练和测试。AM-SegNet 结合了一个轻量级卷积块和一个定制的注意机制,能够以高精度(∼ 96%)和处理速度(每帧 < 4 毫秒)执行语义分割。分割结果可用于关键特征(例如锁孔和孔隙)的量化和多模态相关分析。此外,还展示了 AM-SegNet 在其他先进制造工艺中的应用。所提出的方法将使制造和成像领域的最终用户能够加速从收集到分析的数据处理过程,并提供对过程控制物理学的洞察。
脑肿瘤磁共振图像处理算法可以帮助医生对患者病情进行诊断和治疗,在临床医学中有着重要的应用意义。针对传统U-net网络中多模态脑肿瘤图像分割中类别不平衡以及特征融合导致有效信息特征丢失的问题,本文提出一种基于U-net与DenseNet结合的网络模型。将原网络上编码路径和解码路径的标准卷积块改进为dense块,增强特征的传递;采用二元交叉熵损失函数与Tversky系数组成的混合损失函数取代原来的单一交叉熵损失,抑制了不相关特征对分割精度的影响。与U-Net、U-Net++、PA-Net相比,本文算法的分割精度有明显提升,在WT、TC、ET的Dice系数指标上分别达到0.846、0.861、0.782。 PPV系数指标分别达到了0.849、0.883、0.786;与传统U-net网络相比,所提算法的Dice系数指标分别提高了0.8%、4.0%、1.4%,且在肿瘤核心区域和肿瘤增强区域的PPV系数指标分别提高了3%、1.2%;所提算法在肿瘤核心区域分割性能最优,其Sensitivity指标达到了0.924,具有很好的研究意义和应用价值。
扩散概率模型 (DPM) 近期成为计算机视觉领域最热门的话题之一。其图像生成应用(如 Imagen、潜在扩散模型和稳定扩散)已展示出令人印象深刻的生成能力,引发了社区的广泛讨论。此外,许多近期研究发现 DPM 可用于多种其他视觉任务,包括图像去模糊、超分辨率和异常检测。受 DPM 成功的启发,我们提出了 MedSegDiff,这是第一个基于 DPM 的用于一般医学图像分割任务的模型。为了增强用于医学图像分割的 DPM 中的逐步区域注意力,我们提出了动态条件编码,它为每个采样步骤建立状态自适应条件。此外,我们提出了特征频率解析器 (FF-Parser) 来消除此过程中高频噪声成分的负面影响。我们在三种不同图像模态的医学分割任务上验证了 MedSegDiff 的有效性,包括眼底图像上的视杯分割、MRI 图像上的脑肿瘤分割和超声图像上的甲状腺结节分割。我们的实验结果表明,MedSegDiff 的表现比最先进的 (SOTA) 方法有相当大的性能差距,证明了所提模型的泛化和有效性。关键词:扩散概率模型、医学图像分割、脑肿瘤、视杯、甲状腺结节
在测试时将源模型调整到目标数据分布是解决数据移位问题的有效方法。以前的方法通过使用熵最小化或正则化等技术使模型适应目标分布来解决此问题。在这些方法中,模型仍然通过对完整测试数据分布使用无监督损失的反向传播进行更新。在现实世界的临床环境中,由于隐私问题和部署时缺乏计算资源,动态地将模型调整到新的测试图像并避免在推理过程中更新模型更有意义。为此,我们提出了一种新的设置 - 动态自适应,它是零样本和偶发的(即,模型一次适应单个图像,并且在测试时不执行任何反向传播)。为了实现这一点,我们提出了一个名为 Adaptive UNet 的新框架,其中每个卷积块都配备了一个自适应批量归一化层,以根据域代码调整特征。域代码是使用专门针对医学图像进行训练的域先验生成器生成的。在测试时,模型仅接收新的测试图像并生成域代码以根据测试数据实例调整源模型的特征。我们验证了 2D 和 3D 数据分布偏移的性能,与以前的测试时自适应方法相比,我们在测试时不执行反向传播的情况下获得了更好的性能。关键词:测试时自适应、医学图像分割。
平滑标签分配已成为训练犯罪模型的流行策略。然而,大多数现有方法通常是为分类任务而设计的,忽略了密集的预测问题的潜在属性,例如医疗图像分割。首先,这些策略通常忽略给定像素及其邻居之间的空间关系。和第二,与每个标签相关的图像上下文都被忽略了,这可以传达有关分割掩模中潜在错误或歧义的重要信息。为了解决这些局限性,我们在这项工作中提出了Geodesic标签平滑(GEOLS),该工作通过利用图像的地理距离变换来将图像信息整合到标签平滑过程中。作为生成的标签分配基于计算的测量图,软标签中的类别关系是更好的建模,因为它考虑了两个或多个类别的边界的图像梯度。此外,空间像素的关系是在地球差异转换中捕获的,比诉诸于像素之间的欧几里得距离更丰富的信息。我们在两个公开可用的分割基准标记上评估了我们的方法,并将它们与流行的分割损失函数进行比较,该功能直接修改标准硬牌分配。所提出的测量标签的平滑性提高了现有软标记策略的分割精度,证明将图像信息整合到标签平滑过程中的有效性。重现我们的结果的代码可在以下网址获得:https://github.com/adigasu/geols关键字:图像分割,地球距离,标签平滑
摘要。磁共振成像(MRI)在多模式脑肿瘤分割中起重要作用。但是,缺失方式在临床诊断中非常普遍,这将导致严重的分割性能降解。在本文中,我们提出了一个简单的自适应多模式融合网络,用于脑肿瘤分割,该网络具有两个特征融合的阶段,包括简单的平均融合和基于注意机制的适应性融合。两种融合技术都能够处理缺失的形态情况,并有助于改善分割结果,尤其是自适应结果。我们在BRATS2020数据集上评估了我们的方法,与最近的四种方法相比,与不完整的多模式脑肿瘤疗法达到了最先进的性能。我们的A2FSEG(平均和自适应融合分割网络)很简单但有效,并且具有处理任何数量的图像模式以进行多模式分割的能力。我们的源代码在线,可在https://github.com/zirui0623/a2fseg.git上找到。
手动图像分割非常耗时,需要一种自动、准确的方法来利用富含上下文信息的三维医学图像分割多模态脑肿瘤,以用于临床治疗决策和手术计划。然而,由于肿瘤的多样性和子区域间复杂的边界相互作用,而有限的计算资源阻碍了高效神经网络的构建,利用深度学习实现医学图像的精确分割是一项挑战。我们提出了一种基于分层解耦卷积网络和注意机制的特征融合模块来提高网络分割的性能。我们用特征融合模块替换了U型网络的跳过连接来解决类别不平衡问题,从而有助于分割更复杂的医学图像。我们引入了全局注意机制来进一步融合编码器学习到的特征并探索上下文信息。对所提出的方法进行了增强肿瘤、整个肿瘤和肿瘤核心的评估,在 BraTS 2019 数据集上分别实现了 0.775、0.900 和 0.827 的 Dice 相似系数指标,在 BraTS 2018 数据集上分别实现了 0.800、0.902 和 0.841 的 Dice 相似系数指标。结果表明,我们提出的方法本质上是通用的,是脑肿瘤图像研究的有力工具。我们的代码可在以下位置获得:https://github.com/WSake/Feature-interaction-network-based-on-Hierarchical-Decoupled-Convolution。
摘要:MRIS的脑肿瘤分割一直是放射科医生的一项艰巨任务,因此,需要自动和广义的系统来解决此任务。在医学成像中使用的所有其他深度学习技术中,基于U-NET的变体是文献中最常用的模型,可针对不同的方式分割医学图像。因此,本文的目的是研究U-NET体系结构中的众多进步和创新,以及最近的趋势,目的是强调使用U-NET的持续潜力用于改善脑肿瘤分割的性能。此外,我们还提供了不同U-NET体系结构的定量比较,以从优化的角度突出该网络的性能和演变。除此之外,我们还尝试了四个U-NET体系结构(3D U-NET,COATION U-NET,R2 COATION U-NET和修改3D U-NET),用于Brats 2020数据集,以供脑肿瘤细分,以更好地概述该体系结构在DICE SCORE和HAUSDORFF距离上的概述。最后,我们分析了医学图像分析的局限性和挑战,以提供有关在优化方面开发新体系结构的重要性的批判性讨论。
摘要 — 神经系统疾病是指因结构、生化或电异常而影响大脑、全身神经和脊髓的疾病。由于神经系统复杂,这些疾病的诊断、管理和治疗被认为是医疗保健系统中最具挑战性的。然而,现代技术已经减轻了与神经系统诊断相关的挑战的强度。由于神经系统的结构、生物化学和电活动的变化,这些疾病会引起各种症状。MRI 是评估脑血管损伤和排除神经系统疾病其他潜在原因的常用工具。MRI 技术的进步扩展了我们对神经生物学变化的理解,提供了新的神经成像工具。整合这些技术使医生能够准确诊断神经系统疾病,同时排除其他医疗状况。
摘要 — 在过去十年中,使用深度神经网络 (DNN) 的医学图像分割 (MIS) 取得了显着的性能改进,并具有巨大的发展前景。本文对基于 DNN 的 MIS 进行了全面的研究。智能视觉系统通常根据其输出级别进行评估,例如数据、信息、知识、智能和智慧 (DIKIW),而这些级别的 MIS 中最先进的解决方案是研究的重点。此外,可解释人工智能 (XAI) 已成为一个重要的研究方向,因为它旨在揭示以前 DNN 架构的“黑匣子”性质,以满足透明度和道德要求。该研究强调了 MIS 在疾病诊断和早期检测中的重要性,特别是通过及时诊断来提高癌症患者的存活率。XAI 和早期预测被认为是从“智能”到“智慧”之旅的两个重要步骤。此外,本文还解决了现有挑战并提出了潜在的解决方案,以提高实施基于 DNN 的 MIS 的效率。