脑肿瘤的特征是脑组织异常生长,因其对全球发病率和死亡率的影响而成为一项重大的医学挑战。脑肿瘤有多种表现形式,从良性到恶性,后者尤其具有侵袭性且易于转移 (1)。脑肿瘤的病因复杂,包括放射线暴露、遗传易感性和家族史等因素,因此需要早期发现和准确诊断 (2)。在脑肿瘤诊断领域,磁共振成像 (MRI) 因其更高的空间分辨率和软组织对比度而成为优于计算机断层扫描 (CT) 的检查方式。这使得 MRI 成为脑肿瘤病例术前评估、治疗管理和生存预测所必需的 (3)。然而,MRI 扫描中传统的手动分割方法虽然是黄金标准,但却存在固有的效率低下和主观差异性,因此有必要探索自动化技术 (4、5)。近年来,深度学习模型(例如 Ma 等人提出的模型)在自动脑肿瘤分割方面取得了重大成功。这些模型擅长捕捉局部和全局上下文特征,但通常会遇到梯度消失和过拟合的问题,尤其是在较深的网络层中。Kumar 等人(7)通过将 ResNet50 与全局平均池化相结合来解决这些问题,以增强各种肿瘤类型的肿瘤分类。在此基础上,我们的研究引入了一种先进的连续学习框架,用于从 MRI 图像中分割脑肿瘤,如图 1 所示。我们的方法与现有技术不同,它集成了多尺度空间蒸馏和伪标记策略。这种方法不仅克服了以前模型中出现的梯度消失和过拟合的局限性,而且还解决了灾难性遗忘问题——这是连续学习模型中常见的挑战。与依赖于保留数据的传统方法不同,我们的研究引入了一种先进的连续学习框架,用于从 MRI 图像中分割脑肿瘤,如图 1 所示。我们的方法与现有技术不同,它集成了多尺度空间蒸馏和伪标记策略。这种方法不仅克服了以前模型中出现的梯度消失和过拟合的局限性,而且还解决了灾难性遗忘问题——这是连续学习模型中常见的挑战。与依赖于保留数据的传统方法不同,我们的研究引入了一种先进的连续学习框架,用于从 MRI 图像中分割脑肿瘤,如图 1 所示。
对于医学图像分割,想象一下如果一个模型仅使用源域中的 MRI 图像进行训练,那么它在目标域中直接分割 CT 图像的性能如何?这种设置,即具有临床潜力的通用跨模态分割,比其他相关设置(例如域自适应)更具挑战性。为了实现这一目标,我们在本文中提出了一种新颖的双重规范化模型,该模型在通用分割过程中利用增强的源相似和源不相似图像。具体而言,给定一个源域,旨在模拟看不见的目标域中可能的外观变化,我们首先利用非线性变换来增强源相似和源不相似图像。然后,为了充分利用这两种类型的增强,我们提出的基于双重规范化的模型采用共享主干但独立的批量规范化层进行单独规范化。随后,我们提出了一种基于风格的选择方案,在测试阶段自动选择合适的路径。在三个公开数据集(即 BraTS、跨模态心脏和腹部多器官数据集)上进行的大量实验表明,我们的方法优于其他最先进的领域泛化方法。代码可在 https://github.com/zzzqzhou/Dual-Normalization 获得。
数据重播是图像的成功增量学习技术。它通过保留原始或合成的先前数据的储存库来防止灾难性的遗忘,以确保模型在适应新颖概念的同时保留过去的知识。但是,它在视频域中的应用是基本的,因为它只是存储了框架以进行动作识别。本文首次探讨了视频数据重播技术的递增动作分割,重点是动作时间段。我们提出了一个时间连贯的动作(TCA)模型,该模型代表使用生成模型而不是存储单个帧的动作。捕获时间连贯性的调节变量的集成使我们的模型了解随着时间的流逝的作用进化。因此,TCA为重播产生的动作段是多种多样的,并且在时间上是连贯的。在早餐数据集上的10任任务增量设置中,与基准相比,我们的AP可以显着提高准确性高达22%。
近年来,已经提出了连续的潜在空间(CLS)和DISCRETE潜在空间(DLS)深度学习模型,以改善医学图像分析。但是,这些模型遇到了不同的挑战。cls模型捕获了复杂的细节,但由于其强调低级特征,因此在结构表示和易男性方面通常缺乏解释性。尤其是,DLS模型提供了可解释性,鲁棒性以及由于其结构性潜在空间而捕获粗粒度信息的能力。但是,DLS模型在捕获细粒细节方面的功效有限。为了确定DLS和CLS模型的局限性,我们采用了Synergynet,这是一种新型的瓶颈体系结构,旨在增强现有的编码器 - 核编码器分割框架。Synergynet无缝地将离散和连续的表示形式整合到利用互补信息中,并成功保留了细学的表示的细节。我们对多器官分割和CAR-DIAC数据集进行的实验实验表明,SynergyNet的表现优于包括Transunet:Transunet:DICE评分提高2.16%的其他最新方法,而Hausdorff分别分别提高了11.13%。在评估皮肤病变和脑肿瘤分割数据集时,我们观察到皮肤病变分割的交互分数的1.71%的重新提高,脑肿瘤分割的增长率为8.58%。我们的创新方法为增强医学图像分析关键领域中深度学习模型的整体性能和能力铺平了道路。
参考图像分割(RIS)的目的是通过相应的静脉语言表达式精确地分段图像中的对象,但依赖于成本密集的掩码注释。弱监督的RIS因此从图像文本对学习到像素级语义,这是用于分割细粒面罩的挑战。自然而然地提高了分割精度,是用图像分割模型SAM赋予弱监督的RI。尽管如此,我们观察到,简单地整合SAM会产生有限的收益,甚至由于不可避免的噪声而导致性能回归,而过度关注对象部分的挑战和挑战。在本文中,我们提出了一个创新的框架,即P PPT(PPT),与拟议的多源课程学习策略合并,以解决这些挑战。具体来说,PPT的核心是一个点发生器,它不仅可以利用Clip的文本图像对准能力和SAM强大的掩膜生成能力,而且还产生了负点提示,以固有,有效地解决嘈杂和过度的焦点问题。在适当的情况下,我们引入了一种以对象为中心图像的课程学习策略,以帮助PPT逐渐从更简单但精确的语义一致性中学习到更复杂的RIS。实验表明,我们的PPT在MIOU上显着胜过弱监督的技术,分别为11.34%,14.14%和6.97%,分别为6.97%。
摘要背景:磁共振(MR)图像是脑肿瘤检测最重要的诊断工具之一。在医学图像处理问题中,脑 MR 图像中胶质瘤肿瘤区域的分割具有挑战性。精确可靠的分割算法对诊断和治疗计划有很大帮助。方法:本文介绍了一种新颖的脑肿瘤分割方法作为后分割模块,该方法使用主要分割方法的输出作为输入,并使分割性能值更好。该方法是模糊逻辑和细胞自动机(CA)的组合。结果:BraTS 在线数据集已用于实现所提出的方法。在第一步中,将每个像素的强度输入模糊系统以标记每个像素,在第二步中,将每个像素的标签输入模糊 CA 以使分割性能更好。在性能饱和时重复此步骤。第一步的准确率为 85.8%,但使用模糊 CA 后的分割准确率达到 99.8%。结论:实际结果表明,与其他方法相比,我们提出的方法可以显著改善 MRI 图像中的脑肿瘤分割。
临床成像工作流的主要重点是疾病诊断和管理,导致医学成像数据集与特定的临床目标密切相关。这种情况导致了开发特定于任务的分割模型的主要实践,而没有从广泛的成像群中获得见解。受到医学放射学居民培训计划的启发,我们提出了向普遍医学图像分割的转变,旨在通过利用临床目标,身体区域和成像方式的多样性和共同点来建立医学图像理解基础模型的范式。div of这个目标,我们开发了爱马仕,一种新颖的上下文 - 学习方法,以应对医学图像segmentation中数据杂基的挑战和注释差异。在五种模式(CT,PET,T1,T2和Cine MRI)和多个身体区域的大量各种数据集(2,438个3D图像)中,我们证明了通用范式比传统范式在单个模型中解决多个任务的传统范式的优点。通过跨任务的协同作用,爱马仕在所有测试数据集中都能达到最先进的性能,并显示出卓越的模型可伸缩性。其他两个数据集中的结果揭示了爱马仕在转移学习,分裂学习和对下游任务的概括方面的出色表现。爱马仕(Hermes)博学的先生展示了一个具有吸引力的特征,以反映任务和方式之间的复杂关系,这与既定的放射学解剖学和成像原则相吻合。代码可用1。
摘要。多模式图像的使用通常可以改善分段。但是,由于临床限制,完整的多模式数据集通常不可用。为了解决这个问题,我们提出了一个新颖的mul-timodal分割框架,该框架可通过使用利益区域(ROI)细心的模态完成,可以使缺少模态固定。我们使用ROI专注的跳过连接专注于与分割相关的收件,以及结合肿瘤ROI的关注点和分割概率图的关节歧视者,以学习与分割与分割相关的共享潜在表示。我们的方法在脑部分割挑战数据集中得到了285例,该数据集的全部肿瘤,肿瘤核心和增强肿瘤的三个区域。它也是在缺血性卒中病变分割挑战数据集上的带有28例梗塞病变的阀门。我们的方法在强大的多模式分割中优于最先进的方法,分别为三种类型的脑肿瘤区域的平均骰子分别为84.15%,75.59%和54.90%,中风病变的平均骰子为48.29%。我们的方法可以改善需要多模式图像的临床工作流程。
摘要:本文讨论了一种针对脑肿瘤的医学图像分割改进模型,该模型是一种基于U-Net架构的深度学习算法。在传统U-Net基础上,引入GSConv模块和ECA注意力机制,提升模型在医学图像分割任务中的表现。通过这些改进,新的U-Net模型能够更高效地提取和利用多尺度特征,同时灵活地聚焦重要通道,从而显著提高分割效果。在实验过程中,对改进的U-Net模型进行了系统的训练和评估。通过观察训练集和测试集的loss曲线,我们发现两者的loss值在第8个epoch之后迅速下降到最低点,随后逐渐收敛并趋于稳定。这表明我们的模型具有良好的学习能力和泛化能力。此外,通过监测平均交集比(mIoU)的变化,我们可以看到在第35个epoch之后,mIoU逐渐趋近于0.8并且保持稳定,这进一步验证了模型的有效性。与传统U-Net相比,基于GSConv模块和ECA注意机制的改进版本在分割效果上表现出明显的优势,特别是在脑肿瘤图像边缘的处理上,改进模型能够提供更为准确的分割结果,这一成果不仅提高了医学图像分析的准确率,也为临床诊断提供了更可靠的技术支持。综上所述,本文提出的基于GSConv模块和ECA注意机制的改进U-Net模型为脑肿瘤医学图像分割提供了一种新的解决方案,其优越的性能有助于提高疾病的检测和治疗效果,在相关领域具有重要的意义。未来希望进一步挖掘该方法在其他类型医学图像处理中的应用潜力,推动医学影像事业的发展。
越来越多的公共数据集显示出对自动器官细分和图检测的显着影响。但是,由于每个数据集的大小和部分标记的问题,以及对各种肿瘤的有限侵入,因此所得的模型通常仅限于细分特定的器官/肿瘤,以及ig- ignore ignore ignore的解剖结构的语义,也可以将其扩展到新颖的Domains。为了解决这些问题,我们提出了剪辑驱动的通用模型,该模型结合了从对比的语言图像预训练(剪辑)到细分模型中学到的文本嵌入。这个基于夹子的标签编码捕获了解剖学关系,使模型能够学习结构化特征嵌入和段25个器官和6种类型的肿瘤。提出的模型是从14个数据集的组装中开发的,使用总共3,410张CT扫描进行培训,然后对3个附加数据集进行了6,162个外部CT扫描进行评估。我们首先在医疗细分十项全能(MSD)公共排行榜上排名第一,并在颅库(BTCV)之外实现最先进的结果。此外,与数据集特异性模型相比,大学模型在计算上更有效(更快6英制),从不同站点进行CT扫描更好,并且在新任务上表现出更强的传输学习绩效。