摘要:增强 T1 (T1ce) 是诊断和分析脑肿瘤(尤其是神经胶质瘤)最重要的磁共振成像 (MRI) 模式之一。在临床实践中,常见的 MRI 模式(例如 T1、T2 和液体衰减反转恢复)相对容易获取,而考虑到额外的成本和对造影剂过敏的潜在风险,T1ce 更具挑战性。因此,开发一种从其他常见模式合成 T1ce 的方法具有重要的临床意义。当前的配对图像转换方法通常存在需要大量配对数据并且在合成过程中不关注特定感兴趣的区域(例如肿瘤区域)的问题。为了解决这些问题,我们提出了一个难度感知共同的半监督多模态 MRI 合成网络(DS 3 -Net),涉及配对和非配对数据以及双层知识提炼。DS 3 -Net 预测难度图以逐步促进合成任务。具体而言,像素约束和块状对比约束由预测的难度图指导。通过对公开的 BraTS2020 数据集进行大量实验,DS 3 -Net 在各个方面都优于其监督对应者。此外,仅使用 5% 的配对数据,所提出的 DS 3 -Net 实现了与利用 100% 配对数据的最先进的图像转换方法相媲美的性能,提供 0.8947 的平均 SSIM 和 23.60 的平均 PSNR。源代码位于https://github.com/Huangziqi777/DS-3_Net。
摘要 —多模态磁共振 (MR) 成像为诊断和分析脑胶质瘤提供了巨大潜力。在临床场景中,常见的 MR 序列(例如 T1、T2 和 FLAIR)可以在单次扫描过程中同时获得。然而,获取对比增强模态(例如 T1ce)需要额外的时间、成本和注射造影剂。因此,开发一种方法来合成不可用的模态具有临床意义,这些模态也可以用作下游任务(例如脑肿瘤分割)的额外输入以提高性能。在这项工作中,我们提出了一个端到端框架,称为模态级注意力融合网络 (MAF-Net),其中我们创新地进行逐块对比学习以提取多模态潜在特征并动态分配注意力权重以融合不同的模态。通过在 BraTS2020 上进行大量实验,发现我们提出的 MAF-Net 具有优异的 T1ce 合成性能(SSIM 为 0.8879 和 PSNR 为 22.78)和准确的脑肿瘤分割(在分割肿瘤核心、增强肿瘤和整个肿瘤方面的平均 Dice 分数分别为 67.9%、41.8% 和 88.0%)。
胶质母细胞瘤 (GBM) 是最常见和最具侵袭性的原发性脑肿瘤,尽管治疗方法取得了进展,但预后仍然不佳。切除范围已广泛被认为是影响 GBM 患者生存结果的关键因素。“最大限度安全切除”的手术原则已得到广泛应用于平衡肿瘤切除和神经功能保留。从历史上看,T1 增强 (T1CE) 切除范围一直是研究的重点;然而,出现了“超最大限度切除”的概念,主张在保持神经功能的同时切除更多的肿瘤。最近的研究表明,对于 GBM,切除超过 T1CE 范围的肿瘤可能具有生存益处。本综述探讨了 GBM 中“超最大限度切除”的正在形成的共识和新建立的标准,重点关注 T2 切除范围。总结了关于超最大限度切除术的系统评价和荟萃分析,并介绍了神经肿瘤学反应评估 (RANO) 切除组对切除范围的分类。对超最大限度切除术在 GBM 中的作用的不断认识可能会改善患者的预后,并制定更客观的肿瘤切除范围评估标准。
虽然误差百分比与线性体积估计无关,但较小的肿瘤在平面测量中表现出较大的误差指数。这部分是由于手动勾勒肿瘤边缘时包括了周围的体素,使得小病变在比例上受到附近组织的包含的影响更大。这种影响在多参数分割中得到了校正。在 T1CE 图像中,由于 DICOM 查看器软件上的信号插值,肿瘤与周围结构之间的界面在肉眼下可能变得略宽。因此,信号强度在肿瘤-实质界面处减弱,使得难以精确定义界限。多参数 VBM 不是
无论是在分割还是分类的情况下,脑肿瘤疾病都已成为研究课题。对于分类的情况,分组的脑肿瘤类型通常包括高级别胶质瘤 (HGG) 和低级别胶质瘤 (LGG)。在这项研究中,我们提出了一种使用卷积神经网络 (CNN) 算法对两种类型的肿瘤(即 HGG 和 LGG)进行分类的方法,该算法经过训练并将针对 2018 年和 2019 年脑肿瘤分割 (BRATS) 数据集进行测试,该数据集具有 4 种模式,即流体衰减反转恢复 (FLAIR)、T1、T1ce 和 T2,共计 2048 张图像。之所以选择 CNN 算法,是因为它可以直接接收磁共振图像 (MRI) 形式的输入,并进行特征提取过程以及分类算法。通过形成一个仅具有3个卷积层的简单CNN算法架构,其输入层的形式为尺寸为240×240×3的完整MRI图像,我们获得了94.14%的相对较高的准确率结果,甚至可以说比具有更复杂架构的类似方法更好。
本研究提出的方法的一个关键思想是将 3D MRI 扫描转换为轴向、冠状面和矢状面的 2D 堆叠切片。因此,对于每个患者,都会从第 2.1 节中定义的四种 MRI 模式生成 12 个 2D 堆叠 MRI 切片。此后,我们将这 12 个 2D 堆叠切片分别表示为 FLAIR MRI 模式的轴向、冠状面和矢状面投影的 FLAIR-轴向、FLAIR-冠状面和 FLAIR-矢状面。同样,T1、T1CE 和 T2 模式的轴向、冠状面和矢状面视图分别表示为 T1-轴向、T1-冠状面和 T1-矢状面、T1CE-轴向、T1CE-冠状面和 T1CE-矢状面以及 T2-轴向、T2-冠状面和 T2-矢状面。为避免处理背景和管理 GPU 内存限制,我们排除了每张 MRI 扫描中不包含任何脑组织的一些开始和结束切片。每张切片的强度像素也在 0 到 255 的范围内重新缩放,转换为 PNG 格式,并归一化为零均值和单位方差。MRI 扫描的 3D 到 2D 重建使每张 2D 轴向、冠状面和矢状面投影图像的形状大小分别为 240 × 240、155 × 240 和 155 × 240 像素。这些投影图像
通过融合图像可以准确地对任何人体健康问题进行医学诊断。在图像融合中,数据从不同的图片组合在一起,使我们仅在一张图片中就能获得大量信息。图像融合在医学成像应用中起着重要作用,它可以帮助放射科医生在 CT 和 MR 脑图像中发现异常。多模态 (MM) 是融合技术之一。在 MM 中,会融合不同的模态,例如计算机断层扫描 (CT)、正电子发射断层扫描 (PET) 和磁共振成像 (MRI) 扫描。每种模态都有各种特征,具有各种类型的功能信息和互补的解剖结构。用于发现脑中风和肿瘤的常用扫描技术是 MRI 和 CT。在本文中,将同一患者的脑 MR 图像的不同切片:T1 加权 (T1)、T1 对比增强 (T1ce)、T2 加权 (T2) 和液体衰减反转恢复 (Flair) 融合在一起,以诊断脑病理和异常。使用离散小波变换 (DWT)、拉普拉斯金字塔变换技术和主成分分析 (PCA) 融合技术进行了多次实验。对具有更多信息内容的不同融合图像进行了比较分析。这里考虑的性能指标包括峰值信噪比、均方误差和信噪比。进行了不同的实验,使用不同的融合技术对脑部 MR 图像的 Flair 和 T2 切片进行融合,在 SNR 和 PSNR 方面取得了更好的结果。
准确地描绘肿瘤形状,使得多模态成像在肿瘤分割任务中具有优势(2,3)。例如,在脑胶质瘤的分割中,四个 MRI 序列 T1、T2、T1ce 和液体衰减反转恢复 (FLAIR) 提供了关于脑内肿瘤形状和其他病变结构的互补信息(4,5)。同样,在头颈部肿瘤分割中,PET 和 CT 图像可以提供有关肿瘤位置和轮廓的附加信息(6)。手动肿瘤分割是计算机辅助诊断 (CAD) 系统中常用的技术,但由于医生经验的主观性,它具有局限性,可能导致偏差,并且耗时耗力(7)。因此,准确的自动分割至关重要。近年来,深度学习 (DL) 技术,例如卷积神经网络 (CNN),已广泛应用于大脑 (8)、头颈部 (9) 和肺部 (10) 等各个身体部位的多模态肿瘤分割任务。这些技术的基本思想是从训练数据中学习肿瘤特征,自动分割未知数据中的肿瘤,从而降低人工分割成本,提高分割精度。基于多模态深度学习的肿瘤分割算法已成为一种流行趋势,并因实现肿瘤的精准分割而受到越来越多的关注。本研究对多模态肿瘤分割的深度学习算法进行了全面的概述,包括公开数据集、评估方法、分割网络、常用技术以及各种多模态数据融合方法下的评估指标分析。来自公开挑战赛(https://grand-challenge.org)的基准数据集可以验证肿瘤分割
摘要背景:脑肿瘤细分在诊断和治疗计划方面有很大贡献。手动脑肿瘤描述是一项耗时且乏味的任务,并且根据放射科医生的技能而有所不同。自动化的脑肿瘤分割非常重要,并且不依赖于观察间或观察到。这项研究的目的是使从流体累积的反转恢复(FLAIR),T1加权(T1W),T2加权(T2W)和T1W对比(T1W对比度(T1CE)对比(T1CE)磁性结合(MR)序列的最高准确性或在MR上的组合,从而使MR的最高序列或pocorm pocol to pocol to pocol to pocol compoy 其中。 方法:Brats −2020挑战数据集,包含370名具有四个MR序列和手动描绘的肿瘤口罩的受试者,用于训练残留的神经网络。 该网络是针对每个MR序列(单通道输入)及其任何组合(双或多通道输入)分别训练和评估的。 结果:单通道模型的定量评估表明,与其0.77±0.10骰子指数相比,天赋序列将产生更高的分割精度。 考虑到双通道模型,具有FLAIR和T2W输入的模型产生了0.80±0.10骰子指数,表现出更高的性能。 整个四个MR序列的关节肿瘤分割均具有0.82±0.09骰子指数的最高总体分割精度。其中。 方法:Brats −2020挑战数据集,包含370名具有四个MR序列和手动描绘的肿瘤口罩的受试者,用于训练残留的神经网络。 该网络是针对每个MR序列(单通道输入)及其任何组合(双或多通道输入)分别训练和评估的。 结果:单通道模型的定量评估表明,与其0.77±0.10骰子指数相比,天赋序列将产生更高的分割精度。 考虑到双通道模型,具有FLAIR和T2W输入的模型产生了0.80±0.10骰子指数,表现出更高的性能。 整个四个MR序列的关节肿瘤分割均具有0.82±0.09骰子指数的最高总体分割精度。其中。 方法:Brats −2020挑战数据集,包含370名具有四个MR序列和手动描绘的肿瘤口罩的受试者,用于训练残留的神经网络。 该网络是针对每个MR序列(单通道输入)及其任何组合(双或多通道输入)分别训练和评估的。 结果:单通道模型的定量评估表明,与其0.77±0.10骰子指数相比,天赋序列将产生更高的分割精度。 考虑到双通道模型,具有FLAIR和T2W输入的模型产生了0.80±0.10骰子指数,表现出更高的性能。 整个四个MR序列的关节肿瘤分割均具有0.82±0.09骰子指数的最高总体分割精度。其中。 方法:Brats −2020挑战数据集,包含370名具有四个MR序列和手动描绘的肿瘤口罩的受试者,用于训练残留的神经网络。 该网络是针对每个MR序列(单通道输入)及其任何组合(双或多通道输入)分别训练和评估的。 结果:单通道模型的定量评估表明,与其0.77±0.10骰子指数相比,天赋序列将产生更高的分割精度。 考虑到双通道模型,具有FLAIR和T2W输入的模型产生了0.80±0.10骰子指数,表现出更高的性能。 整个四个MR序列的关节肿瘤分割均具有0.82±0.09骰子指数的最高总体分割精度。其中。方法:Brats −2020挑战数据集,包含370名具有四个MR序列和手动描绘的肿瘤口罩的受试者,用于训练残留的神经网络。该网络是针对每个MR序列(单通道输入)及其任何组合(双或多通道输入)分别训练和评估的。结果:单通道模型的定量评估表明,与其0.77±0.10骰子指数相比,天赋序列将产生更高的分割精度。考虑到双通道模型,具有FLAIR和T2W输入的模型产生了0.80±0.10骰子指数,表现出更高的性能。整个四个MR序列的关节肿瘤分割均具有0.82±0.09骰子指数的最高总体分割精度。结论:FLAIR MR序列被认为是单个MR序列上肿瘤分割的最佳选择,而整个四个MR序列的关节分割将产生较高的肿瘤描述准确性。
摘要:在大多数基于深度学习的脑肿瘤分割方法中,训练深度网络需要带注释的肿瘤区域。然而,准确的肿瘤注释对医务人员提出了很高的要求。本研究的目的是利用肿瘤周围的椭圆框区域训练深度分割网络。在所提出的方法中,深度网络通过使用大量未注释的肿瘤图像(其中肿瘤和背景周围有前景(FG)和背景(BG)椭圆框区域)以及少量带有注释肿瘤的患者(<20)来训练。训练首先在未注释的 MRI 上的两个椭圆框上进行初始训练,然后在少量带注释的 MRI 上进行细化训练。我们使用多流 U-Net 进行实验,它是传统 U-Net 的扩展。这使得能够使用来自多模态(例如 T1、T1ce、T2 和 FLAIR)MRI 的互补信息。为了验证所提方法的可行性,在两个胶质瘤数据集上进行了分割实验与评估,并将在测试集上的分割性能与在相同网络但完全由带注释的MRI图像训练的分割性能进行比较。实验表明,所提方法在测试集上获得了良好的肿瘤分割结果,其中在MICCAI BraTS'17和US数据集上肿瘤区域的dice得分为(0.8407,0.9104),肿瘤区域的分割准确率分别为(83.88%,88.47%)。与使用所有带注释的肿瘤训练的网络的分割结果相比,所提方法在MICCAI和US测试集上的分割性能下降分别为(0.0594,0.0159)和(8.78%,2.61%),但下降幅度相对较小。我们的案例研究表明,使用椭圆框区域代替所有注释的肿瘤来训练网络进行分割是可行的,并且可以被视为一种替代方案,这是在节省医学专家注释肿瘤的时间和分割性能的轻微下降之间的权衡。
