摘要:Transformer 可以利用自注意机制进行全局(长距离)信息建模,近期在自然语言处理和二维图像分类中取得了成功。然而,局部和全局特征对于密集预测任务都至关重要,尤其是对于 3D 医学图像分割。在本文中,我们首次将 Transformer 用于 3D CNN 中的 MRI 脑肿瘤分割,并提出了一种基于编码器-解码器结构的新型网络 TransBTS。为了捕获局部 3D 上下文信息,编码器首先利用 3D CNN 提取体积空间特征图。同时,对特征图进行精心重组以形成输入 Transformer 进行全局特征建模的标记。解码器利用 Transformer 嵌入的特征并执行渐进式上采样来预测详细的分割图。在 BraTS 2019 和 2020 数据集上进行的大量实验结果表明,TransBTS 在 3D MRI 扫描的脑肿瘤分割方面取得了与之前最先进的 3D 方法相当或更高的结果。源代码可在 https://github.com/Wenxuan-1119/TransBTS 获得。
胶质瘤是最常见的原发性脑恶性肿瘤,具有不同的侵袭性、可变的预后和各种异质性组织学亚区域 [3,1,2]。脑肿瘤分割 (BraTS) 挑战赛的目标之一是确定用于在磁共振成像 (MRI) 扫描中分割脑肿瘤的最先进的机器学习方法 [19,4]。一个 MRI 数据样本包括原始 T1 加权扫描 (T1)、对比后 T1 加权扫描 (T1Gd)、原始 T2 加权扫描 (T2) 和 T2 液体衰减反转恢复 (T2-FLAIR) 扫描。然而,每个肿瘤感兴趣区域 (TRoI) 在一个脉冲中可见。具体而言,整个肿瘤在 T2-FLAIR 中可见,肿瘤核心在 T2 中可见,增强肿瘤在 T1Gd 中可见。准确的深度学习分割模型不仅可以节省神经放射科医生的时间,还可以为进一步的肿瘤分析提供可靠的结果。最近,深度学习方法一直超越传统的计算机视觉方法[6,11,22,24,27]。具体来说,卷积神经网络(CNN)
尽管已经提出了许多分割方法,但可以进一步提高分割结果的准确性。随后,本研究试图提供有关称为感兴趣区域(ROI)的大小,初始位置和形状(ROI)的非常重要的特性,以启动分割过程。MRI由特定人而不是一个图像的一系列图像(MRI切片)组成。我们的方法根据肿瘤大小,初始位置和形状选择其中的最佳图像,以避免部分体积效应。测试我们方法的所选算法是主动轮廓和OTSU阈值算法。在本研究中使用Brats标准数据集进行了几项实验,该数据集由100个样本组成。这些实验由65名患者的MRI切片组成。使用骰子,jaccard和BF分数通过相似系数作为标准度量来评估所提出的方法。结果表明,当在三个不同的相似性系数中测试时,主动轮廓算法具有较高的分割精度。此外,两种算法的实现结果验证了建议的方法选择MRI样品最佳ROI的能力。
首先,从 BRATS 2013 数据集获取输入图像并进行预处理,使用基于卷积神经网络 (CNN) 的语义分割进行分割,并使用改进的多路径 GoogLeNetCNN 分类器方法进行分类。预处理阶段使用偏差校正滤波进行。提出了一种基于深度学习的 MRI 图像脑肿瘤语义分割方案,以有效地对脑肿瘤进行分类。在这种方法中,采用语义分割进行分割。改进的多路径 GoogLeNetCNN 用于对脑肿瘤进行分类,以对脑 MRI 图像进行分类并将脑肿瘤分为三类(脑膜瘤、垂体瘤和神经胶质瘤)。输入数据集中共有 3064 张 T1 加权对比增强图片,代表 233 名患者。在 MATLAB 中计算了所提出方法的准确度、灵敏度、特异性和精确度估计值。得到的结果表明,预计方法的分类器总体性能达到 99.7% 准确度、100% 灵敏度、99.717% 特异性和 99.06% 精度。结果表明,所建议的系统优于最先进的方法。
脑肿瘤检测是医学图像分析中的一项重要任务。卷积神经网络 (CNN) 在各种计算机视觉任务中表现出色,包括脑肿瘤检测。然而,CNN 的性能在很大程度上取决于大量多样化训练数据的可用性。在医学成像中,由于道德和实际问题,获取大量数据集通常具有挑战性。数据增强是一种广泛使用的技术,它通过从现有数据集生成额外的训练样本来克服这一限制。在本研究论文中,我们使用深度学习方法研究了数据增强对脑肿瘤检测的影响。我们使用 BraTS 2019 数据集比较了基于 CNN 的模型在增强和非增强数据上训练的性能。实验结果表明,数据增强显著提高了模型的性能,在肿瘤检测中实现了更高的准确度、灵敏度、特异性和骰子系数。我们的研究结果表明,数据增强是一种有效的技术,可以提高基于 CNN 的模型在医学图像分析任务中的性能,特别是在没有大量多样化数据集的情况下。
摘要。3D 磁共振图像 (MRI) 中的脑肿瘤分割自动化是评估疾病诊断和治疗的关键。近年来,卷积神经网络 (CNN) 在该任务中表现出更好的效果。然而,高内存消耗仍然是 3D-CNN 的一个问题。此外,大多数方法不包括不确定性信息,这在医学诊断中尤其重要。这项工作研究了使用修补技术训练的 3D 编码器-解码器架构,以减少内存消耗并降低不平衡数据的影响。然后使用不同的训练模型来创建一个利用每个模型属性的集成,从而提高性能。我们还分别使用测试时间丢失 (TTD) 和数据增强 (TTA) 引入了体素不确定性信息,包括认知和随机信息。此外,提出了一种有助于提高分割准确性的混合方法。本论文提出的模型和不确定性估计测量已在 BraTS'20 挑战赛中用于肿瘤分割和不确定性估计的任务 1 和 3。
摘要:大脑是人类控制和交流的中心。因此,保护它并为其提供理想条件非常重要。脑癌仍然是世界上死亡的主要原因之一,并且检测恶性脑肿瘤是医疗图像分割的优先事项。与正常组织相比,脑肿瘤分割任务旨在鉴定属于异常区域的像素。深度学习近年来已经解决了解决这个问题的力量,尤其是类似U-Net的架构。在本文中,我们提出了一个有效的U-NET架构,其中包含三个不同的编码器:VGG-19,Resnet50和MobilenetV2。这是基于转移学习,然后是应用于每个编码器的双向特征金字塔网络,以获得更多的空间相关特征。然后,我们融合了从每个网络的输出中提取的特征图,并通过注意机制将它们合并到我们的解码器中。在Brats 2020数据集上评估了该方法,以分割不同类型的肿瘤,结果在骰子相似性方面表现出良好的性能,整个肿瘤,核心肿瘤和增强肿瘤的系数为0.8741、0.8069和0.7033。
无论是在分割还是分类的情况下,脑肿瘤疾病都已成为研究课题。对于分类的情况,分组的脑肿瘤类型通常包括高级别胶质瘤 (HGG) 和低级别胶质瘤 (LGG)。在这项研究中,我们提出了一种使用卷积神经网络 (CNN) 算法对两种类型的肿瘤(即 HGG 和 LGG)进行分类的方法,该算法经过训练并将针对 2018 年和 2019 年脑肿瘤分割 (BRATS) 数据集进行测试,该数据集具有 4 种模式,即流体衰减反转恢复 (FLAIR)、T1、T1ce 和 T2,共计 2048 张图像。之所以选择 CNN 算法,是因为它可以直接接收磁共振图像 (MRI) 形式的输入,并进行特征提取过程以及分类算法。通过形成一个仅具有3个卷积层的简单CNN算法架构,其输入层的形式为尺寸为240×240×3的完整MRI图像,我们获得了94.14%的相对较高的准确率结果,甚至可以说比具有更复杂架构的类似方法更好。
神经系统中的肿瘤疾病既危险又复杂。磁共振成像 (MRI) 对于检测脑部疾病至关重要;然而,从中识别肿瘤的存在非常耗时,需要专业医生。利用深度学习在 MRI 图像中检测肿瘤可以减少等待时间并提高检测准确性。我们提出了一种采用两个 U-Net 模型的方法:ResNeXt- 50 和 EfficientNet 架构,并结合特征金字塔网络 (FPN) 来分割脑肿瘤。这些模型是在 BraTS 2021 数据集上训练的,该数据集包含 3,929 张 MRI 扫描图像和 3,929 个相应的掩模,按 70:15:15 的比例分为训练集、测试集和评估集。结果表明,结合了 EfficientNet 和 FPN 的混合模型性能卓越,测试集上的平均交并比 (IoU) 准确率为 0.90,而 ResNeXt-50 为 0.50,Dice 准确率为 0.92,而 ResNeXt-50 为 0.66。此外,我们还开发了一个 Web 应用程序,实现了 EfficientNet 和 FPN 模型,方便医生从上传的 MRI 图像中轻松检测肿瘤。
摘要。由于 CT 或 MR 扫描的三维特性,医学图像的生成建模是一项特别具有挑战性的任务。现有方法大多采用逐块、逐片或级联生成技术,将高维数据放入有限的 GPU 内存中。然而,这些方法可能会引入伪影,并可能限制模型对某些下游任务的适用性。本文介绍了 WDM,这是一种基于小波的医学图像合成框架,它将扩散模型应用于小波分解图像。所提出的方法是一种将 3D 扩散模型扩展到高分辨率的简单而有效的方法,可以在单个 40 GB GPU 上进行训练。在 128 × 128 × 128 分辨率下对 BraTS 和 LIDC-IDRI 无条件图像生成的实验结果与最近的 GAN、扩散模型和潜在扩散模型相比,展示了最先进的图像保真度 (FID) 和样本多样性 (MS-SSIM) 得分。我们提出的方法是唯一能够以 256 × 256 × 256 的分辨率生成高质量图像的方法,优于所有比较方法。项目页面位于 https://pfriedri.github.io/wdm-3d-io 。
