XiaoMi-AI文件搜索系统
World File Search SystemBRATS2018
用于脑肿瘤分割的全自动深度学习网络
我们开发了一种使用深度学习进行脑肿瘤分割的全自动方法；使用了来自 BraTS2018 数据集的 285 个具有多参数磁共振图像的脑肿瘤病例。我们设计了 3 个独立的 3D-Dense-UNets，将复杂的多类分割问题简化为每个子组件的单独二元分割问题。我们实施了 3 倍交叉验证来推广网络的性能。整个肿瘤 (WT)、肿瘤核心 (TC) 和增强肿瘤 (ET) 分割的平均交叉验证 Dice 分数分别为 0.92、0.84 和 0.80。然后，我们使用 285 个病例中的 265 个重新训练各个二元分割网络，其中 20 个病例用于测试。我们还在来自 BraTS2017 验证数据集的 46 个病例、来自 BraTS2018 验证数据集的 66 个病例和来自独立临床数据集的 52 个病例上测试了该网络。在 20 个保留测试用例中，WT、TC 和 ET 的平均 Dice 分数分别为 0.90、0.84 和 0.80。在 BraTS2017 验证数据集、BraTS2018 验证数据集和临床数据集上，WT、TC 和 ET 的平均 Dice 分数分别为：0.90、0.80 和 0.78；0.90、0.82 和 0.80；以及 0.85、0.80 和 0.77。开发了一种全自动深度学习方法将脑肿瘤分割成其子成分，该方法在 BraTS 数据集和独立临床数据集上实现了高预测准确率。该方法有望应用于临床工作流程。
用于脑胶质瘤分割的上下文感知网络
摘要 — 脑胶质瘤的自动分割在诊断决策、进展监测和手术计划中起着积极的作用。基于深度神经网络，先前的研究表明了有前途的脑胶质瘤分割技术。然而，这些方法缺乏强有力的策略来结合肿瘤细胞及其周围环境的背景信息，这已被证明是处理局部模糊性的基本线索。在这项工作中，我们提出了一种用于脑胶质瘤分割的新方法，称为上下文感知网络 (CANet)。CANet 使用来自卷积空间和特征交互图的上下文捕获高维和判别特征。我们进一步提出了上下文引导的注意条件随机场，它可以选择性地聚合特征。我们使用可公开访问的脑胶质瘤分割数据集 BRATS2017、BRATS2018 和 BRATS2019 来评估我们的方法。实验结果表明，在训练和验证集上，所提算法在不同分割指标下比几种最先进的方法具有更好或更具竞争力的性能。
使用深度学习的多模式脑肿瘤分类的决策支持系统
脑肿瘤的抽象多类分类是医学成像领域研究的重要领域。由于准确性对于分类至关重要，因此计算机视觉研究人员引入了许多技术。但是，他们仍然面临着准确性低的问题。在本文中，提出了一种新的自动化深度学习方法，以分类多类脑肿瘤。为了实现所提出的方法，Densenet201预先训练的深度学习模型进行了微调，然后使用不平衡数据学习的深度传输进行了训练。训练有素的模型的特征是从平均池层中提取的，这代表了每种类型的肿瘤的深度信息。但是，该层的特征不足以进行精确的分类。因此，提出了两种用于选择功能的技术。第一种技术是基于熵的高特征值（EKBHFV），第二种技术是基于元启发式的改良遗传算法（MGA）。GA的选定特征通过提出的新阈值旧功能进一步完善。最后，使用非冗余串行方法融合了EKBHFV和基于MGA的功能，并使用多类SVM Cubic分类器进行分类。在实验过程中，使用了两个数据集，包括BRATS2018和BRATS2019，没有增加，并且精确度超过95％。所提出的方法与其他神经网的精确比较显示了这项工作的重要性。
![arXiv:2405.07155v2 [cs.CV] 2024 年 11 月 12 日](/simg/a\a950b131d362b47fd5ae1cd14876a3bec7368c35.webp)
arXiv:2405.07155v2 [cs.CV] 2024 年 11 月 12 日
在多模态学习中，某些模态比其他模态更有影响力，而它们的缺失会对分类/分割准确性产生重大影响。为了应对这一挑战，我们提出了一种新方法，称为元学习模态加权知识蒸馏（MetaKD），该方法可以使多模态模型即使在关键模态缺失的情况下也能保持高精度。MetaKD 通过元学习过程自适应地估计每种模态的重要性权重。这些学习到的重要性权重指导成对模态加权知识蒸馏过程，允许高重要性模态将知识迁移到低重要性模态，从而即使缺少输入也能实现稳健的性能。与该领域以前的方法通常针对特定任务且需要进行重大修改不同，我们的方法旨在以最少的调整完成多项任务（例如分割和分类）。在五个流行数据集（包括三个脑肿瘤分割数据集（BraTS2018、BraTS2019 和 BraTS2020）、阿尔茨海默病神经成像计划 (ADNI) 分类数据集和 Audiovision-MNIST 分类数据集）上的实验结果表明，所提出的模型能够大幅超越比较模型。
通过共享缺少模态的多模态学习...
缺失模态问题对于多模态模型来说至关重要，但并非易事。当前旨在处理多模态任务中缺失模态问题的方法要么仅在评估期间处理缺失模态，要么训练单独的模型来处理特定的缺失模态设置。此外，这些模型是为特定任务设计的，例如，分类模型不易适应分割任务，反之亦然。在本文中，我们提出了共享特定特征建模 (ShaSpec) 方法，该方法比解决上述问题的竞争方法简单得多，也更有效。ShaSpec 旨在通过学习共享和特定特征来更好地表示输入数据，从而在训练和评估期间利用所有可用的输入模态。这是通过一种依赖于基于分布对齐和域分类的辅助任务以及残差特征融合程序的策略实现的。此外，ShaSpec 的设计简单性使其易于适应多种任务，例如分类和分割。在医学图像分割和计算机视觉分类方面进行了实验，结果表明 ShaSpec 的表现远胜于竞争方法。例如，在 BraTS2018 上，ShaSpec 将增强肿瘤的 SOTA 提高了 3% 以上，将肿瘤核心的 SOTA 提高了 5%，将整个肿瘤的 SOTA 提高了 3%。1
互相抓挠：通过类别意识群体自我支持学习
尽管磁共振成像（MRI）对脑肿瘤分割和发现非常有帮助，但它在临床实践中缺乏某些方式。作为一种态度，预测绩效的退化是不可避免的。根据当前的实现，在模态特征的训练过程中，不同的模式被认为是独立的，彼此之间是独立的，但是它们是互补的。在本文中，考虑到不同方式对各种肿瘤区域的敏感性，我们提出了一种意识到类别的G组大量学习框架（称为GSS），以弥补本性模态模态提取阶段的信息。确切地说，在每个预测类别中，所有模态的预测构成了一个组，其中选择了最出色的灵敏度的预测作为组领导者。小组领导者与成员之间的合作努力以高的一致性和确定性为基础。作为我们的次要贡献，我们引入了一个随机面具，以减少可能的偏见。GSS采用标准培训策略而无需具体的建筑选择，因此可以轻松地插入现有的全模式内脑肿瘤分段中。在BRATS2020，BRATS2018和BRATS2015数据集上进行了明显的，广泛的实验表明，GSS可以平均证明现有的SOTA算法的性能平均为1.27-3.20％。该代码在https://github.com/qysgithubopen/gss上发布。
跨模态引导辅助多模态学习与双重注意用于 MRI 脑肿瘤分级
摘要 — 脑肿瘤是全球最致命的癌症之一，在儿童和老年人中非常常见。早期准确识别肿瘤类型和等级对于选择精准治疗方案起着重要作用。不同序列的磁共振成像 (MRI) 协议为临床医生提供了识别肿瘤区域的重要矛盾信息。然而，由于数据量大且脑肿瘤类型多样，人工评估既耗时又容易出错。因此，MRI 自动脑肿瘤诊断的需求尚未得到满足。我们观察到单模态模型的预测能力有限，其性能在不同模态之间差异很大，而常用的模态融合方法会引入潜在的噪声，导致性能显着下降。为了克服这些挑战，我们提出了一种新的跨模态引导辅助多模态学习，并采用双重注意来解决 MRI 脑肿瘤分级任务。为了平衡模型效率和功效之间的权衡，我们使用 ResNet Mix Convolution 作为特征提取的主干网络。此外，还应用双重注意分别捕获空间和切片维度中的语义相互依赖性。为了促进模态之间的信息交互，我们设计了一个跨模态引导辅助模块，其中主要模态在训练过程中引导其他次要模态，这可以有效地利用不同 MRI 模态的互补信息，同时减轻可能的噪声的影响。在 BraTS2018 和 BraTS2019 数据集上的实验结果证明了所提方法的有效性，其性能大大优于基于单模态的方法和几种最先进的多模态方法，在两个数据集上的 AUC 分别为 0.985 ± 0.019 和 0.966 ± 0.021。
用于脑肿瘤检测和分割的多任务上下文空洞残差网络
摘要 —近年来，深度神经网络在医学成像中的各种识别和分割任务中取得了最佳性能，包括脑肿瘤分割。我们发现，分割脑肿瘤面临着数据不平衡的问题，即属于背景类（非肿瘤像素）的像素数量远大于属于前景类（肿瘤像素）的像素数量。为了解决这个问题，我们提出了一个级联结构的多任务网络。我们的模型包含两个目标，即（i）有效区分脑肿瘤区域和（ii）估计脑肿瘤掩模。第一个目标由我们提出的上下文脑肿瘤检测网络执行，该网络起到注意力门的作用，只关注脑肿瘤周围的区域，而忽略与肿瘤相关性较小的远邻背景。与处理每个像素的其他现有物体检测网络不同，我们的上下文脑肿瘤检测网络只处理真实实例周围的上下文区域，这种策略旨在产生有意义的区域提议。第二个目标建立在 3D 空洞残差网络和编码解码网络之下，以便有效地分割大物体和小物体（脑肿瘤）。我们的 3D 空洞残差网络采用跳跃连接设计，使深层的梯度能够直接传播到浅层，从而保留不同深度的特征并用于相互细化。为了从体积 MRI 数据中整合更大的上下文信息，我们的网络利用具有各种内核大小的 3D 空洞卷积，从而扩大了滤波器的感受野。我们提出的网络已经在包括 BRATS2015、BRATS2017 和 BRATS2018 数据集在内的各种数据集上进行了评估，包括验证集和测试集。我们的性能已通过基于区域的指标和基于表面的指标进行了基准测试。我们还与最先进的方法进行了比较。1