摘要 利用 MRI 图像进行脑肿瘤分割对于疾病诊断、监测和治疗计划非常重要。到目前为止,已经为此开发了许多编码器-解码器架构,其中 U-Net 的使用最为广泛。然而,这些架构需要大量参数来训练,并且存在语义差距。一些工作试图制作一个轻量级模型并进行通道修剪,但这会产生较小的感受野,从而影响准确性。为了克服上述问题,作者提出了一种基于注意机制的多尺度轻量级模型 AML-Net,用于医疗物联网。该模型由三个小型编码器-解码器架构组成,它们使用不同尺度的输入图像以及先前学习的特征进行训练以减少损失。此外,作者设计了一个注意力模块来取代传统的跳过连接。对于注意力模块,进行了六个不同的实验,其中具有空间注意力的扩张卷积表现良好。这个注意力模块有三个扩张卷积,它们形成了一个相对较大的感受野,然后是空间注意力,以从编码器低级特征中提取全局上下文。然后将这些精细特征与解码器同一层的高级特征相结合。作者在 Cancer Genome Atlas 提供的低级别胶质瘤数据集上进行实验,该数据集至少具有液体衰减反转恢复模态。与 Z-Net、U-Net、Double U-Net、BCDU-Net 和 CU-Net 相比,所提出的模型的参数分别少 1/43.4、1/30.3、1/28.5、1/20.2 和 1/16.7。此外,作者的模型给出的结果为 IoU = 0.834、F 1-score = 0.909 和灵敏度 = 0.939,大于 U-Net、CU-Net、RCA-IUnet 和 PMED-Net。
脑肿瘤威胁着全世界人民的生命和健康。在医学图像分析中,使用多张 MRI 图像进行自动脑肿瘤分割是一项挑战。众所周知,准确的分割依赖于有效的特征学习。现有的方法通过明确学习共享的特征表示来解决多模态 MRI 脑肿瘤分割问题。然而,这些方法无法捕捉 MRI 模态之间的关系以及不同目标肿瘤区域之间的特征相关性。在本文中,我提出了一种通过解缠结表示学习和区域感知对比学习的多模态脑肿瘤分割网络。具体而言,首先设计一个特征融合模块来学习有价值的多模态特征表示。随后,提出一种新颖的解缠结表示学习,将融合的特征表示解耦为与目标肿瘤区域相对应的多个因子。此外,还提出了对比学习来帮助网络提取与肿瘤区域相关的特征表示。最后,使用分割解码器获得分割结果。在公开数据集 BraTS 2018 和 BraTS 2019 上进行的定量和定性实验证明了所提策略的重要性,并且所提方法可以实现比其他最先进的方法更好的性能。此外,所提出的策略可以扩展到其他深度神经网络。
许多人脑的临床和研究都需要精确的 MRI 结构分割。虽然传统的基于图谱的方法可以应用于来自任何采集部位的体积,但最近的深度学习算法只有在对训练中使用的相同部位的数据(即内部数据)进行测试时才能确保高精度。外部数据(即来自看不见的部位的看不见的体积)的性能下降是由于部位间强度分布的变化,以及不同 MRI 扫描仪模型和采集参数导致的独特伪影。为了减轻这种部位依赖性(通常称为扫描仪效应),我们提出了 LOD-Brain,这是一个具有渐进细节层次(LOD)的 3D 卷积神经网络,能够分割来自任何部位的大脑数据。较粗的网络级别负责学习有助于识别大脑结构及其位置的稳健解剖先验,而较细的网络级别则细化模型以处理特定部位的强度分布和解剖变化。我们通过在前所未有的丰富数据集上训练模型来确保跨站点的稳健性,该数据集汇集了来自开放存储库的数据:来自大约 160 个采集站点的近 27,000 个 T1w 卷,规模为 1.5 - 3T,来自 8 至 90 岁的人群。大量测试表明,LOD-Brain 产生了最先进的结果,内部和外部站点之间的性能没有显著差异,并且对具有挑战性的解剖变异具有稳健性。它的可移植性为跨不同医疗机构、患者群体和成像技术制造商的大规模应用铺平了道路。代码、模型和演示可在项目网站上找到。
脑肿瘤磁共振图像处理算法可以帮助医生对患者病情进行诊断和治疗,在临床医学中有着重要的应用意义。针对传统U-net网络中多模态脑肿瘤图像分割中类别不平衡以及特征融合导致有效信息特征丢失的问题,本文提出一种基于U-net与DenseNet结合的网络模型。将原网络上编码路径和解码路径的标准卷积块改进为dense块,增强特征的传递;采用二元交叉熵损失函数与Tversky系数组成的混合损失函数取代原来的单一交叉熵损失,抑制了不相关特征对分割精度的影响。与U-Net、U-Net++、PA-Net相比,本文算法的分割精度有明显提升,在WT、TC、ET的Dice系数指标上分别达到0.846、0.861、0.782。 PPV系数指标分别达到了0.849、0.883、0.786;与传统U-net网络相比,所提算法的Dice系数指标分别提高了0.8%、4.0%、1.4%,且在肿瘤核心区域和肿瘤增强区域的PPV系数指标分别提高了3%、1.2%;所提算法在肿瘤核心区域分割性能最优,其Sensitivity指标达到了0.924,具有很好的研究意义和应用价值。
联邦学习及其在医学图像分割中的应用最近已成为一个热门的研究课题。这种训练范式存在参与机构本地数据集之间的统计异质性问题,与传统训练相比,会导致收敛速度减慢以及潜在的准确性损失。为了减轻这种影响,联邦个性化应运而生,即每个机构一个模型的联邦优化。我们提出了一种新颖的个性化算法,该算法针对不同机构使用不同扫描仪和采集参数引起的特征变化而量身定制。该方法是第一个考虑机构间和机构内特征变化(单个机构使用多台扫描仪)的方法。它基于在每个中心内计算一系列放射组学特征,捕捉每个 3D 图像体积的整体纹理,然后进行聚类分析,将所有特征向量从本地机构传输到中央服务器。然后,每个计算出的聚类分散数据集(可能包括来自不同机构的数据)用于微调通过经典联邦学习获得的全局模型。我们在联邦脑肿瘤分割 2022 挑战数据集 (FeTS2022) 上验证了我们的方法。我们的代码可在 (https://github.com/MatthisManthe/radiomics_CFFL) 上找到。关键词:联邦学习、联邦个性化、分割、脑肿瘤分割。
准确地描绘肿瘤形状,使得多模态成像在肿瘤分割任务中具有优势(2,3)。例如,在脑胶质瘤的分割中,四个 MRI 序列 T1、T2、T1ce 和液体衰减反转恢复 (FLAIR) 提供了关于脑内肿瘤形状和其他病变结构的互补信息(4,5)。同样,在头颈部肿瘤分割中,PET 和 CT 图像可以提供有关肿瘤位置和轮廓的附加信息(6)。手动肿瘤分割是计算机辅助诊断 (CAD) 系统中常用的技术,但由于医生经验的主观性,它具有局限性,可能导致偏差,并且耗时耗力(7)。因此,准确的自动分割至关重要。近年来,深度学习 (DL) 技术,例如卷积神经网络 (CNN),已广泛应用于大脑 (8)、头颈部 (9) 和肺部 (10) 等各个身体部位的多模态肿瘤分割任务。这些技术的基本思想是从训练数据中学习肿瘤特征,自动分割未知数据中的肿瘤,从而降低人工分割成本,提高分割精度。基于多模态深度学习的肿瘤分割算法已成为一种流行趋势,并因实现肿瘤的精准分割而受到越来越多的关注。本研究对多模态肿瘤分割的深度学习算法进行了全面的概述,包括公开数据集、评估方法、分割网络、常用技术以及各种多模态数据融合方法下的评估指标分析。来自公开挑战赛(https://grand-challenge.org)的基准数据集可以验证肿瘤分割
a Department of Oncology, Odense University Hospital, Denmark b Department of Clinical Research, University of Southern Denmark, Denmark c Academy of Geriatric Cancer Research (AgeCare), Odense University Hospital, Denmark d Laboratory of Radiation Physics, Department of Oncology, Odense University Hospital, Denmark e Department of Cardiology, Odense University Hospital, Denmark f Northern Sydney Cancer Centre, Royal North Shore Hospital, St Leonards, NSW, Australia g Department丹麦丹麦H伦敦大学Aarhus大学医院肿瘤学,丹麦I大学AARHUS大学临床医学系Gentofte,丹麦M临床医学系,丹麦哥本哈根大学
像 UNet 这样的监督式深度学习网络在分割脑部异常(如病变和肿瘤)方面表现良好。然而,这类方法被提出用于单模态或多模态图像。我们使用混合 UNet Transformer (HUT) 来提高单模态病变分割和多模态脑肿瘤分割的性能。HUT 由两个并行运行的管道组成,其中一个基于 UNet,另一个基于 Transformer。基于 Transformer 的管道在训练期间依赖于 UNet 解码器中间层中的特征图。HUT 网络采用 3D 脑容量的可用模态,并将脑容量嵌入体素斑块中。系统中的变压器提高了全局注意力和体素斑块之间的长程相关性。此外,我们在 HUT 框架中引入了一种自监督训练方法,以提高整体分割性能。我们证明,在中风后病变解剖追踪 (ATLAS) 数据集的单模态分割中,HUT 的表现优于最先进的网络 SPiN,Dice 得分高出 4.84%,Hausdorffi 距离得分高出 41%。HUT 在脑肿瘤分割 (BraTS20) 数据集的脑部扫描中也表现良好,并且比最先进的网络 nnUnet 的 Dice 得分高出 0.96%,Hausdorffi 距离得分高出 4.1%。
复制蛋白A(RPA)是单个链DNA(ssDNA)结合蛋白,可协调各种DNA代谢过程,包括DNA复制,修复和重组。RPA是一种异三聚体蛋白,具有六个功能性寡糖/寡核苷酸(OB)结构域和柔性接头。 灵活性使RPA能够采用多种配置,并被认为可以调节其功能。 在此,使用单分子共焦荧光显微镜与光学镊子和粗粒细粒的分子动力学模拟结合使用,我们研究了在张力下ssDNA上单个RPA分子的扩散迁移。 在3 pn张力和100 mM KCl时,扩散系数D是最高(20,000个核苷酸2 /s),当张力或盐浓度增加时,则显着降低。 我们将张力效应归因于段转移,这受到DNA拉伸和盐效应的阻碍,降低了RPA-SSDNA的结合位点大小和相互作用能量的增加。 我们的综合研究使我们能够估计通过通过RPA上多个结合位点在DNA上的遥远位点的短暂桥接发生的细胞分段转移事件的大小和频率。 有趣的是,RPA三聚芯的删除仍然允许大量的ssDNA结合,尽管降低的接触面积使RPA的移动性增加了15倍。 最后,我们表征了RPA拥挤对RPA迁移的影响。 这些发现揭示了如何重塑高亲和力RPA-SSDNA相互作用以产生访问,这是多个DNA代谢过程中的关键步骤。RPA是一种异三聚体蛋白,具有六个功能性寡糖/寡核苷酸(OB)结构域和柔性接头。灵活性使RPA能够采用多种配置,并被认为可以调节其功能。在此,使用单分子共焦荧光显微镜与光学镊子和粗粒细粒的分子动力学模拟结合使用,我们研究了在张力下ssDNA上单个RPA分子的扩散迁移。在3 pn张力和100 mM KCl时,扩散系数D是最高(20,000个核苷酸2 /s),当张力或盐浓度增加时,则显着降低。我们将张力效应归因于段转移,这受到DNA拉伸和盐效应的阻碍,降低了RPA-SSDNA的结合位点大小和相互作用能量的增加。我们的综合研究使我们能够估计通过通过RPA上多个结合位点在DNA上的遥远位点的短暂桥接发生的细胞分段转移事件的大小和频率。有趣的是,RPA三聚芯的删除仍然允许大量的ssDNA结合,尽管降低的接触面积使RPA的移动性增加了15倍。最后,我们表征了RPA拥挤对RPA迁移的影响。这些发现揭示了如何重塑高亲和力RPA-SSDNA相互作用以产生访问,这是多个DNA代谢过程中的关键步骤。
医学图像分割是一项具有挑战性的任务,许多数据集的大小和注释有限,这使其变得更加困难。去噪扩散概率模型 (DDPM) 最近在对自然图像分布进行建模方面显示出良好的前景,并成功应用于各种医学成像任务。这项工作重点关注使用扩散模型的半监督图像分割,特别是解决领域泛化问题。首先,我们证明较小的扩散步骤生成的潜在表示对于下游任务比较大的步骤更稳健。其次,我们利用这一见解提出了一种改进的集成方案,该方案利用信息密集的小步骤和较大步骤的正则化效应来生成预测。我们的模型在域转换设置中表现出明显更好的性能,同时在域内保持了有竞争力的性能。总的来说,这项工作突出了 DDPM 在半监督医学图像分割中的潜力,并提供了在域转换下优化其性能的见解。关键词:医学图像分割,半监督学习,生成模型