深度卷积神经网络的成功部分归功于海量带注释的训练数据。然而在实践中,获取医疗数据注释通常非常昂贵且耗时。考虑到具有相同解剖结构的多模态数据在临床应用中广泛可用,在本文中,我们旨在利用从一种模态(又称辅助模态)学到的先验知识(例如形状先验)来提高另一种模态(又称目标模态)的分割性能,以弥补注释的稀缺性。为了缓解由模态特定外观差异引起的学习困难,我们首先提出一个图像对齐模块(IAM)来缩小辅助和目标模态数据之间的外观差距。然后,我们提出了一种新颖的相互知识蒸馏(MKD)方案,以充分利用模态共享知识来促进目标模态分割。具体来说,我们将我们的框架制定为两个独立分割器的集成。每个分割器不仅从相应的注释中显式提取一种模态知识,而且还以相互引导的方式从其对应部分中隐式探索另一种模态知识。两个分割器的集合将进一步整合来自两种模态的知识,并在目标模态上生成可靠的分割结果。在公共多类心脏分割数据(即 MM-WHS 2017)上的实验结果表明,我们的方法通过利用额外的 MRI 数据在 CT 分割方面取得了很大的改进,并且优于其他最先进的多模态学习方法。
摘要:脑出血是一种发病率逐年上升的恶性疾病。CT 是获取血肿信息和定期监测脑损伤变化的常用方法。然而,由于高频断层扫描,需要获取大量的 CT 图像,这使得分析过程变得复杂。为了提高分析速度并确保 CT 检测的准确性,我们将 CT 与深度学习相结合以实现自动分割。在本研究中,我们开发了一种基于具有残差效应的 U-net 的出血图像分割模型。首先,我们对数据进行筛选,将其分为三部分进行训练、评估和盲测。其次,我们对数据集进行预处理以进行数据增强,以避免过度拟合。数据增强后,我们将数据传输到算法进行训练。对于最终模型,我们获得了一个图像分割器,其平均交并比得分为 0.8871,骰子得分为 0.9362。该算法速度为26.31 fps,大大提高了分析速度。因此,分割器获得了较高的检测效率和定量检测,适合定期监测出血区域并协助医生制定治疗方案。此外,二值分割算法可用于开发头部出血CT图像分类分割任务的预训练模型。
从医学图像中准确分割脑肿瘤对于诊断和治疗计划非常重要,而且通常需要多模态或对比度增强图像。然而在实践中,患者的某些模态可能缺失。合成缺失的模态有可能填补这一空白并实现高分割性能。现有方法通常分别处理合成和分割任务,或者将它们联合考虑,但没有对复杂的联合模型进行有效的正则化,导致性能有限。我们提出了一种新颖的脑肿瘤图像合成与分割网络 (TISS-Net),该网络可以高性能地端到端获得合成的目标模态和脑肿瘤分割。首先,我们提出了一个双任务正则化生成器,可以同时获得合成的目标模态和粗分割,它利用肿瘤感知合成损失和可感知正则化来最小化合成和真实目标模态之间的高级语义域差距。基于合成图像和粗分割,我们进一步提出了一个双任务分割器,它可以同时预测细化分割和粗分割中的误差,其中引入这两个预测之间的一致性以进行正则化。我们的 TISS-Net 通过两个应用进行了验证:合成 FLAIR 图像用于整个神经胶质瘤分割,合成增强 T1 图像用于前庭神经鞘瘤分割。实验结果表明,与现有模态的直接分割相比,我们的 TISS-Net 大大提高了分割精度,并且优于最先进的基于图像合成的分割方法。2023 作者。由 Elsevier BV 出版 这是一篇根据 CC BY-NC-ND 许可开放获取的文章(http://creativecommons.org/licenses/by-nc-nd/4.0/)。