深度神经网络是生物医学图像分割的有力工具。这些模型通常经过严格监督训练,依赖于图像对和相应的体素级标签。然而,在大量情况下获得解剖区域的分割成本可能非常高。因此,迫切需要基于深度学习的分割工具,这些工具不需要严格监督并且可以不断适应。在本文中,我们提出了一种将分割视为离散表示学习问题的新视角,并提出了一种灵活且自适应的变分自动编码器分割策略。我们的方法称为分割自动编码器 (SAE),它利用所有可用的未标记扫描,并且仅需要分割先验,它可以是单个未配对的分割图像。在实验中,我们将 SAE 应用于脑部 MRI 扫描。我们的结果表明,SAE 可以产生高质量的分割,尤其是当先验良好时。我们证明马尔可夫随机场先验可以产生比空间独立先验更好的结果。我们的代码可在 https://github.com/evanmy/sae 免费获取。关键词:图像分割、变分自动编码器
图像技术越来越多地应用于帮助医生提高肿瘤诊断的准确率以及帮助研究人员研究肿瘤特性,图像分割技术是图像处理的重要组成部分。本文综述了人工神经网络在图像分割方面的研究进展,主要包括BP网络和卷积神经网络(CNN)。目前已经建立了许多不同结构的CNN模型,如监督学习CNN和非监督学习CNN,并成功地应用于肿瘤图像的分割。结果表明,人工网络的应用可以提高肿瘤图像分割的效率和准确率。但人工神经网络图像分割仍然存在一些不足,如应寻找新的方法来降低构建标记数据集的成本;应建立效率更高的新型人工网络等。
深度卷积神经网络的成功部分归功于海量带注释的训练数据。然而在实践中,获取医疗数据注释通常非常昂贵且耗时。考虑到具有相同解剖结构的多模态数据在临床应用中广泛可用,在本文中,我们旨在利用从一种模态(又称辅助模态)学到的先验知识(例如形状先验)来提高另一种模态(又称目标模态)的分割性能,以弥补注释的稀缺性。为了缓解由模态特定外观差异引起的学习困难,我们首先提出一个图像对齐模块(IAM)来缩小辅助和目标模态数据之间的外观差距。然后,我们提出了一种新颖的相互知识蒸馏(MKD)方案,以充分利用模态共享知识来促进目标模态分割。具体来说,我们将我们的框架制定为两个独立分割器的集成。每个分割器不仅从相应的注释中显式提取一种模态知识,而且还以相互引导的方式从其对应部分中隐式探索另一种模态知识。两个分割器的集合将进一步整合来自两种模态的知识,并在目标模态上生成可靠的分割结果。在公共多类心脏分割数据(即 MM-WHS 2017)上的实验结果表明,我们的方法通过利用额外的 MRI 数据在 CT 分割方面取得了很大的改进,并且优于其他最先进的多模态学习方法。