本文旨在对近期和经典的图像配准方法进行回顾。图像配准是将在不同时间、从不同视点和/或由不同传感器拍摄的同一场景的图像(两个或多个)叠加的过程。配准在几何上对齐两个图像(参考图像和感测图像)。根据所审查的方法的性质(基于区域和基于特征)以及图像配准过程的四个基本步骤对所审查的方法进行分类:特征检测、特征匹配、映射函数设计以及图像变换和重采样。本文提到了这些方法的主要贡献、优点和缺点。还讨论了图像配准的问题和未来研究的展望。本文的主要目标是为参与图像配准的研究人员提供全面的参考资料,无论其特定应用领域如何。q 2003 Elsevier B.V. 保留所有权利。
本文介绍了 DeepFLASH,一种用于基于学习的医学图像配准的高效训练和推理的新型网络。与从高维成像空间中的训练数据中学习空间变换的现有方法相比,我们完全在低维带限空间中开发了一种新的配准网络。这大大降低了昂贵的训练和推理的计算成本和内存占用。为了实现这一目标,我们首先引入复值运算和神经架构表示,为基于学习的配准模型提供关键组件。然后,我们构建了一个在带限空间中完全表征的变换场的显式损失函数,并且参数化要少得多。实验结果表明,我们的方法比最先进的基于深度学习的图像配准方法快得多,同时产生同样精确的对齐。我们在两种不同的图像配准应用中展示了我们的算法:2D 合成数据和 3D 真实脑磁共振 (MR) 图像。我们的代码可以在https://github.com/jw4hv/deepflash上找到。
微分同胚图像配准能够提供平滑的变换和拓扑保存,在许多医学图像分析任务中是必需的。传统方法对可接受的变换空间施加某些建模约束,并使用优化来寻找两幅图像之间的最佳变换。指定正确的可接受的变换空间具有挑战性:如果空间过于严格,配准质量可能会很差,而如果空间过于笼统,则优化可能难以解决。最近基于学习的方法利用深度神经网络直接学习变换,实现了快速推理,但由于难以捕捉微小的局部变形和泛化能力,在准确性方面面临挑战。在这里,我们提出了一种新的基于优化的方法,称为 DNVF(带神经速度场的微分同胚图像配准),该方法利用深度神经网络来建模可接受的变换空间。具有正弦激活函数的多层感知器 (MLP) 用于表示连续速度场,并为空间中的每个点分配一个速度矢量,从而提供对复杂变形进行建模的灵活性以及优化的便利性。此外,我们提出了一种级联图像配准框架 (Cas-DNVF),结合了优化和基于学习的方法的优点,其中训练完全卷积神经网络 (FCN) 来预测初始变形,然后使用 DNVF 进行进一步细化。在两个大型 3D MR 脑部扫描数据集上进行的实验表明,我们提出的方法明显优于最先进的配准方法。
在我们最近的工作11中,我们引入了一种基于离散优化的密集图像配准方法,即带有 α 扩展的最小图割。12 其他人之前已经提出过使用最小图割进行图像配准,13、14 但由于该方法的计算成本高,在实践中采用有限。通过将图像划分为子区域,并将每个 α 扩展一次限制在一个子区域,我们能够大幅减少这种配准方法的计算时间,而质量方面仅有很小的损失。处理一个子区域涉及两个步骤:计算体素匹配标准(即构建图形)并通过求解最小图割问题执行离散优化。早期的分析实验表明,对于较小的子区域,大部分计算时间都花在计算匹配标准上,而不是执行图割优化上。当使用计算密集度更高的相似性度量(例如互相关 (CC))时,这种效果更加明显,这已被证明在图像配准中很有价值。15
可变形图像配准是医学图像分析的基本步骤。最近,Transformer 已用于配准,其表现优于卷积神经网络 (CNN)。Transformer 可以捕获图像特征之间的长距离依赖性,这已被证明对配准有益。然而,由于自注意力的计算/内存负载高,Transformer 通常用于下采样特征分辨率,无法捕获全图像分辨率下的细粒度长距离依赖性。这限制了可变形配准,因为它需要每个图像像素之间精确的密集对应关系。没有自注意力的多层感知器 (MLP) 在计算/内存使用方面效率高,从而可以捕获全分辨率下的细粒度长距离依赖性。然而,MLP 尚未在图像配准中得到广泛探索,并且缺乏对医学配准任务至关重要的归纳偏差的考虑。在本研究中,我们提出了第一个基于相关感知 MLP 的配准网络 (CorrMLP) 用于可变形医学图像配准。我们的 CorrMLP 在新颖的粗到细配准架构中引入了关联感知多窗口 MLP 块,该架构可捕获细粒度多范围依赖性以执行关联感知粗到细配准。对七个公共医疗数据集进行的大量实验表明,我们的 CorrMLP 优于最先进的可变形配准方法。
摘要:磁共振成像 (MRI) 通常会招募多个序列(本文定义为“模态”)。由于每种模态都旨在提供不同的解剖和功能临床信息,因此不同模态之间的成像内容存在明显差异。模态间和模态内仿射和非刚性图像配准是临床成像中必不可少的医学图像分析过程,例如,在成像之前,需要在不同的 MRI 模态、时间阶段和切片之间获取和临床评估生物标志物。尽管在实际临床场景中通常需要仿射和非刚性图像配准,但尚未使用单一无监督模型架构进行广泛研究。在我们的工作中,我们提出了一种无监督深度学习配准方法,可以同时准确地模拟仿射和非刚性变换。此外,逆一致性是基本模态间配准属性,深度学习配准算法并未考虑该属性。为了解决逆一致性问题,我们的方法执行双向跨模态图像合成以学习模态不变的潜在表示,并涉及两个因式分解变换网络(每个编码器-解码器通道一个)和一个逆一致性损失以学习保持拓扑的解剖变换。总体而言,我们的模型(名为“FIRE”)在多模态脑 2D 和 3D MRI 以及模态内心脏 4D MRI 数据实验中表现出比参考标准基线方法(即使用 ANTs 工具箱实现的对称归一化)更好的性能。我们专注于解释模型数据组件,以增强模型在医学图像配准中的可解释性。在计算时间实验中,我们表明 FIRE 模型在节省内存的模式下运行,因为它可以在训练阶段直接学习保持拓扑的图像配准。因此,我们展示了一种高效且通用的配准技术,该技术在临床环境中的多模态图像配准中具有优势。
微分同胚可变形图像配准在许多医学图像研究中至关重要,因为它提供了独特的属性,包括拓扑保存和变换的可逆性。最近基于深度学习的可变形图像配准方法利用卷积神经网络(CNN)从合成基本事实或相似性度量中学习空间变换,从而实现快速图像配准。然而,这些方法往往忽略了变换的拓扑保存和变换的平滑性,而平滑性仅由全局平滑能量函数来强制执行。此外,基于深度学习的方法通常直接估计位移场,这不能保证逆变换的存在。在本文中,我们提出了一种新颖的、有效的无监督对称图像配准方法,该方法最大化微分同胚图空间内图像之间的相似性,并同时估计正向和逆变换。我们使用大规模脑图像数据集在 3D 图像配准上评估了我们的方法。我们的方法实现了最先进的配准精度和运行时间,同时保持了理想的微分同胚特性。
仿射配准在全面的医学图像配准流程中不可或缺。然而,只有少数研究关注快速而鲁棒的仿射配准算法。这些研究中大多数利用卷积神经网络(CNN)来学习联合仿射和非参数配准,而对仿射子网络的独立性能探索较少。此外,现有的基于 CNN 的仿射配准方法要么关注局部错位,要么关注输入的全局方向和位置来预测仿射变换矩阵,这些方法对空间初始化很敏感,并且除了训练数据集之外表现出有限的通用性。在本文中,我们提出了一种快速而鲁棒的基于学习的算法,即粗到精视觉变换器(C2FViT),用于 3D 仿射医学图像配准。我们的方法自然地利用了卷积视觉变换器的全局连通性和局部性以及多分辨率策略来学习全局仿射配准。我们对 3D 脑图谱配准和模板匹配归一化方法进行了评估。综合结果表明,我们的方法在配准精度、稳健性和通用性方面优于现有的基于 CNN 的仿射配准方法,同时保留了基于学习的方法的运行时优势。源代码可在 https://github.com/cwmok/C2FViT 上找到。
基于深度神经网络 (DNN) 的图像配准算法中的不确定性量化在图像配准算法用于临床应用(例如手术规划、术中指导、病情进展或治疗效果的纵向监测)以及面向研究的处理流程中起着至关重要的作用。当前用于基于 DNN 的图像配准算法中不确定性估计的方法可能会导致次优临床决策,因为对于假设的配准潜在空间参数分布的配准词干的不确定性估计可能不准确。我们引入了 NPBDREG,这是一种完全非参数贝叶斯框架,用于基于 DNN 的可变形图像配准中的不确定性估计,它结合了 Adam 优化器和随机梯度朗之万动力学 (SGLD),通过后验采样来表征底层后验分布。因此,它有可能提供与分布外数据的存在高度相关的不确定性估计。我们使用来自四个公开数据库(MGH10、CMUC12、ISBR18 和 LPBA40)的 390 个图像对,证明了 NPB-DREG 与基线概率 VoxelMorph 模型 (PrVXM) 相比在脑部 MRI 图像配准方面的附加值。NPBDREG 显示预测不确定性与分布外数据的相关性更好(r > 0.95 vs. r < 0.5),并且配准准确度提高了 ∼ 7.3%(Dice 分数,0.74 vs. 0.69,p ≪ 0.01),配准平滑度提高了 ∼ 18%(变形场中的褶皱百分比,0.014 vs. 0.017,p ≪ 0.01)。最后,与基线 PrVXM 方法相比,NPBDREG 对受混合结构噪声破坏的数据表现出更好的泛化能力(Dice 得分为 0.73 对 0.69,p≪0.01)。
随着深度学习的出现,可变形图像配准经历了一场变革。虽然卷积神经网络 (CNN) 可以加速配准,但与迭代成对优化方法相比,它们的准确度较低,并且需要大量的训练队列。基于使用神经网络表示信号的进步,隐式神经表示 (INR) 已在配准社区中出现,用于连续建模密集位移场。使用成对配准设置,INR 可以减轻从一组患者身上学到的偏差,同时利用先进的方法和基于梯度的优化。然而,坐标采样方案使得密集变换参数化与 INR 容易产生生理上不合理的配置,从而导致空间折叠。在本文中,我们介绍了 SINR——一种使用自由形式变形 (FFD) 参数化 INR 表示的连续可变形变换的方法。SINR 允许多模态可变形配准,同时缓解当前基于 INR 的配准方法中发现的折叠问题。 SINR 在 CamCAN 数据集上的 3D 单模和多模脑配准方面均优于现有的最先进方法,证明了其在成对单模和多模图像配准方面的能力。关键词:隐式神经表征、图像配准、多模