仿射配准在全面的医学图像配准流程中不可或缺。然而,只有少数研究关注快速而鲁棒的仿射配准算法。这些研究中大多数利用卷积神经网络(CNN)来学习联合仿射和非参数配准,而对仿射子网络的独立性能探索较少。此外,现有的基于 CNN 的仿射配准方法要么关注局部错位,要么关注输入的全局方向和位置来预测仿射变换矩阵,这些方法对空间初始化很敏感,并且除了训练数据集之外表现出有限的通用性。在本文中,我们提出了一种快速而鲁棒的基于学习的算法,即粗到精视觉变换器(C2FViT),用于 3D 仿射医学图像配准。我们的方法自然地利用了卷积视觉变换器的全局连通性和局部性以及多分辨率策略来学习全局仿射配准。我们对 3D 脑图谱配准和模板匹配归一化方法进行了评估。综合结果表明,我们的方法在配准精度、稳健性和通用性方面优于现有的基于 CNN 的仿射配准方法,同时保留了基于学习的方法的运行时优势。源代码可在 https://github.com/cwmok/C2FViT 上找到。
微分同胚图像配准能够提供平滑的变换和拓扑保存,在许多医学图像分析任务中是必需的。传统方法对可接受的变换空间施加某些建模约束,并使用优化来寻找两幅图像之间的最佳变换。指定正确的可接受的变换空间具有挑战性:如果空间过于严格,配准质量可能会很差,而如果空间过于笼统,则优化可能难以解决。最近基于学习的方法利用深度神经网络直接学习变换,实现了快速推理,但由于难以捕捉微小的局部变形和泛化能力,在准确性方面面临挑战。在这里,我们提出了一种新的基于优化的方法,称为 DNVF(带神经速度场的微分同胚图像配准),该方法利用深度神经网络来建模可接受的变换空间。具有正弦激活函数的多层感知器 (MLP) 用于表示连续速度场,并为空间中的每个点分配一个速度矢量,从而提供对复杂变形进行建模的灵活性以及优化的便利性。此外,我们提出了一种级联图像配准框架 (Cas-DNVF),结合了优化和基于学习的方法的优点,其中训练完全卷积神经网络 (FCN) 来预测初始变形,然后使用 DNVF 进行进一步细化。在两个大型 3D MR 脑部扫描数据集上进行的实验表明,我们提出的方法明显优于最先进的配准方法。
本文介绍了 DeepFLASH,一种用于基于学习的医学图像配准的高效训练和推理的新型网络。与从高维成像空间中的训练数据中学习空间变换的现有方法相比,我们完全在低维带限空间中开发了一种新的配准网络。这大大降低了昂贵的训练和推理的计算成本和内存占用。为了实现这一目标,我们首先引入复值运算和神经架构表示,为基于学习的配准模型提供关键组件。然后,我们构建了一个在带限空间中完全表征的变换场的显式损失函数,并且参数化要少得多。实验结果表明,我们的方法比最先进的基于深度学习的图像配准方法快得多,同时产生同样精确的对齐。我们在两种不同的图像配准应用中展示了我们的算法:2D 合成数据和 3D 真实脑磁共振 (MR) 图像。我们的代码可以在https://github.com/jw4hv/deepflash上找到。
微分同胚可变形图像配准在许多医学图像研究中至关重要,因为它提供了独特的属性,包括拓扑保存和变换的可逆性。最近基于深度学习的可变形图像配准方法利用卷积神经网络(CNN)从合成基本事实或相似性度量中学习空间变换,从而实现快速图像配准。然而,这些方法往往忽略了变换的拓扑保存和变换的平滑性,而平滑性仅由全局平滑能量函数来强制执行。此外,基于深度学习的方法通常直接估计位移场,这不能保证逆变换的存在。在本文中,我们提出了一种新颖的、有效的无监督对称图像配准方法,该方法最大化微分同胚图空间内图像之间的相似性,并同时估计正向和逆变换。我们使用大规模脑图像数据集在 3D 图像配准上评估了我们的方法。我们的方法实现了最先进的配准精度和运行时间,同时保持了理想的微分同胚特性。
可变形图像配准是医学图像分析的基本步骤。最近,Transformer 已用于配准,其表现优于卷积神经网络 (CNN)。Transformer 可以捕获图像特征之间的长距离依赖性,这已被证明对配准有益。然而,由于自注意力的计算/内存负载高,Transformer 通常用于下采样特征分辨率,无法捕获全图像分辨率下的细粒度长距离依赖性。这限制了可变形配准,因为它需要每个图像像素之间精确的密集对应关系。没有自注意力的多层感知器 (MLP) 在计算/内存使用方面效率高,从而可以捕获全分辨率下的细粒度长距离依赖性。然而,MLP 尚未在图像配准中得到广泛探索,并且缺乏对医学配准任务至关重要的归纳偏差的考虑。在本研究中,我们提出了第一个基于相关感知 MLP 的配准网络 (CorrMLP) 用于可变形医学图像配准。我们的 CorrMLP 在新颖的粗到细配准架构中引入了关联感知多窗口 MLP 块,该架构可捕获细粒度多范围依赖性以执行关联感知粗到细配准。对七个公共医疗数据集进行的大量实验表明,我们的 CorrMLP 优于最先进的可变形配准方法。
海马体是一种皮层结构,由具有独特回路的子区组成。了解其微观结构(以这些子区为代表)可以提高我们对学习和记忆的机制理解,并且对多种神经系统疾病具有临床潜力。一个突出的问题是如何在两个形态截然不同的海马体之间划分、注册或检索同源点。在这里,我们提出了一种基于表面的配准方法,该方法以对比度无关、拓扑保持的方式解决了这个问题。具体而言,首先对整个海马体进行分析展开,然后根据厚度、曲率和脑回在 2D 展开空间中注册样本。我们在七个 3D 组织学样本中演示了这种方法,并且与更传统的配准方法相比,使用此方法对子区进行了更出色的对齐。
摘要 — 目的:开颅手术是切除部分头骨,以便外科医生进入大脑并治疗肿瘤。进入大脑时,组织会发生变形,并可能对手术结果产生负面影响。在这项工作中,我们提出了一种新颖的增强现实神经外科系统,将从 MRI 获得的术前 3D 网格叠加到手术期间获得的大脑表面视图上。方法:我们的方法使用皮质血管作为主要特征来驱动刚性和非刚性 3D/2D 配准。我们首先使用特征提取器网络来生成概率图,并将其输入到姿势估计器网络以推断 6-DoF 刚性姿势。然后,为了解释大脑变形,我们添加了一个非刚性细化步骤,该步骤使用基于物理的约束将其表述为形状模板问题,有助于将变形传播到皮质下水平并更新肿瘤位置。结果:我们在 6 个临床数据集上回顾性地测试了我们的方法,并获得了较低的姿势误差,并使用合成数据集表明可以在皮质和皮质下水平实现相当大的脑移位补偿和较低的 TRE。结论:结果表明,我们的解决方案实现了低于实际临床误差的准确度,证明了我们的系统在实际应用中的可行性。意义:这项工作表明,我们可以使用单个摄像机视图提供通过开颅手术观察到的 3D 皮质血管的连贯增强现实可视化,并且皮质血管为执行刚性和非刚性配准提供了强大的功能。
本综述的主题是机器人中的几何配准。配准算法将数据集关联到一个公共坐标系中。它们已广泛应用于物体重建、检查、医疗应用和移动机器人定位。我们专注于需要配准点云的移动机器人应用。虽然这些算法的基本原理很简单,但已经针对许多不同的应用提出了许多变体。在这篇综述中,我们从历史的角度介绍了配准问题,并表明可以根据一些元素来组织和区分大量的解决方案。因此,我们提出了几何配准的形式化,并将文献中提出的算法投射到该框架中。最后,我们回顾了该框架在移动机器人中的一些应用,这些应用涵盖了不同类型的平台、环境和任务。这些示例使我们能够研究每个用例的具体要求以及导致配准实施的必要配置选择。最终,本评论的目的是为几何配准配置的选择提供指导。
摘要。可变形图像配准是医学图像分析中的关键步骤,用于找到一对固定图像和运动图像之间的非线性空间变换。基于卷积神经网络 (CNN) 的深度配准方法已被广泛使用,因为它们可以快速、端到端地执行图像配准。然而,这些方法通常对具有较大变形的图像对性能有限。最近,迭代深度配准方法已被用来缓解这一限制,其中变换以由粗到细的方式迭代学习。然而,迭代方法不可避免地延长了配准运行时间,并且倾向于在每次迭代中学习单独的图像特征,这阻碍了利用这些特征来促进以后的迭代配准。在本研究中,我们提出了一种用于可变形图像配准的非迭代由粗到细配准网络 (NICE-Net)。在 NICE-Net 中,我们提出了:(i) 单次深度累积学习 (SDCL) 解码器,可以在网络的单次(迭代)中累积学习从粗到细的转换;(ii) 选择性传播特征学习 (SFL) 编码器,可以学习整个从粗到细配准过程的常见图像特征并根据需要选择性传播这些特征。在 3D 脑磁共振成像 (MRI) 的六个公共数据集上进行的大量实验表明,我们提出的 NICE-Net 可以胜过最先进的迭代深度配准方法,而只需要与非迭代方法类似的运行时间。
基于深度神经网络 (DNN) 的图像配准算法中的不确定性量化在图像配准算法用于临床应用(例如手术规划、术中指导、病情进展或治疗效果的纵向监测)以及面向研究的处理流程中起着至关重要的作用。当前用于基于 DNN 的图像配准算法中不确定性估计的方法可能会导致次优临床决策,因为对于假设的配准潜在空间参数分布的配准词干的不确定性估计可能不准确。我们引入了 NPBDREG,这是一种完全非参数贝叶斯框架,用于基于 DNN 的可变形图像配准中的不确定性估计,它结合了 Adam 优化器和随机梯度朗之万动力学 (SGLD),通过后验采样来表征底层后验分布。因此,它有可能提供与分布外数据的存在高度相关的不确定性估计。我们使用来自四个公开数据库(MGH10、CMUC12、ISBR18 和 LPBA40)的 390 个图像对,证明了 NPB-DREG 与基线概率 VoxelMorph 模型 (PrVXM) 相比在脑部 MRI 图像配准方面的附加值。NPBDREG 显示预测不确定性与分布外数据的相关性更好(r > 0.95 vs. r < 0.5),并且配准准确度提高了 ∼ 7.3%(Dice 分数,0.74 vs. 0.69,p ≪ 0.01),配准平滑度提高了 ∼ 18%(变形场中的褶皱百分比,0.014 vs. 0.017,p ≪ 0.01)。最后,与基线 PrVXM 方法相比,NPBDREG 对受混合结构噪声破坏的数据表现出更好的泛化能力(Dice 得分为 0.73 对 0.69,p≪0.01)。