微分同胚可变形图像配准在许多医学图像研究中至关重要,因为它提供了独特的属性,包括拓扑保存和变换的可逆性。最近基于深度学习的可变形图像配准方法利用卷积神经网络(CNN)从合成基本事实或相似性度量中学习空间变换,从而实现快速图像配准。然而,这些方法往往忽略了变换的拓扑保存和变换的平滑性,而平滑性仅由全局平滑能量函数来强制执行。此外,基于深度学习的方法通常直接估计位移场,这不能保证逆变换的存在。在本文中,我们提出了一种新颖的、有效的无监督对称图像配准方法,该方法最大化微分同胚图空间内图像之间的相似性,并同时估计正向和逆变换。我们使用大规模脑图像数据集在 3D 图像配准上评估了我们的方法。我们的方法实现了最先进的配准精度和运行时间,同时保持了理想的微分同胚特性。
我们开发了一个用于构建可变形模板的学习框架,该模板在许多图像分析和计算解剖学任务中起着基础性作用。用于模板创建和图像与模板对齐的传统方法经历了数十年的丰富技术发展。在这些框架中,模板是使用模板估计和对齐的迭代过程构建的,这通常在计算上非常昂贵。部分由于这一缺点,大多数方法为整个图像群体计算单个模板,或为数据的特定子组计算几个模板。在这项工作中,我们提出了一个概率模型和有效的学习策略,该模型和有效的学习策略可以产生通用或条件模板,并与一个神经网络联合使用,该神经网络可以有效地将图像与这些模板对齐。我们展示了该方法在各种领域的实用性,特别关注神经成像。这对于不存在预先存在的模板的临床应用特别有用,或者使用传统方法创建新模板的成本可能过高。我们的代码和地图集可作为 VoxelMorph 库的一部分在线获取,网址为 http://voxelmorph.csail.mit.edu 。
摘要 —近年来,深度学习 (DL) 对基于脑电图 (EEG) 的运动想象脑机接口 (MI-BMI) 的改进做出了重大贡献。在实现高分类准确率的同时,DL 模型的规模也不断扩大,需要大量的内存和计算资源。这对嵌入式 BMI 解决方案提出了重大挑战,该解决方案应通过本地处理数据来保证用户隐私、减少延迟和低功耗。在本文中,我们提出了 EEG-TCN ET,一种新颖的时间卷积网络 (TCN),它在只需要少量可训练参数的情况下实现了出色的准确率。其低内存占用和低推理计算复杂度使其适合在资源有限的边缘设备上进行嵌入式分类。在 BCI 竞赛 IV- 2a 数据集上的实验结果表明,EEG-TCN ET 在 4 类 MI 中实现了 77.35% 的分类准确率。通过为每个受试者找到最佳网络超参数,我们进一步将准确率提高到 83.84%。最后,我们在 Mother of All BCI Benchmarks (MOABB) 上展示了 EEG-TCN ET 的多功能性,这是一个包含 12 个不同 EEG 数据集和 MI 实验的大规模测试基准。结果表明,EEG-TCN ET 成功地推广到单个数据集之外,在 MOABB 上的表现比目前最先进的 (SoA) 好 0.25 倍。索引术语 — 脑机接口、运动意象、深度学习、卷积神经网络、边缘计算。
超分辨率医学图像可帮助医生提供更准确的诊断。在许多情况下,计算机断层扫描 (CT) 或磁共振成像 (MRI) 技术在一次检查期间会捕获多个扫描 (模式),这些扫描 (模式) 可以联合使用 (以多模态方式) 来进一步提高超分辨率结果的质量。为此,我们提出了一种新颖的多模态多头卷积注意模块来超分辨率 CT 和 MRI 扫描。我们的注意模块使用卷积运算对多个连接的输入张量执行联合空间通道注意,其中核 (感受野) 大小控制空间注意的减少率,卷积滤波器的数量控制通道注意的减少率。我们引入了多个注意头,每个头具有不同的感受野大小,对应于空间注意的特定减少率。我们将多模态多头卷积注意力 (MMHCA) 集成到两个深度神经架构中以实现超分辨率,并对三个数据集进行了实验。我们的实证结果表明,我们的注意力模块优于超分辨率中使用的最先进的注意力机制。此外,我们进行了一项消融研究,以评估注意力模块中涉及的组件的影响,例如输入的数量或头部的数量。我们的代码可在 https://github.com/lilygeorgescu/MHCA 免费获取。
国际医学与生物系统物理学学院6-8 2020年11月8日结论:Alexnet和Googlenet体系结构的比较,以对树类型进行分类
摘要 — 目标:构建一个可以在单个受试者的小型 EEG 训练集上进行训练的 DL 模型提出了一个有趣的挑战,这项工作正试图解决这一挑战。具体来说,本研究试图避免长时间的 EEG 数据收集过程,并且不组合多个受试者的训练数据集,因为这会对分类性能产生不利影响,因为受试者之间的个体间差异很大。方法:使用大约 120 次 EEG 试验对定制的具有混合增强功能的卷积神经网络进行训练,每个模型仅针对一个受试者。结果:经过修改的具有混合增强功能的 ResNet18 和 DenseNet121 模型分别实现了 0.920(95% 置信区间:0.908,0.933)和 0.933(95% 置信区间:0.922,0.945)的分类准确率。结论:我们表明,尽管本研究使用的训练数据集有限,但与同一数据集上先前研究中的其他 DL 分类器相比,设计的分类器具有更高的分类性能。
点云经常包含噪声和异常值,为下游应用带来障碍。在本文中,我们介绍了一种新颖的点云去噪方法。通过利用潜在空间,我们明确地发现噪声成分,从而可以提取干净的潜在代码。这反过来又有助于通过逆变换恢复干净点。我们网络中的一个关键组件是一个新的多层图卷积网络,用于捕获从局部到全局各个尺度的丰富几何结构特征。然后将这些特征集成到可逆神经网络中,该网络双射映射潜在空间,以指导噪声解缠结过程。此外,我们使用可逆单调算子来模拟变换过程,有效地增强了集成几何特征的表示。这种增强使我们的网络能够通过将噪声因素和潜在代码中的内在干净点投影到单独的通道上来精确区分它们。定性和定量评估均表明,我们的方法在各种噪声水平下都优于最先进的方法。源代码可在 https://github.com/yanbiao1/PD-LTS 获得。
机器学习 (ML) 算法已应用于医学成像,其在医学领域的使用日益增多。尤其是深度学习 (DL),已证明在图像评估和处理方面更为有效。深度学习算法可能有助于并简化其在泌尿科成像中的使用。本文介绍了如何创建用于泌尿科图像分析的卷积神经网络 (CNN) 算法。深度学习是 ML 的一个分支,包括多层神经网络。卷积神经网络已广泛应用于图像分类和数据处理。1 它首先由 Krizhevsky 等人应用于图像分类。2 他们在 2012 年 ImageNet 大规模视觉识别挑战赛 (ILSVRC) 中凭借名为 AlexNet 的深度 CNN 赢得了比赛,该比赛由 120 万张日常彩色图像组成。3 在另一个 CNN 模型中,Lakhani 等人 4 证明他们
尽管Vision Transformer(VIT)在计算机视觉方面取得了显着的成功,但由于缺乏内部绘制互动和特征量表的多样性有限,它在密集的预测任务中表现不佳。大多数现有的研究致力于设计视觉特定的变压器来解决上述问题,从而涉及额外的培训前成本。因此,我们提出了一种普通的,无培训的且具有特征增强的vit背骨,并具有指定性的特征性动作,称为Vit-Comer,可促进CNN和Transformer之间的双向相互作用。与现状相比,VIT-COMER具有以下优点:(1)我们将空间金字塔多触发性场卷积特征注入VIT体系结构,从而有效地减轻了VIT中局部信息相互作用和单场表述的有限问题。(2)我们提出了一个简单有效的CNN转换器双向交互模块,该模块在跨层次特征上执行多尺度融合,这对Han-dling密集的预测任务有益。(3)我们评估了在各种密集的预测任务,不同框架和多个高级预训练中VIT-COMER的能力。值得注意的是,我们的VIT-COMER-L在没有额外训练数据的情况下可可Val2017上的AP达到64.3%,而ADE20K Val上的MIOU为62.1%,这两种方法都与最先进的方法相当。我们希望VIT-COMER可以作为密集预测任务的新骨干,以促进未来的研究。该代码将在https://github.com/traffic-x/vit-comer上发布。
1 1,深圳Lanmage医疗技术公司,有限公司,深圳市,广东,中国广东,2 Neusoft Medical System Co.,2.中国申阳大学的生命与健康管理学院,第6次放射学系,广州医科大学第二附属医院,中国广州,7七国卫生科学与环境工程学院,宁岑技术大学,宁岑,宁津,中国,8工程学研究中心,医学成像研究中心,<1,深圳Lanmage医疗技术公司,有限公司,深圳市,广东,中国广东,2 Neusoft Medical System Co.,2.中国申阳大学的生命与健康管理学院,第6次放射学系,广州医科大学第二附属医院,中国广州,7七国卫生科学与环境工程学院,宁岑技术大学,宁岑,宁津,中国,8工程学研究中心,医学成像研究中心,<