最近,扩散模型 (DM) 已应用于磁共振成像 (MRI) 超分辨率 (SR) 重建,并表现出令人印象深刻的性能,尤其是在细节重建方面。然而,当前基于 DM 的 SR 重建方法仍然面临以下问题:(1)它们需要大量迭代来重建最终图像,效率低下且消耗大量计算资源。(2)这些方法重建的结果通常与真实的高分辨率图像不一致,导致重建的 MRI 图像出现明显失真。为了解决上述问题,我们提出了一种用于多对比 MRI SR 的有效扩散模型,称为 DiffMSR。具体而言,我们在高度紧凑的低维潜在空间中应用 DM 来生成具有高频细节信息的先验知识。高度紧凑的潜在空间确保 DM 只需要几次简单的迭代即可产生准确的先验知识。此外,我们设计了 Prior-Guide Large Window Transformer (PLWformer) 作为 DM 的解码器,它可以扩展感受野,同时充分利用 DM 产生的先验知识,以确保重建的 MR 图像保持不失真。在公共和临床数据集上进行的大量实验表明,我们的 DiffMSR 1 优于最先进的方法。
大脑中线移位(MLS)是一种定性和定量的放射学特征,它可以衡量脑中线结构的横向移位,以响应由血肿,肿瘤,脓肿或任何其他占据脑膜内病变引起的质量效应。可以使用其他参数来确定神经外科干预的紧迫性,并预测占据病变的患者的临床结果。然而,由于跨病例的临床相关大脑结构的差异很大,因此精确检测和量化MLS可能具有挑战性。在这项研究中,我们通过使用分类和分割网络架构来研究了由病例级MLS检测以及脑部标记位置的初始定位以及对脑部标记位置的最初定位和完善的级联网络管道。我们使用3D U-NET进行初始定位,然后使用2D U-NET来估计更精确的分辨率的确切地标点。在改进步骤中,我们从多个切片中融合了预测,以计算每个地标的最终位置。,我们用大脑的解剖标记产生的高斯热图目标训练了这两个UNET。案例级别的地面真相标签和地标注释是由多个训练有素的注释者产生的,并由放射学技术人员和放射科医生进行了审查。我们提出的管道实现了使用2,545个头部非对比度计算的测试数据集在AUC中的情况级MLS检测性能
深度神经网络的最新进展成功地改善了各种学习问题[40,8,26,19,20]。但是,对于监督学习,大量的训练数据仍然是学习准确的深层模型的关键。尽管可能可用于一些预先规定的域,例如ImageNet [7],但对于每个临时目标域或任务而言,手动标签通常很难或昂贵。缺少IN-ININAIN标记的数据阻碍了在许多实际问题中拟合模型的应用。在没有来自目标域的标记数据的情况下,已经出现了无监督的域适应(UDA)方法,以减轻数据分布的域移动[2,1,1,5,37,30,18,3,3,17]。它与无监督的学习有关,因为它仅需要从源域和目标域的零标签手动标签。在最近关于UDA的工作,这是Long等人提出的开创性工作。[22,25]旨在最大程度地减少深神经网络中源和目标域之间的差异,在此,在该网络中,域差异通过最大值
心率 (HR) 是人体健康的重要生理指标,可用于检测心血管疾病。传统的 HR 估计方法,例如心电图 (ECG) 和光电容积描记器,需要皮肤接触。由于皮肤接触会增加病毒感染的风险,在正在发生的 COVID-19 大流行中避免使用这些方法。或者,可以使用非接触式 HR 估计技术,即远程光电容积描记器 (rPPG),其中 HR 是根据人的面部视频估计的。不幸的是,现有的 rPPG 方法在面部变形的情况下表现不佳。最近,用于 rPPG 的深度学习网络激增。然而,这些网络需要大规模标记数据才能更好地泛化。为了缓解这些缺点,我们提出了一种方法 ALPINE,即一种新的 L r P PG 技术,用于使用对比学习来改进远程心率估计。 ALPINE 在训练过程中利用对比学习框架来解决标记数据有限的问题,并在数据样本中引入多样性以实现更好的网络泛化。此外,我们引入了一种新颖的混合损失,包括对比损失、信噪比 (SNR) 损失和数据保真度损失。我们的新颖对比损失最大化了来自不同面部区域的 rPPG 信息之间的相似性,从而最大限度地减少了局部噪声的影响。SNR 损失提高了时间信号的质量,数据保真度损失确保提取正确的 rPPG 信号。我们在公开数据集上进行的大量实验表明,所提出的方法 ALPINE 优于以前众所周知的 rPPG 方法。
核磁共振 (NMR) 是对原子核磁特性的光谱研究。原子核的质子和中子具有与其核自旋和电荷分布相关的磁场。共振是一种能量耦合,当单个原子核被置于强外部磁场中时,它会选择性地吸收并随后释放这些原子核及其周围环境所特有的能量。自 20 世纪 40 年代以来,NMR 信号的检测和分析已作为化学和生物化学研究中的分析工具得到了广泛的研究。NMR 不是一种成像技术,而是一种提供有关放置在小体积、高场强磁性装置中的样本的光谱数据的方法。在 20 世纪 70 年代初,人们意识到磁场梯度可用于定位 NMR 信号并生成显示质子磁特性的图像,反映临床相关信息,再加上技术进步和“体型”磁体的发展。随着 20 世纪 80 年代中期临床成像应用的增多,“核”含义被抛弃,磁共振成像 (MRI) 及其大量相关缩略词开始被医学界普遍接受。随着磁场强度更高的磁铁以及解剖、生理和光谱研究的改进,MR 应用的临床意义不断扩大。对软组织差异的高对比敏感度以及使用非电离辐射对患者的固有安全性是 MRI 取代许多 CT 和投影射线照相方法的主要原因。随着图像质量、采集方法和设备设计的不断改进,MRI 通常是检查患者解剖和生理特性的首选方式。但它也存在缺点,包括设备和选址成本高、扫描采集复杂、成像时间相对较长、图像伪影明显、患者幽闭恐惧症以及 MR 安全问题。本章回顾了磁学的基本特性、共振概念、组织磁化和弛豫事件、图像对比度的生成以及获取图像数据的基本方法。第 13 章讨论了高级脉冲序列、图像特征/伪影的说明、MR 波谱、MR 安全性和生物效应。
本文研究了一种联合估计基于能量的模型和基于流的模型的训练方法,其中两个模型基于共享的对抗值函数进行迭代更新。该联合训练方法具有以下特点:(1)基于能量的模型的更新基于噪声对比估计,流模型作为强噪声分布。(2)流模型的更新近似地最小化了流模型与数据分布之间的 Jensen-Shannon 散度。(3)与生成对抗网络(GAN)估计由生成器模型定义的隐式概率分布不同,我们的方法估计数据上的两个显式概率分布。使用所提出的方法,我们证明了流模型的综合质量的显著改进,并展示了通过学习到的基于能量的模型进行无监督特征学习的有效性。此外,所提出的训练方法可以轻松适应半监督学习。我们取得了与最先进的半监督学习方法相媲美的成果。
最近,几种方法探索了多对比磁共振成像(MRI)超分辨率(SR)的潜力,并获得了优于单对比SR方法的结果。但是,现有方法仍然存在两个缺点:(1)它们只能解决固定的Inter Intermpling量表,例如2×,3×和4倍,它们需要培训并存储临床上每个UPSMPLAING SCALE的相应模型。(2)他们在采用方形窗口(例如8×8)变形金刚网络档案时缺乏直接交互,这导致长范围依赖性的建模不足。此外,参考图像和目标图像之间的关系尚未完全挖掘。为了解决这些问题,我们开发了一个新颖的网络,用于多对比度MRI任意规模的SR,被称为McASSR。具体来说,我们设计了矩形窗口交叉注意变压器,以在MR图像中建立长期依赖性,而无需增加计算复杂性并完全使用参考信息。此外,我们提出了参考吸引的隐式关注,作为提升的模式,通过隐式神经表示实现了任意规模的超分辨率,进一步融合了参考图像的补充信息。在公共和临床数据集上进行了广泛而全面的实验表明,我们的MCASSR比SOTA方法产生了卓越的性能,这表明其在临床实践中的巨大潜力。代码将在https://github.com/guangyuankk/mcassr上找到。
a 摩洛哥拉巴特国际大学工程与建筑学院 TICLab b 法国巴黎理工学院巴黎电信 LTCI c 美国马里兰州阿德尔菲美国陆军研究实验室
虽然最近的无模型增强学习(RL)方法已经证明了人类水平在游戏环境中的有效性,但它们在视觉导航等日常任务中的成功受到了限制,尤其是在很明显的外观变化下。此限制来自(i)样本效率不佳和(ii)对培训方案的过度效果。为了应对这些挑战,我们提出了一种世界模型,该模型使用(i)对比不受监督的学习和(ii)干预不变的统治者学习不变特征。学习世界动态的明确表示世界模型,提高样本效率,而对比度学习隐含地实施不变特征的学习,从而改善了概括。,随着对比的损失与世界模式的na'整合还不够好,因为基于世界模型的RL方法独立地优化表示表示和代理策略。为了克服这个问题,我们提出了一种干预 - 不变的正规剂,其形式是辅助任务,例如深度预测,图像DeNoising,图像分割等,以明确执行不变性以进行样式的干预。我们的方法优于当前基于最新的模型和不含模型的RL方法,并显着改善了IGIBSON基准测试中评估的分数范围内导航任务。仅使用视觉观察,我们进一步证明了我们的方法超过了最近的语言引导导航基础模型,这对于在计算功能有限的机器人上部署至关重要。最后,我们证明了我们提出的模型在吉布森基准上其感知模块的SIM到真实传输方面表现出色。