摘要 - 医学成像应用在人体解剖学,病理学和成像领域方面高度专业。因此,用于培训医学成像中深度学习应用的注释培训数据集不仅需要高度准确,而且还需要多样化,并且足够大,以涵盖与这些规格有关的大多数合理示例。我们认为,实现此目标可以通过带有注释的合成图像的受控生成框架来促进,需要多个条件规格作为输入才能提供控制。我们采用denoising扩散概率模型(DDPM)来训练肺CT域中的大规模生成模型,并根据无分类器采样策略进行扩展,以展示一个这样的生成框架。我们表明,我们的方法可以产生带注释的肺CT图像,这些图像可以忠实地代表解剖学,令人信服地愚弄专家将其视为真实。我们的实验表明,这种性质的受控生成框架几乎可以超过几乎所有最新的图像生成模型,而在接受类似的大型医疗数据集接受培训时,在生成的医学图像中实现了解剖学一致性。
生成的AI模型,例如稳定的扩散,DALL-E和MIDJOURNEY,最近引起了广泛的关注,因为它们可以通过学习复杂,高维图像数据的分布来产生高质量的合成图像。这些模型现在正在适用于医学和神经影像学数据,其中基于AI的任务(例如诊断分类和预测性建模)通常使用深度学习方法,例如卷积神经网络(CNNS)和视觉变形金刚(VITS)(VITS),并具有可解释性的增强性。在我们的研究中,我们训练了潜在扩散模型(LDM)和deno的扩散概率模型(DDPM),专门生成合成扩散张量张量成像(DTI)地图。我们开发了通过对实际3D DTI扫描进行训练以及使用最大平均差异(MMD)和多规模结构相似性指数(MS-SSSIM)评估合成数据的现实主义和多样性来生成平均扩散率的合成DTI图。我们还通过培训真实和合成DTI的组合来评估基于3D CNN的性别分类器的性能,以检查在培训期间添加合成扫描时的性能是否有所提高,作为数据增强形式。我们的方法有效地产生了现实和多样化的合成数据,有助于为神经科学研究和临床诊断创建可解释的AI驱动图。
RNA的功能与X射线晶体学,NMR和Cryo-EM传统上探索的3D结构本质上息息相关。但是,这些实验通常缺乏原子水平的分辨率,从而使需要准确的RNA RNA结构预测工具。这一需求推动了人工智能(AI)的进步,该技术已经彻底改变了蛋白质结构的预测。不幸的是,由于稀疏和不平衡的结构数据,RNA场中的类似突破仍然有限。在这里,我们介绍了RNAGRAIL,这是一种新型的RNA 3D结构预测方法,该方法侧重于使用denoising扩散概率模型(DDPM)进行RNA子结构。与Alphafold 3(AF3)不同,被许多人认为是Oracle,Rnagrail允许专家用户定义基本对约束,从而提供出色的灵活性和精确度。,我们的方法在平均RMSD方面优于AF3,而平均ERMSD的表现为24%。此外,就相互作用网络保真度(INF)而言,它完美地再现了规范的二级结构优于AF3。rnagrail表现出各种RNA图案和家庭的鲁棒性。尽管受过rRNA和tRNA的训练,但它有效地概括为新的RNA家族,因此解决了RNA 3D结构预测中的主要挑战之一。这些结果强调了专注于小的RNA组件并集成用户定义的约束以显着增强RNA 3D结构预测的潜力,从而在RNA建模中设定了新标准。
知识图嵌入(KGE)是用于知识图完成的有效且可扩展的方法。但是,大多数现有的KGE方法都遭受了多种关系语义的挑战,这常常会降低其性能。这是因为大多数KGE方法都学习实体(关系)的固定连续向量,并做出确定性实体预测以完成知识图,这几乎无法捕获多个关系语义。为了解决这个问题,预先的作品试图学习复杂的概率嵌入,而不是固定的嵌入,但遭受了严重的计算复杂性。相比之下,本文提出了一个简单而有效的框架,即知识图扩散模型(KGDM)以捕获预测中的多个关系语义。它的关键思想是将实体问题的问题投入到条件实体生成中。具体而言,KGDM通过降级扩散概率模型(DDPM)来估计目标实体在预测中的概率分布。为了弥合连续扩散模型和离散kg之间的间隙,将两个可学习的嵌入功能定义为映射实体和与连续向量的关系。为了考虑KGS的连通性模式,引入了条件实体Denoiser模型,以生成针对给定实体和关系的目标实体。广泛的实验表明,KGDM在三个基准数据集中的现有最新方法明显优于现有的最新方法。
肿瘤成像的景观正在经历地震转变,这是由于生成人工智能(AI)的快速进步所推动的。这种变革性技术不仅增强了我们检测和诊断癌症的能力。它重新定义了肿瘤学护理的整个范式。当我们站在这场革命的风口浪尖上时,重要的是要研究生成AI在癌症成像中的深远影响,并探索其重塑肿瘤学未来的潜力。生成的AI方法是众所周知的,这要归功于Chatgpt及其许多竞争对手。但是生成的AI技术,例如生成对抗网络(GAN)和脱氧扩散概率模型(DDPM),也证明了在医学成像中的显着功能[1,2]。这些模型可以生成合成的医学图像,增强图像质量,甚至可以预测肿瘤的未来发展。在肿瘤学成像中,这转化为早期检测,更准确的诊断和改进的治疗计划。生成AI的最有希望的应用之一是应对医学成像中数据稀缺性的多年生挑战。癌症,尤其是在早期阶段,常常会出现很容易错过的微妙异常。通过产生稀有癌症类型或早期肿瘤的合成图像,AI可以显着扩展可用于培训诊断算法的数据集。
检测异常的能力,即在培训或分发期间看不到的任何内容(OOD)在医学成像应用中对于成功部署机器学习系统至关重要。使用无监督的学习过滤OOD数据特别有希望,因为它不需要昂贵的注释。基于deo的扩散概率模型(DDPM)的新型模型,称为阳极,阳极,最近在无监督的OOD检测中取得了重大进展。这项工作为数字病理中无监督的OOD检测方法提供了基准。通过利用快速采样技术,我们将阳极在足够大的尺度上应用阳极,以在Camelyon16挑战的完整测试集上进行全面的图像分析。基于ROC分析,我们表明,在两个补丁级的OOD检测任务上,ANODDPMS可以检测到OOD数据,最高为94.13和86.93,表现优于其他无人研究的方法。我们观察到阳极改变了输入的语义特性,用更良性的组织代替了异常数据。此外,我们通过评估具有不同信噪比的输入的重建误差来强调阳极对不同信息瓶颈的灵活性。尽管有完全监督的学习仍然存在显着的性能差距,但在数字病理学中的OOD检测领域表现出了巨大的希望。
心血管疾病(CVD)的高流行率要求可访问且具有成本效益的连续心脏监测工具。尽管心电图(ECG)是黄金标准,但连续监测仍然是一个挑战,导致探索光摄影学(PPG),这是一种有希望的但更基本的替代方案,可在消费者可穿戴设备中获得。这个概念最近引发了将PPG转化为ECG信号的兴趣。在这项工作中,我们介绍了区域限制扩散模型(RDDM),这是一种新型扩散模型,旨在捕获ECG的复杂时间动力学。传统的扩散模型,例如deno deno扩散概率模型(DDPM)在捕获整个信号中不可分犯的噪声过程中捕获这种细微差别时面临挑战。我们提出的RDDM通过企业进行了一个新颖的远期过程来克服这种限制,该过程有选择地将噪声添加到ECG信号中的QRS复合物等特定区域(ROI),以及一个反向过程,该过程散布了ROI和非ROI区域的差异。定量实验表明,RDDM可以在少于10个扩散步骤中从PPG产生高保真性ECG,从而使其非常有效且在计算上有效。此外,为了严格验证所产生的ECG信号的有用性,我们引入了心脏桥,这是针对各种心脏相关任务的全面评估基准,包括心率和血压估计,压力分类以及对心房颤动和糖尿病的检测。我们的详尽实验表明,RDDM在心脏座位上实现了最先进的表现。据我们所知,RDDM是生物信号域中交叉模式信号转换翻译的第一个扩散模型。据我们所知,RDDM是生物信号域中交叉模式信号转换翻译的第一个扩散模型。
在科学和工程中的许多任务中,目标是从从已知的前向模型中收集的少量嘈杂测量值中推断出未知的图像,描述了某些传感或成像模式。由于资源限制,此图像重建任务通常是极度不良的,因此需要采用表达性的先验信息以正行解决方案空间。基于得分的扩散模型,由于其令人印象深刻的经验成功,已成为图像重建中表现出的先验的吸引人的候选人。为了立即适应各种任务,开发有效,一致和健壮的算法非常有趣,这些算法将图像先验分布的无条件得分函数与远期模型的灵活选择结合在一起。这项工作开发了一种算法框架,用于在与一般正向模型的非线性反问题中使用基于得分的扩散模型作为当前数据。是由成像社区中的插件和播放框架激励的,我们引入了一种扩散的插件方法(DPNP),该方法替代称为两个采样器,这是一个仅基于远期模型的可能性函数,并且是基于远期的扩散采样者的近端一致性采样器,并基于远期模型的函数。关键见解是,在白色高斯噪声下进行降解可以通过随机(即DDPM型)和确定性(即DDIM型)采样器使用相同的分数函数进行训练。代码可在https://github.com/x1xu/diffusion-plug-and-play上找到。我们同时建立了DPNP的渐近性和非质子性能保证,并提供了数值实验,以说明其在解决线性和非线性图像重建任务方面的希望。据我们所知,DPNP是使用无条件扩散先验的非线性反问题的第一种可证明的后验抽样方法。据我们所知,DPNP是使用无条件扩散先验的非线性反问题的第一种可证明的后验抽样方法。
扩散概率模型(DDPM)[39,40],通过开发合适的3D表示,例如,体积网格[50],点云[3,53],三角形网格[24,32],隐式含量[24,32],隐式代表[12,28,36,36,36,36,56,36,56,36,36,36,56)。但是,这些生成模型的一个共同主题是匹配由训练数据定义的经验分布以及从潜在空间的先前分布中得出的诱导分布。这些方法在3D域中对下游应用程序至关重要的3D域中没有明确模型。考虑使用隐式形状代表的许多状态形状发生器。合成形状通常具有断开的作品,并具有其他物理稳定性和几何可行性的问题。现有技术的一个主要问题是,他们只看到培训实例,这是一组非常稀疏的样本。但是,它们没有对合成实例的几何和物理特性进行建模。这种问题不容易通过开发合适的神经代表来解决。随着人造形状具有多种拓扑结构,在可以对不同拓扑结构建模的代表下执行这些属性,例如隐式表面和点云仍然非常具有挑战性。在本文中,我们介绍了一种名为GPLD3D的新颖方法,该方法极大地增强了合成形状的几何学性和物理稳定性。考虑一个预先训练的生成模型,该模型将潜在空间映射到形状空间。我们将潜在扩散范式[12,34,36,56]证明是一种最先进的形状基因产生模型。与训练一个扩散模型不同,该模型将潜在空间的高斯分布映射到由训练形状的潜在代码定义的经验分布,我们介绍了一个潜在代码的优质检查器,以定义潜在空间的连续正规化分布。此质量检查器集成了一个学到的功能,该功能量化了合成形状的几何可行性评分以及量化其物理稳定性评分的刚度ma-Trix的光谱特性。我们展示了如何扩展最新的扩散框架EDM [20],以整合数据分布和学习质量的denoising网络的质量检查器。关键贡献是一种原则性的方法,它决定了数据分散的损失条款与不同噪声水平的质量检查器之间的权衡参数。我们已经评估了shapenet-v2上GPLD3D的性能[6]。实验结果表明,在多个指标上,GPLD3D显着优于最先进的形状发生器。我们还提出了一项消融研究,以证明合并质量检查器并优化训练损失的超参数的重要性。
扩散概率模型(DDPM)[39,40],通过开发合适的3D表示,例如,体积网格[50],点云[3,53],三角形网格[24,32],隐式含量[24,32],隐式代表[12,28,36,36,36,36,56,36,56,36,36,36,56)。但是,这些生成模型的一个共同主题是匹配由训练数据定义的经验分布以及从潜在空间的先前分布中得出的诱导分布。这些方法在3D域中对下游应用程序至关重要的3D域中没有明确模型。考虑使用隐式形状代表的许多状态形状发生器。合成形状通常具有断开的作品,并具有其他物理稳定性和几何可行性的问题。现有技术的一个主要问题是,他们只看到培训实例,这是一组非常稀疏的样本。但是,它们没有对合成实例的几何和物理特性进行建模。这种问题不容易通过开发合适的神经代表来解决。随着人造形状具有多种拓扑结构,在可以对不同拓扑结构建模的代表下执行这些属性,例如隐式表面和点云仍然非常具有挑战性。在本文中,我们介绍了一种名为GPLD3D的新颖方法,该方法极大地增强了合成形状的几何学性和物理稳定性。考虑一个预先训练的生成模型,该模型将潜在空间映射到形状空间。我们将潜在扩散范式[12,34,36,56]证明是一种最先进的形状基因产生模型。与训练一个扩散模型不同,该模型将潜在空间的高斯分布映射到由训练形状的潜在代码定义的经验分布,我们介绍了一个潜在代码的优质检查器,以定义潜在空间的连续正规化分布。此质量检查器集成了一个学到的功能,该功能量化了合成形状的几何可行性评分以及量化其物理稳定性评分的刚度ma-Trix的光谱特性。我们展示了如何扩展最新的扩散框架EDM [20],以整合数据分布和学习质量的denoising网络的质量检查器。关键贡献是一种原则性的方法,它决定了数据分散的损失条款与不同噪声水平的质量检查器之间的权衡参数。我们已经评估了shapenet-v2上GPLD3D的性能[6]。实验结果表明,在多个指标上,GPLD3D显着优于最先进的形状发生器。我们还提出了一项消融研究,以证明合并质量检查器并优化训练损失的超参数的重要性。