摘要 - 扩散模型在各种图像生成任务(包括图像超分辨率)上实现了令人印象深刻的性能。尽管它们令人印象深刻,但由于大量的降级步骤,扩散模型的计算成本很高。在本文中,我们提出了一种新型的加速扩散模型,称为部分扩散模型(PDMS),用于磁性成像(MRI)超分辨率。我们观察到,扩散一对低分辨率和高分辨率的图像的潜力逐渐收敛,并在一定的噪声水平后变得难以区分。这激发了我们使用某些潜在的低分辨率来对相应的高分辨率潜在。使用近似值,我们可以跳过一部分扩散和降解步骤,从而减少训练和推理的计算。为了减轻近似误差,我们进一步引入了“潜在对齐”,该误差逐渐插入并接近低分辨率潜在的高分辨率潜在潜在的潜在。部分扩散模型与潜在对齐结合,基本上建立了一种新的轨迹,与原始分化模型中的那些相比,潜伏期逐渐从低分辨率转变为高分辨率图像。在三个MRI数据集上进行的实验表明,部分扩散模型可实现比起原始扩散模型比原始扩散模型更少的固定步骤。另外,它们可以与最近的加速扩散模型合并,以进一步提高效率。
最近,视频合成的进步引起了极大的关注。视频综合模型(例如AnimateIff和稳定的视频扩散)已经证明了扩散模型在创建动态视觉内容时的实际适用性。Sora的出现进一步介绍了视频生成技术的潜力。尽管有进步,但视频长度的扩展仍受到计算资源的限制。大多数现有的视频综合模型仅限于生成简短的视频剪辑。在本文中,我们提出了一种新型的视频合成模型的调节后方法,称为exvideo。这种方法旨在增强当前视频合成模型的能力,使它们能够在延长的时间持续时间内生成内容,同时产生较低的培训支出。尤其是我们分别设计了跨常见的时间模型体系结构的扩展策略,包括3D综合,时间关注和位置嵌入。为了评估我们提出的调整后方法的功效,我们训练了EXSVD,这是一种基于稳定的视频扩散模型的扩展模型。我们的方法增强了该模型最多生成5倍帧数的能力,仅需在包含40k视频的数据集上进行1.5k GPU小时的培训。重要的是,视频长度的实质性增加不会损害模型的先天概括功能,并且该模型在生成各种样式和决议的视频方面具有优势。我们将公开发布源代码和增强模型1。
(b)真实图像数据分布图4:通过U-NET的学习分布的相变。在(a)中,x轴是固有维度上的训练样本数量,而在(b)中,这是训练样本的总数。y轴是GL分数。我们使用(a)k = 2,n = 48和d k从3到6和(b)真实图像数据集CIFAR-10,celeba,ffhq和afhq的MOLRG分布产生的数据样本训练扩散模型。u-net记住训练数据时,GL分数很低,并且在学习基础分布时高。
摘要。我们提出了用于数据驱动的动力学系统的授予扩散模型。在这种类型的深度学习中,对神经网络进行了训练,以替代和扭转扩散过程,在该过程中,高斯噪声被从动力学系统的吸引子中添加到状态。迭代应用,神经网络可以将各向同性高斯噪声的样品映射到状态分布。我们展示了这种神经网络在Lorenz 1963系统的概念验证实验中的潜力。经过培训的状态发电,神经网络可以生产几乎与吸引子上的样本。该模型已经学会了系统的内部表示,适用于国家生成以外的不同任务。作为第一个任务,我们通过重新培训其最后一层并将其余网络保留为固定特征提取器,从而为预训练的神经网络提供了替代建模。在这些低维设置中,这种精细的模型的性能与从头开始训练的深度神经网络相似。作为第二个任务,我们应用预训练的模型来从确定性运行中生成合奏。扩散运行,然后迭代应用神经网络,条件状态生成,这使我们能够从运行的邻居区域中的吸引子中采样。为了控制所得的集合扩散和高斯性,我们调整扩散时间,从而调整吸引子的采样部分。虽然更容易调整,但此提出的集合采样器可以在集合最佳插值中胜过调谐的静态协方差。因此,这两个应用显示,降级扩散模型是代表动态系统学习的有前途的方法。
深神经网络(DNNS)在许多AI地球观察应用中(AI4EO)中作为关键解决方案的突出性(AI4EO)上升。然而,它们对对抗例子的敏感性构成了一个关键的挑战,损害了AI4EO算法的可靠性。本文在遥感图像(UAD-RS)中提出了一种新型的通用对抗防御方法,利用预训练的扩散模型来保护DNN免受表现出异质对抗模式的各种对抗性示例。具体而言,使用预训练的扩散模型开发了通用的对抗纯化框架,通过引入高斯噪声以及随后从对抗性示例中对扰动的纯化来减轻对抗的扰动。此外,还引入了自适应噪声水平选择(ANL)机制,以确定具有任务指导的Fréchet成立距离(FID)排名策略的纯化框架的最佳噪声水平,从而提高了纯化性能。因此,仅需要一个预训练的扩散模型来净化每个数据集的各种对抗性示例,这些示例具有异质性的对抗模式,从而大大降低了多个攻击设置的训练工作,同时在没有对抗扰动的情况下保持高性能。对四个异质RS数据集进行的实验结果,重点是场景分类和语义分割,表明UAD-RS的表现优于最先进的对抗性纯化方法,从而为七个常见的遇到的对抗性扰动提供了普遍的防御。com/ericyu97/uad-rs)。代码和预训练的模型可在线获得(https://github。
基于形状描述符和几何注册的传统方法通常会在模棱两可的特征上遇到较低的精度。最近的数据驱动方法固有地受到训练模型的表示和学习能力的影响。为了解决这个问题,我们提出了一种受扩散模型和变压器启发的新颖方法。我们的方法利用了它们的全局特征相关性和姿势先前的学习能力,将通过变压器通过变压器进行扩散来预测每个片段的姿势参数。我们在断裂的对象数据集上评估我们的方法,并与最新方法相比表现出卓越的性能。我们的方法提供了一种有前途的解决方案,可用于重新组装准确,稳健的裂缝对象,以复杂的形状分析和组装任务来推进该领域。
摘要 - 书中检索是一个代表性的反问题,其中仅使用信号的傅立叶变换的测量幅度才能恢复信号。深度学习的算法比标准算法更令人满意地重建,例如交替的投影处理和凸放松方法。但是,他们通常无法重建细节或纹理。最近,已经利用扩散模型来解决傅立叶相检索问题。这些算法提供了现实的结果,但是由于生成模型的性质,可以在重建中显示实际图像中的不存在细节。为了应对这些问题,我们提出了一种新型算法,称为“红色强调”,结合了差异扩散采样AP-ap-aper和相位检索的凸松弛方法。尤其是,用于相位检索的经典优化问题被用作额外的正则化,以在变化采样过程中正确重建相位信息。我们的实验结果证实,与现有的傅立叶相检索算法相比,所提出的红色强调可提供定性和定量改善的性能。索引术语 - 较高的相位检索,扩散模型,通过deno的调节,凸松弛
人工智能(AI)已证明自己是触发社会巨大转变的有助于因素[1,2,3,4]。然而,在第五次工业革命的边缘,存在一些挑战,涉及AI到达的巩固作为医学和人们的福祉。的确,这种范式转向了驱动的医疗保健不仅是一场技术革命。它代表了对医疗实践的全面重新构想,增强了医疗服务的质量,效率和访问性。在这种情况下,我们的努力针对四个研究路径:(i)用于精密医学的多模式AI(第2节); (ii)多模式AI促进福利(第3节); (iii)弹性AI(第4节); (iv)医疗保健机器人技术的AI(第5节)。对于每种路线,我们提供了对开发解决方案的简要描述,突出了解决问题和开放挑战。
•不受限制的对抗攻击旨在使用生成模型生成自然的对抗示例。•先前的攻击直接将类似PGD的梯度注入生成模型的采样,从而损害发电质量。
摘要。扩散模型的最新发展,尤其是在潜在扩散和无分类器指导的情况下,产生了可以欺骗人类的高度实现图像。在检测域中,跨不同生成模型的概括的需求导致许多人依靠频率指纹或痕迹来识别合成图像,因此通常会损害对复杂图像降解的鲁棒性。在本文中,我们提出了一种新的方法,该方法不依赖于频率或直接基于图像的特征。相反,我们利用预先训练的扩散模型和采样技术来检测假图像。我们的方法论基于两个关键见解:(i)预先训练的扩散模型已经包含有关真实数据分布的丰富信息,从而通过策略性抽样实现了真实和假图像之间的区分; (ii)文本条件扩散模型对无分类器指导的依赖性,再加上更高的指导权重,可以实现真实和扩散产生的假imperigens之间的识别性。我们在整个Genimage数据集中评估了我们的方法,并具有八个不同的图像发生器和各种图像降解。我们的方法证明了它在检测多种AI生成的合成图像的功效和鲁棒性,从而设置了新的最新状态。代码可在我们的项目页面1