Loading...
机构名称:
¥ 1.0

多模式图像融合旨在结合不同的模态,以产生保留每种模式的合并特征的融合图像,例如功能亮点和纹理细节。为了利用强大的先验,并应对基于GAN的生成方法的不稳定培训和缺乏解释性等挑战,我们提出了一种基于脱氧扩散概率模型(DDPM)的新型融合算法。在DDPM采样框架下,融合任务是作为条件生成概率提出的,该框架被划分为无条件生成子问题和最大似然子问题。后者以层次的贝叶斯方式进行了模拟,并以潜在变量为单位,并通过期望最大化(EM)算法来推断。通过将推理解决方案集成到扩散采样迭代中,我们的方法可以从源图像中生成具有自然图像生成先验的高质量融合图像,并从源图像中产生交叉模式信息。请注意,我们所需的只是无条件的预训练的生成模型,不需要微调。我们的广泛实验表明,我们的方法产生了有希望的融合会导致红外可见的图像融合和医学图像融合。该代码可在https:// github上找到。com/zhaozixiang1228/mmif-ddfm。

多模式图像融合的去核扩散模型

多模式图像融合的去核扩散模型PDF文件第1页

多模式图像融合的去核扩散模型PDF文件第2页

多模式图像融合的去核扩散模型PDF文件第3页

多模式图像融合的去核扩散模型PDF文件第4页

多模式图像融合的去核扩散模型PDF文件第5页