摘要。扩散模型的最新发展,尤其是在潜在扩散和无分类器指导的情况下,产生了可以欺骗人类的高度实现图像。在检测域中,跨不同生成模型的概括的需求导致许多人依靠频率指纹或痕迹来识别合成图像,因此通常会损害对复杂图像降解的鲁棒性。在本文中,我们提出了一种新的方法,该方法不依赖于频率或直接基于图像的特征。相反,我们利用预先训练的扩散模型和采样技术来检测假图像。我们的方法论基于两个关键见解:(i)预先训练的扩散模型已经包含有关真实数据分布的丰富信息,从而通过策略性抽样实现了真实和假图像之间的区分; (ii)文本条件扩散模型对无分类器指导的依赖性,再加上更高的指导权重,可以实现真实和扩散产生的假imperigens之间的识别性。我们在整个Genimage数据集中评估了我们的方法,并具有八个不同的图像发生器和各种图像降解。我们的方法证明了它在检测多种AI生成的合成图像的功效和鲁棒性,从而设置了新的最新状态。代码可在我们的项目页面1
年龄,精心选择预训练数据,促进具有高保真和效率的DP数据集的有效创建。p iVimage首先使用公共数据集建立语义查询函数。然后,此功能有助于查询敏感数据集的语义分布,从而促进了从公共数据集中选择使用类似语义进行预训练的数据。最后,我们使用选定的数据预先培训图像通用模型,然后使用私有随机梯度下降(DP-SGD)在敏感数据集上微调此模型。p Ivimage使我们能够训练一个易于参数化的生成模型,从而在DP-SGD训练过程中降低了梯度的噪声并增强训练稳定性。广泛的实验表明,与最先进的方法相比,P iVimage仅使用1%的公共数据集进行预训练和7.6%的参数,而实现了卓越的合成性能并保守更多的计算资源。平均而言,P铆接比最先进的方法提高了6.8%的FID和分类精度13.2%。可以在线访问复制软件包和数据集1。
生成的AI技术提供了越来越多的工具来生成完全合成的图像,这些图像越来越与真实的图像。与改变图像的部分的方法不同,完全合成图像的创建提出了一个独特的挑战,最近似乎似乎已经对其进行了解决。然而,基准数据集的实验结果与野外方法的性能之间通常存在很大的差距。为了更好地满足SID的评估需求并帮助缩小差距,本文介绍了一个基准测试框架,该框架集成了几种最新的SID模型。我们选择集成模型的选择是基于各种输入功能和不同网络体系结构的利用,旨在涵盖广泛的技术。该框架利用了最新的数据集,这些数据集具有多种生成模型,高水平的照片现实主义和分辨率,这反映了图像合成技术的快速改进。此外,该框架还可以研究图像转换如何在在线共享的资产中(例如JPEG压缩)影响检测性能。sidbench可在github.com/mever- team/sidbench上获得,并以模块化的方式设计,以便于包含新的数据集和SID模型。