机构名称：
¥ 3.0
基于机器学习的图像生成模型（例如稳定扩散）现在能够生成很难与真实图像区分开的合成图像，这引起了许多法律和道德问题。作为缓解措施的潜在度量，可以训练神经网络检测许多生成模型合成的图像中存在的数字伪像。但是，由于所讨论的伪影通常是特定于模型的伪像，因此这些所谓的探测器通常会出现来自模型的图像时的性能差，因此尚未接受过培训。在本论文中，我们研究了Dreambooth和Lora，最近出现了两种精细方法，以及它们对假图像探测器的性能的影响。Dreambooth和Lora可用于微调一个稳定的扩散基础模型，该模型具有创建基本模型更改版本的效果。可以这样做的便捷性导致了社区产生的合成图像的扩散。然而，模型微调对图像可检测性的影响尚未在科学背景下研究。因此，我们提出以下研究问题：使用Dreambooth或Lora对稳定的扩散基本模型进行微调会影响仅在基本模型图像上训练的探测器的性能指标吗？我们采用了一种实验方法，使用验证的VGG16架构将二进制分类作为检测器。我们在来自Imagenet数据集的真实图像上训练检测器，以及由三个不同稳定扩散基础模型合成的图像，从而产生了三个训练有素的检测器。然后，我们在这些模型的微调版本生成的图像上测试他们的性能。我们发现，在使用微调模型发生的图像上测试检测器的准确性低于对训练的基础模型生成的图像进行测试的准确性。在前者类别中，与洛拉生成的图像相比，Dreambooth生成的图像对检测器的影响更大。我们的研究表明，在伪造图像探测器培训的背景下，有必要在Dreambooth微调模型中考虑到不同的实体。
基于AI的图像生成
主要关键词
相关文件推荐
