Loading...
机构名称:
¥ 1.0

摘要:DeepFake已成为一项新兴技术,近年来影响网络安全的非法应用。大多数DeepFake检测器都利用基于CNN的模型(例如Xception Network)来区分真实或假媒体;但是,它们在交叉数据集中的表现并不理想,因为它们在当前阶段遭受过度的苦难。因此,本文提出了一种空间一致性学习方法,以三个方面缓解此问题。首先,我们将数据增强方法的选择提高到5,这比我们以前的研究的数据增强方法还多。具体来说,我们捕获了一个视频的几个相等的视频帧,并随机选择了五个不同的数据增强,以获取不同的数据视图以丰富输入品种。其次,我们选择了Swin Transformer作为特征提取器,而不是基于CNN的主链,这意味着我们的方法并未将其用于下游任务,并且可以使用端到端的SWIN变压器对这些数据进行编码,旨在了解不同图像补丁之间的相关性。最后,这与我们的研究中的一致性学习结合在一起,一致性学习能够比监督分类确定更多的数据关系。我们通过计算其余弦距离并应用传统的跨膜损失来调节这种分类损失,从而探索了视频框架特征的一致性。广泛的数据库和跨数据库实验表明,弹药效果可能会在某些开源的深层数据集中产生相对良好的结果,包括FaceForensics ++,DFDC,Celeb-DF和FaceShifter。通过将我们的模型与多种基准模型进行比较,我们的方法在检测深冰媒体时表现出相对强大的鲁棒性。

swin-fake:一致性学习变压器的深击视频检测器

swin-fake:一致性学习变压器的深击视频检测器PDF文件第1页

swin-fake:一致性学习变压器的深击视频检测器PDF文件第2页

swin-fake:一致性学习变压器的深击视频检测器PDF文件第3页

swin-fake:一致性学习变压器的深击视频检测器PDF文件第4页

swin-fake:一致性学习变压器的深击视频检测器PDF文件第5页

相关文件推荐