机构名称：
¥ 1.0
摘要 — 近期所谓的深度伪造的现实创作和传播对社会生活、公民休息和法律构成了严重威胁。名人诽谤、选举操纵和深度伪造作为法庭证据只是深度伪造的一些潜在后果。基于 PyTorch 或 TensorFlow 等现代框架、FaceApp 和 REFACE 等视频处理应用程序以及经济的计算基础设施的开源训练模型的可用性简化了深度伪造的创作。大多数现有检测器专注于检测换脸、口型同步或木偶大师深度伪造，但几乎没有探索用于检测所有三种类型深度伪造的统一框架。本文提出了一个统一的框架，利用混合面部标志和我们新颖的心率特征的融合功能来检测所有类型的深度伪造。我们提出了新颖的心率特征，并将它们与面部标志特征融合，以更好地提取假视频的面部伪影和原始视频中的自然变化。我们利用这些特征训练了一个轻量级的 XGBoost，以对 deepfake 和真实视频进行分类。我们在包含所有类型 deepfake 的世界领袖数据集 (WLDR) 上评估了我们框架的性能。实验结果表明，与比较 deepfake 检测方法相比，所提出的框架具有更优异的检测性能。将我们的框架与深度学习模型候选模型 LSTM-FCN 进行性能比较，结果表明，所提出的模型取得了类似的结果，但它更具可解释性。索引术语 —Deepfakes、多媒体取证、随机森林集成、树提升、XGBoost、Faceswap、Lip sync、Puppet Master。
轻量级且可解释的 Deepfakes 检测框架
主要关键词
相关文件推荐
