Self-supervised Learning of Adversarial Example: Towards Good Generalizations for Deepfake Detection

一、研究背景
将Deepfake检测器用于不可见的伪造手段仍比较困难。
先有提升检测器泛化性能的思路有两种，但都有缺陷：
合成伪造数据：能合成的伪造类型比较有限。
提取共有特征：共有特征对预处理步骤敏感，在不同数据集中呈现较大差异。

二、研究动机
泛化性好的表征应该对多种类型的伪造都很敏感。

三、研究目标
通过合成对抗性数据来提升深度伪造检测器的泛化性能：
1.利用伪造配置池合成伪造数据来增加伪造的“多样性”。（配置：合成某种伪造数据的特定方法或控制特定合成过程的一组参数）
2.通过预测伪造配置增强模型对伪造的“敏感性”。

四、技术路线
为探索更大的伪造空间，使用对抗训练策略动态合成当前最具挑战性的伪造数据。

1.Selecting Space and Synthesizing Forgery

• 输入：
  真实图像$I_p$+参考图像$I_f$（伪造图像）
  伪造图像

• 数据合成：
  合成网络生成特定的伪造配置，即指定伪造区域$R_g$、混合方式$T_g$、混合比例$A_g$，并基于上述配制合成伪造图像$I_g$。$M_d$为经过变形操作产生的掩膜。
  

2.Joint Training with Self-Supervised Tasks
鉴别器：
判断图像真伪。
预测输入图像的伪造配置。

• 混合区域：$M_{gt}=M_d/label/0$
  

• 混合方式：$T_{gt}=\{0,1,2\},\{3\},\{4\}$
  AM-Softmax Loss

• 混合比例：$A_{gt}=A_g$
  

3.Adversarial Training

• 利用对抗训练策略，根据鉴别器性能动态进行数据增强。
  
  
• 由于采样操作影响梯度传播，因此使用强化学习策略优化生成网络，选择使损失增加的配置：
  

五、实验结果