Towards Understanding the Generalization of Deepfake Detectors from a Game-Theoretical View

一、研究背景
1.以往提升检测器泛化性能的工作分为两类：

• 合成新的数据来丰富伪造特征
• 设计特殊模块来关注具有普遍性的伪造痕迹

2.上述工作通常是反映人类对伪造痕迹的理解，因此不能探究检测器中特征表示的泛化机制。

二、研究动机
1.检测器编码视觉概念间的多阶交互，其中的低阶交互通常对检测有很大的负面影响。
2.具有良好泛化性能的检测器倾向于编码具有较少负面影响的低阶交互。
3.大多数检测器通过抑制低阶相互作用的强度来减轻其负面影响。

三、研究目标
从博弈论的角度，量化不同order特征交互的贡献，并揭示检测器的泛化能力。为实现这一目标需要解决以下两个问题：

• 对于检测器来说，什么样的特征会被认为与伪造痕迹相关。
• 怎样解纠缠出鉴别器内不同order特征交互的影响.

四、技术路线
将检测器的推断过程看作是一组视觉概念互相交互来谋求更高输出分数。
从视觉概念间的多阶交互这一新角度，分解不同信息量对检测的影响，证明检测器不能从有限的信息中学习具有泛化性的伪影表示。

• 视觉概念：有意义的图像区域
• 多阶交互：不同视觉概念相互作用形成的交互模式（其中，oder可以反应参与交互的尺寸）

1.设计度量指标：

• 区分各类交互在检测中的作用：衡量交互对于伪造相关特征和伪造不相关特征的贡献差距。
  
• 评估低阶交互在不同泛化性能的检测器中的贡献：衡量结构相同但数据增强手段不同的模型的$D^m$值。
• 度量检测器习得的各阶交互的强度：较大的值代表较重要。
  

2.提出降低低阶交互影响的通用方法，即直接删除与低阶交互相关的输出分数，以提升检测器的泛化性能。