DFIL: Deepfake Incremental Learning by Exploiting Domain-invariant Forgery Clues

一、研究背景
1.在大规模数据集上训练后，Deepfake Detection模型通常可以准确识别已知方法生成的伪造图像。
2.由于数据分布的差异，模型检测新技术生成的图片时准确率显著降低。
3.亟需一种能够应对多种潜在伪造方法的检测模型。

二、研究动机
1.难以获取足够新增伪造方法样本，依赖少量样本更新特征分布会造成过拟合。
2.伪造检测任务存在数据不平衡问题，新增伪造方法样本远少于已知伪造方法。
3.对齐新旧任务特征既有利于新任务学习又有利于先前知识保留。

三、研究目标
对新数据和旧数据之间的关系进行建模，基于少量新样本，快速将检测模型泛化到新的域。

四、技术路线
提出了增量学习框架，通过从少量的新样本中不断学习，提升Deepfake Detection模型的泛化性。

1.Learning Domain-invariant Representations
通过探究不同域样本对之间的语义关系，学习基于监督对比学习的域不变表示，减轻特征间的域差异，防止过拟合于不充足的新数据。

• 交叉熵损失$L_{CE}$
  
• 有监督对比损失$L_{SCL}$
  

2.Preserving by Multi-Perspective Knowledge Distillation
为了减少灾难性遗忘，基于多视角知识蒸馏方法在特征级和标签级上正则化模型。

• 软标签知识蒸馏$L_{KD}$
  考虑所有类别的可能性，以T的预测结果作为标签，使学生网络向教师网络靠拢。
  (4)与(2)区别在于系数T的设置，(2)中设置T=1令$p_{x_i}$作为最终预测结果，(4)中设置可变的T令$p_{x_i}^s$实现模型正则化。
  
• 特征知识蒸馏$L_{FD}$
  

3.Replay Strategy

• 不同于以往方法，本文重放先前样本不仅为了防止知识遗忘，还为了通过对齐$D_i$和$R$学习泛化性特征。
• 为了学习域不变特征并保存以往知识，同时选择代表性样本（靠近类原型）和具有高信息熵的样本（难样本）来更新replay set。
  

五、实验结果