论文阅读-单中心损失指导的频率感知鉴别特征学习在人脸伪造检测中的应用

一、论文信息

• 题目：Frequency-aware Discriminative Feature Learning Supervised by Single-Center Loss for Face Forgery Detection（单中心损失指导的频率感知鉴别特征学习在人脸伪造检测中的应用）
• 作者团队：

会议：CVPR 2021

二、背景与创新

1. 背景

     目前流行的检测方法都是利用神经网络强大的数据拟合能力来提取鉴别特征进行人脸伪造检测，并且基于深度学习的检测方法通常将人脸伪造检测作二元分类问题，并使用softmax loss监督CNN网络在自然和篡改人脸的混合数据集上训练。softmax loss监督下学习到的特征本质上差异性不足，因为softmax loss没有明确的约束类内的紧凑性和类间的离散性。一些研究者尝试使用triplet loss提取差异性特征。但是，常规的度量学习方法通常无差别的约束特征类内的紧凑性，忽略不同类别类内分布的差异性；

1. 创新

• 提出了一种新的单中心损失SCL（single-center loss）；
• 是一种双流网络，但是他们不是完全用孪生网络，而是在中间部分融合特征，然后再继续提取特征，节约了参数。

 本文作者提出了一个新的频率感知区别特征学习框架（FDFL）解决以下两个问题：

1）如何采用度量学习来学习更多用于人脸伪造检测的鉴别特征

2）如何自适应提取频率相关的特征。

针对这两个问题，开发了两个子模块：单中心损失（SCL）和自适应频率特征生成模块（AFFGM）。

三、网络结构

在一个基础网络中增加自适应频域特征生成模块AFFGM和特征融合模块。

1. 输入图像首先经过AFFGM和RGB分支分别提取频域和RGB域特征；
2. 在融合模块中将两种特征进行融合；
3. 融合后的特征经过进一步特征提取之后，得到一维的特征矢量；
4. 框架的最后是一个分类器，输出输入样本的预测结果。整个网络在softmax loss和本文提出的SCL的联合监督下进行端到端训练，网络学习一个嵌入空间，其中自然人脸聚集在中心点周围，而被操纵的人脸远离中心点。

 3.1 自适应频率特征生成模块（AFFGM）

频域中的不一致性可以作为重要的伪造线索。

      作者提出了一个自适应频率特征生成模块（AFFGM）来有效地从频域中挖掘细微的伪影，该系统由两部分组成：数据预处理和自适应频率信息挖掘模块。

3.1.1 数据预处理

     如下图所示，首先，输入的RGB图像被转换到YCbCr颜色空间，再将2D DCT应用于每个8X8图像块，类似jpeg压缩，DCT变换后所有图像块中同一频段的系数按照原图像块的位置组合成一个通道。最后把所有的通道组合在一起，正则化后作为AFIMB的输入。预处理后的频域图像，保留了所有频段的信息，同时也保留了原图像的结构信息，这意味可以使用现有的神经网络直接从频域图像中提取特征。预处理前后输入图像形状会改变，假设原始输入图像为H x W x 3;经过数据预处理之后，输出的张量为：H/8 x W/8 x 192。

 3.1.2 自适应频率信息挖掘块

     如下图所示，作者根据经验设计了一个简单的网络提取频率特征，预处理后的数据首先通过一层具有三组3x3卷积 ，将来自Y,Cb,Cr三个不同通道的数据被分别处理，再依次通过一个普通的3x3的卷积块和一个最大池层，在这个过程中，来自Y,Cb,Cr不同渠道的信息相互作用，之后为了增强特征，采用了一个由上述最大池层和两个线性层组成的通道注意块，最后使用普通1x1卷积进一步提取与频率相关的特征。

 3.2 单中心损失（SCL）

      常规的度量学习方法并没有考虑不同类别类内分布的差异性（softmax loss只关注找到区分不同类别的决策边界）。为了解决这个问题，该研究提出的SCL在约束自然人脸和篡改人脸类间的离散性的同时，仅聚合类内差异较小的自然人脸。单中心损失旨在减少自然人脸的类内变化，同时增加嵌入空间中的类间差异，SCL最小化了从自然人脸到中心点的距离，同时SCL鼓励从被操纵的脸到中心点的距离至少比从自然脸到中心点的距离大一个界限。SCL不限制被操纵人脸的类内紧凑性。 SCL可以定义为：

       其中nat和man分别表示自然人脸和操纵人脸的表示集，Mnat和Mman分别代表自然样本和篡改样本到中心点的欧式距离。由于欧式距离与特征的维度相关，所以为了便于设置超参，边缘被设计为m_D，距离的阈值被设置为与center loss类似，中心点C在每步迭代中不断更新。

      SCL的参数中心是基于小批量而不是整个数据集随机初始化和更新的，会导致不稳定的训练，所以引入带有全局信息的softmax loss来指导中心点的更新，此外softmax loss 专注于将样本映射到离散标签，SCL则旨在将度量学习直接应用于学习到的嵌入。总的损失为：

四、实验

    1、损失函数

     2、消融实验

     3、方法比较