（二）检测GAN生成的伪造人脸（Learning to Detect Fake Face Images in the Wild）2019

（二）检测GAN生成的伪造人脸（Learning to Detect Fake Face Images in the Wild）2019

paper：Learning to Detect Fake Face images in the wild

code：Fake-Face-Images-Detection-Tensorflow

GAN可以用于生成真实图片，不正确的使用带来应还。GaN可以被用来为特定的人和不适当的事件生成被篡改的视频，产生对特定人有害的图像，甚至可能影响到个人的安全。本文提出一种深度伪造鉴别器(Deepfd)(deep forgery discriminator)，以高效、有效地检测计算机生成的图像。直接学习二进制位分类器是比较困难的，因为很难找到用于判断来自不同GANS的假图像的常见鉴别特征。我们采用对比损失的方法（contrastive loss）来寻找由不同的gans生成的合成图像的典型特征，然后再级联一个分类器（concatenating a classification）来检测计算机生成的图片。实验表明Deepfd成功地检测到94.7%的假图像是由几个最先进的Gans产生的.

Section 1：introduction

  GANs的渐进式生长（PGGAN）证明了真实感和高分辨率人脸图像的合成是容易的，可图像以用于在facebook上生成假的账户欺骗。需要有效的图像伪造检测技术。解决图像伪造检测传统方法有两大类：

• 外部特征：伪造检测需要将外部唯一的信号嵌入到原始的图片中（数字水印），然后通过比较提取水印和原始水印的判断接收到的图片是不是伪造的。

该策略对于接收到的图像，很难有原始的外部信号(即水印)，这种方法需要这种为外部信号。实现有困难。

• 内在特征：从原始的图像发现固有的和不变的特征。相反，第二种策略只是寻找接收到的图像的内在特征，发现其不寻常的统计特性，以检测它是否是伪造的[3]。伪造图像应该能够通过检查从接收到的图像中提取的内在特征的统计特性来检测，因为任何篡改操作都会导致本质特征发生改变。

解决策略：提取内在特征（常见方法如下）

• 伪造检测技术将传感器模式噪声（sensor pattern noise）作为固有特征
• 用双压缩线索(double compression cues)作为JPEG格式图像的内在特征

传统的伪造检测技术很难检测到GANs生成的图像，其图像内容直接由深度网络生成。本文提出基于深度伪造鉴别器(DeepFD)的深层神经网络(DeepFD)策略。有效检测由GANs或其他现金先进网络合成或生成的假图像

我们倾向于从所收集的训练图像中学习到联合鉴别的特征。

通过在网络学习框架中引入对比损失来跨越不同的GANS[12]。对比损失通过从成对信息异构训练图像中学习这样的联合特征。使deepFD应该能够有效地区分任何由gan产生假图像，DeepFD可以定位基于完全卷积结构的伪造图像的不真实的细节。

贡献：

• 提出了一种新的基于对比损失的深度神经网络鉴别器deepfd，在此基础上可以识别任意GANS生成的伪图像。据我们所知， 该方法是第一种有效寻址生成的图像检测方法。
• 所提出的DeepFD可用于定位假图像的不真实细节，我们可以跟踪这些区域，以进一步改进所提出的DeepFD的性能。

Section 2：用于伪造图像检测的DeepFD

Deepfd流程图

• Deepfd分为两个学习阶段：

• 首先，我们收集了大量由几个gans合成的称为实例生成模型的假图像和真实图像，在对比损失基础上学习联合判别特征d1。
• 然后，一个鉴别器(分类器)d2将连接到d1，以进一步识别假图像。分类器D2直接连接到联合鉴别特征学习网络d1的第4层。

• D1,D2鉴别器的网络结构如下图

• 联合判别特征学习D1

特征表示：

Input：对于一对输入图像（pair），联合鉴别特征学习的目的是最小化定义如下的相似性函数：（使用完全相同的D1网络提取输入pair对图像的特征），避免直接最小化E 导致特征表示的无效性，采用

对比损失（contrastive loss）：

EW 和m是预定义边界值。该方法可以学习不同gan生成假图像的共同特征

通过基于对比损失迭代地训练网络D1，应该能够很好地学习联合辨别特征。

• 分类器训练D2

联合判别特征表示之后对接收到的图像分类，分类方法有：SVM、随机森林分类器、Bayer分类器。提出的DeepFD将是一个端到端的架构。

分类器D2的损失函数：交叉熵损失函数

分类器可以很容易地通过反向传播[10]训练。d1中所有层中的参数也将被更新，d1学习到的联合判别特征可能会进一步改进。这样，我们就可以有效地检测到假图像。

 

生成模型往deepfake上写。

Section 3：实验结果表明

训练样本：CelebA

实验采用五个最先进的gan生成假图像池（DCGAN,WGAN,WGAN-GP,LSGAN,PGGAN）

• 与传统的图像伪造检测比较

• 没有对比损失函数
• 删除提出的分类器，替换成其他高级的分类器[RFC (随机森林分类器), SVM (支持向量机) and LC (线性分类器)]证明所提出的DeepFD的有效性。

• 性能比较

• 虚假图像中不现实细节的可视化

卷积网络中，可以将特征图可视化以定位假图像中不现实的细节。提出的分类器D2在最后一个卷积层中有两个通道，从而使该层的学习目标趋向于学习一个高激活特征表示，可以认为是不真实的细节定位。

Section 4：结论

本文提出了一种基于嵌入对比损失的深度伪造鉴别器(DeepFD)，以成功地检测出最先进的GANS生成的伪/生成图像。据我们所知，该方法是解决伪图像检测问题的第一步工作。其主要贡献在于对比损失可以很好地捕捉不同GANS生成的假图像的联合鉴别特征。