论文笔记 Finding Tiny Faces in the Wild with Generative Adversarial Network

文章来源：CVPR  2018

下载链接：Paper Download

---

解决的问题：

无约束条件下的低分辨率的人脸检测（即小人脸检测）

---

文章内容

目前人脸检测主要面临的挑战是：

 (1) 低分辨率的人脸缺乏详细的细节信息，以及图像模糊等问题。

 (2) 目前CNN模型卷积核步长太长，对于低分辨率人脸识别容易丢失大部分信息。

 本文算法的创新点：

(1) 提出一种新的人脸检测的统一端到端卷积神经网络结构，采用超分辨率和细化网络生成真实清晰的高分辨率图像，并引入判别网络对人脸与非人脸进行分类。

(2) 引入新的判别器loss。

 本文算法的核心思想：

本文方法主要是针对实际应用而提出的人脸检测算法，由于在无约束的环境下，人脸可能会以模糊、侧脸、低分辨率等方式呈现。针对该问题，作者通过采用生成对抗网络(GAN)直接从模糊的低分辨率人脸中生成清晰的高分辨率人脸，然后进行人脸检测。对于生成的超分辨率图像，可能是非人脸，因此作者在鉴别器网络中加入分类分支来判断生成图像是人脸还是非人脸，从而增强人脸检测算法的鲁棒性。下图为本文算法的网络结构图。

Figure 1. The pipeline of the proposed tiny face detector system.

对于本文的GAN网络，生成器包含两个子网络：超分辨率网络和细化网络；判别器中加入分支网络，用于区分人脸、非人脸和生成图片、真实图片。超分辨率网络(SRN)对小人脸进行小尺度上采样，在较大尺度上减小伪影，提高上采样图像质量。细化网络(network, RN)可以恢复上采样图像中缺失的一些细节，生成清晰的高分辨率图像进行分类。鉴别子网络利用一种新的损失函数，使鉴别器网络同时区分real/fake face 和 face/non-face（即区分是生成器合成的图像还是ground truth图像，以及是人脸还是非人脸）。该算法的损失函数主要包括三部分，分别为：

  （1） Pixel-wise loss：MSE loss，通过像素级的MSE损失来强制生成器的输出接近超分辨率的ground truth值，具体公式如图2所示。 

   （2） Adversarial loss：促进生成器生成更逼真的图片，具体公式如图2所示。 

    （3） Classification loss：其作用是为了使生成网络重构的图像更易于分类，同时抑制非人脸转变为人脸的过程，（如，将模糊桌子转变成人脸的过程），具体公式如图2所示 。

图2 本文算法所用的损失函数

图2中Classification loss存在一个问题，文章介绍yn=1表示人脸，而yn=0表示非人脸。那么，当yi=0时，log(yi-Dθ(IiHR))该如何取值，文中未对此进行说明（或许本人理解错误，此文仅供参考）。

最终将上图中三个损失函数相结合，得到最终的objective function，其公式如图3所示：

图3 objective function

图4中给出了本文GAN网络的结构设计表。其中Generator网络使用deep CNN, batch-normalization, ReLU，而Discriminator使用VGG19网络。

Figure 4. Architecture of the generator and discriminator network. “conv” represents a convolutional layer, “x8” denotes a residual block which has 8 convolutional layers, “de-conv” means a fractionally-stride convolutional layer, “2x” denotes up-sampling by a factor of 2, and “fc” indicates a fully connected layer.

实验结果

本文算法在WIDER FACE和FDDB两个公开的人脸检测数据集上进行训练以及测试。Trade-off weights α = 0.001 and β = 0.01。另外，图1中的MB-FCN detector是17年提出的一种人脸检测算法，知乎上有关于其的详细介绍，本文中仅使用它在数据集中随机截取人脸图片和非人脸图片，用于训练网络的输入。其中，训练使用的low-resolution images通过下采样生成，high-resolution images使用双三次插值生成。实验结果如下图所示。

Figure 5. Qualitative detection results of our proposed method. Green bounding boxes are ground truth annotations and red bounding boxes are the results from our method. Best seen on the computer, in color and zoomed in.

文中还对各个损失函数的性能进行了验证，即Ablation Studies， 其性能对比结果如下图。

Figure 6. Performance of the baseline model trained with and without GAN, refinement network, adversarial loss and classification loss on the WIDER FACE invalidation set.

本文方法与state-of-the-art方法对比的实验结果如下图。

Figure 7. On the WIDER FACE validation set, we compare our method with several state-of-the-art methods: MSCNN[31], MTTCNN[33], CMS-RCNN[37], HR[10], SSH[19], SFD[35]. The average precision (AP) is reported in the legend. Best viewed in color.

本文方法性能提升的原因

（1）本文方法主要是针对无约束、低分辨率的人脸进行检测，而这种情况下的人脸大部分是模糊不清晰的。既然这些人脸分辨率低，所以作者就通过所设计的网络（超分辨率网络SRN）将其分辨率变大，这样得到的图像可能是不清晰的，因此作者就通过细化网络将其变清晰，从而使生成的图像含有详细的细节信息，以便于人脸和非人脸的判别。基于这样的思路，网络均可将输入的低分辨率人脸合成高分辨率的人脸，同时也可以准确鉴别合成图像是否是人脸。

（2）本文方法在鉴别器网络中加入了分类分支，这可以抑制低分辨率的非人脸图像向人脸图像转化。GAN网络本来就是用来生成我们所期望输出的图像，这样鉴别器同样可以引导非人脸图像向人脸图像转化(如GAN网格可以将低分辨率模糊的桌子引导生成至清晰人脸)，所以为了阻止该过程的发生，作者引入了Classification loss，当生成初步可判断的非人脸图像时，网络就可以直接阻止生成网络将其合成至人脸图像。

---

相关参考：Finding Tiny Faces in the Wild with Generative Adversarial Network、Finding Tiny Faces in the Wild with Generative Adversarial Network 论文学习 

---

内容说明：

博客：论文笔记 | 低分辨率人脸识别：Finding Tiny Faces in the Wild with Generative Adversarial Network（AI_ISCAS）同为本人所写，两者之间所涉及的内容几乎相同。

上述内容仅个人的点滴粗见，如有不当之处，请同行批评指正。