人脸识别：1.DeepFace

DeepFace: Closing the Gap to Human-Level Performance in Face Verification

Cite
基于卷积的人脸识别pipeline共有四个阶段：检测$\to$对齐$\to$表征$\to$分类。本文关注于对齐和表征操作：使用显式的3D人脸模型来应用分段线性仿射变换，并使用一个9层的深度神经网络模型来获得人脸表征。与标准卷积层不同，该网络包含120 million参数，并使用一些没有权值共享的局部连接层。训练后的模型再LFW上准确率达到$97.35\%$，比当前SOTA错误率降低了$27\%$，接近人类水平。

---

DeepFace模型在无约束人脸识别领域缩小大多数流行基准的差距，达到人类水平。与其他系统相比，该模型能够产生极为紧凑的人脸表征。它使用深度学习框架来替代精心设计的特征。学习后的网络以一种鲁棒式方式攫取面部外观高度依赖于快速的三维人脸对齐操作，贡献主要有三点：

• 开发一种有效的深度神经网络(DNN)体系结构和学习方法，利用一个非常大的有标记的人脸数据集，获得了一个能很好地推广到其他数据集的人脸表征。
• 基于3D人脸模型建立了一个有效的人脸对齐系统。
• 训练模型在基准测试集中接近人类水平。

---

1.人脸对齐

无约束场景下人脸对齐仍然是一个难题，原因包含很多因素，如姿态（人脸非平面性），非刚性表情，很难从带有身份的面部形态中分离出来。最近的解决方法主要有三个：使用可分析3D人脸模型；从外部数据集中搜索相似基准点配置并进行推断；使用无监督学习方法对每个像素进行相似变换。

本文基于基准点分析三维人脸建模，并用于将检测到的面部裁剪变形到三维正面模式。使用一个相对简单的基准点检测器，将其应用于多次迭代来改善输出。在每次迭代中，基准点由一个已被训练用于从图像描述符中预测点配置的支持向量回归器提取出来，图像描述符是基于LBP直方图，其他特征描述符也可以考虑，使用诱导相似变换矩阵T来将图像转化为一张新的图像，我们可以在新的特征空间上使用基准点检测器改进定位。

2D对齐

检测6个基准点，以眼睛中线中心为中心进行对齐操作**(a)，它们被用于近似缩放、旋转图像到六个锚点位置通过$T_{2d}^i:=(s_i,R_i,t_i)$，其中$x_{anchor}^j:=s_i[R_i|t_i]\ast x_{source}^j,j=1,\cdots ,6$，然后在新的图像上进行迭代，直到基准点没有太多变化，形成最终的2D相似变换：$T_{2d}:=T_{2d}^1\ast \cdots \ast T_{2d}^k$。聚合变换生成2D对齐裁剪(b)**。相似变换无法补偿平面外旋转，这在无约束条件下尤为重要。

3D对齐

为了进行平面外旋转面对齐，我们使用一个通用的3D形状模型并注册一个3D仿射相机，用于将2D对齐裁剪扭曲到3D形状的图像平面**(g)。使用第二个SVR在2D对齐裁剪图像中定位67组基准点©，至于3D通用形状模型，简单地从USF Human-ID数据集中取3D扫描均值(d)**，后续处理表示为对齐顶点$v_i=(x_i,y_i,z_i{)}_{i=1}^n$。将67个锚点手动防止在3D形状上，这样就实现了67个基准点与它们的3D参考点的完全对应。对线性系统$x_{2d}=X_{3d}P$及已知的协方差矩阵$\sum$使用广义最小二乘拟合3D-2D仿射相机$P$，最小化损失：$loss(P)=r^T{\sum }^{-1}r$，其中$r=(x_{2d}-X_{3d}P)$是残差向量，$X_{3d}$是一个$(67\ast 2)\times 8$的矩阵，通过堆叠$(2\times 8)$的矩阵$\left[x_{3d}^T(i),1,0;0,x_{3d}^T,1\right]$得到，其中$0$是一个四维行向量，仿射相机$P$大小为$2\times 4$表示为一个8个未知量的向量$P$。使用$\sum$的Cholesky分解可以将损失最小化，从而将问题转换为普通的最小二乘问题。

2.人脸表征

使用一个大型的深度网络来学习一个通用的人脸图像表征。在一个多类别人脸识别任务中训练DNN。

网络共分为三层：

• $C_1$到$C_3$：前端自适应预处理阶段，将输入拓展为一组简单的局部特征。使用最大池化增强网络的鲁棒性，同时为了避免网络丢失准确的面部结构和纹理特征，仅在第一个卷积层后使用最大池化。

• $L_4$到$L_5$使用局部连接，特征图的不同位置学习不同的滤波器集合，由于对齐图像的不同区域具有不同的局部统计量，因此卷积的空间不变假设无法成立。基于图像对齐来设计网络结构。局部连接不会增加计算负担，但是会增加网络训练参数。

• $F_7$和$F_8$：采用全连接结构，这两层能够获取人脸图像中特征之间的关系。其中第一个全连接层**$F_7$作为原始人脸表征特征向量**。输出层采用K类softmax激活，产生每一类别的分布，假定$o_k$为第k个输出，则输入指定为第k类的概率为：
  $$p_k=\frac{\exp o_k}{{\sum }_h\exp (o_h)}$$

训练目标是最大化正确类别的概率，通过最小化交叉熵损失得到：$L=-\log p_k$，使用随机梯度下降进行梯度反向传播。由于使用ReLU激活函数，最顶层$75\%$的特征为0。对第一个全连接层使用Dropout。

给定一张输入图像$I$，人脸表征$G(I)$由前向网络计算得到，共有$L$层，表示为：
$$G(I)=g_{\varphi }^{F_7}(g_{\varphi }^{F_6}(\cdots g_{\varphi }^{C_1}(T(I,{\theta }_T))))$$
其中$\varphi (C_1,\cdots ,F_7)$为网络参数，${\theta }_T=\{x_{2d},P,r\}$为人脸对齐参数。

最后将特征归一化到0到1之间以降低光照变化的敏感性。特征向量的每个分量除以其在整个训练集中的最大值。这通过$L_2$归一化得到：$f(I):=\bar{G}(I)/\Vert \bar{G}(I){\Vert }_2$，其中$\bar{G}(I)=G(I{)}_i/\max (G_i,ϵ)$。由于使用了ReLU激活函数，系统对于图像强度的重新缩放不是不变的。在DNN中不适用偏置，完全均衡可能会实现。

在无约束人脸识别条件下，验证两个输入实例是否属于同一类别已被广泛研究，监督方法比无监督方法性能更好。通过在目标域的训练集上训练，人们能够微调特征向量(或分类器)，以便在数据集的特定分布范围内表现得更好。但是在不同的数据集上训练和测试时会严重降低性能，需要进一步微调表征（分类器）来提高泛化性和性能。然而在一个小的数据集上拟合模型会降低他在其他数据集上的泛化性。我们需要学习一个无监督度量以便很好的泛化到其他数据集上。采用两个归一化特征向量的内积作为无监督相似性。

有监督度量：

• 加权${\chi }^2$距离
  $${\chi }^2(f_1,f_2)=\sum _i{w}_i(f_1[i]-f_2[i]{)}^2/(f_1[i]-f_2[i])$$
  其中$f_1$和$f_2$是人脸表征，权值参数使用线性SVM训练得到。

• 对偶网络

  端到端度量学习：一旦网络完成学习，人脸识别网络（不包含输出层）被复制两次（每张输入图像一个），特征被直接用于预测两张输入图像是否属于同一人。将特征间的绝对值误差作为一个全连接层的输入，然后映射到一个单一的逻辑单元（是与否）。为了避免人脸验证任务过拟合，仅训练两个顶层，对偶网络诱导距离：
  $$d(f_1,f_2)=\sum _i{\alpha }_i|f_1[i]-f_2[i]|$$
  其中${\alpha }_i$为可训练参数，对偶网络使用标准交叉熵作为目标损失。