人脸识别算法的实验对比与总结

目前人脸识别主要解决的问题是在光照较差，遮挡，形变（大笑），侧脸等诸多条件下，神经网络很难提取出与“标准脸”相似的特征，异常脸在特征空间里落到错误的位置，导致识别和验证失败。这是现代人脸识别系统的局限。

从算法角度，解决这些问题的思路主要分为两种：

1.Metric Learning: Contrastive Loss, Triplet loss 及相关 sampling method

2.Margin Based Classification: 包含 Softmax with Center loss, Sphereface, NormFace, AM-softmax (CosFace) 和 ArcFace

Metric Learning

1.Triplet Loss

Triplet Loss 的思想也很简单，输入不再是 Image Pair，而是三张图片（Triplet），分别为 Anchor Face，Negative Face 和 Positive Face。Anchor 与 Positive Face 为同一人，与 Negative Face 为不同人。那么 Triplet Loss 的损失即可表示为

可以理解为：直观解释为：在特征空间里 Anchor 与 Positive 的距离要小于 Anchor 与 Negative 的距离超过一个 Margin Alpha。

关于基于Triplet Loss的FaceNet实现，可以参考之前的实验总结：基于facenet人脸识别算法的实验总结

基于Metric Learning 实现的算法，大多需要大量训练数据，而且需要很长时间才能拟合。（months mentioned in FaceNet paper）。这是因为Contrastive Loss 和 Triplet Loss 的训练样本都基于 pair 或者 triplet 的，可能的样本数是 O (N2) 或者 O (N3) 的。当训练集很大时，基本不可能遍历到所有可能的样本（或能提供足够梯度额的样本），所以一般来说需要很长时间拟合。

而且，模型好坏很依赖训练数据的 Sample 方式，理想的 Sample 方式不仅能提升算法最后的性能，更能略微加快训练速度。而这些都是不容易量化控制的，在算法模型的好坏在一定程度上严重依赖训练的trick。

2.其它 Metric Learning 的相关研究

• Deep Face Recognition

softmax loss擅长于学习类间的信息，因为它采用了类间竞争机制，它只关心对于正确标签预测概率的准确性，忽略了其他非正确标签的差异，导致学习到的特征比较散。因此，softmax 优化类间的距离非常棒，但是优化类内距离时比较弱。

为了加速 Triplet Loss 的训练，这篇文章先用传统的 softmax 训练人脸识别模型，因为 Classficiation 信号的强监督特性，模型会很快拟合（通常小于 2 天，快的话几个小时）。之后移除顶层的 Classificiation Layer，用 Triplet Loss 对模型进行特征层 finetune，取得了不错的效果。此外这篇论文还发布了人脸数据集 VGG-Face。

• In Defense of the Triplet Loss for Person Re-Identification

​​​​​​​提出了 Soft-Margin 损失公式替代原始的 Triplet Loss 表达式,

 

Margin Based Classification

1.Origin of Margin

Margin Based Classficiation 不像在 feature 层直接计算损失的 Metric Learning 那样，对 feature 加直观的强限制，而是依然把人脸识别当 classification 任务进行训练，通过对 softmax 公式的改造，间接实现了对 feature 层施加 margin 的限制，使网络最后得到的 feature 更 discriminative。

为了达到上述目的，我们设计一种能优化角度的方法，比如，使用一种改进后的算损失函数：

不难看出，对于特征 x_i，该损失函数优化的方向是使得其向该类别 y_i 中心靠近，并且远离其他的类别中心。这个目标跟人脸识别目标是一致的，最小化类内距离并且最大化类间距离。

然而为了保证人脸比对的正确性，还要保证最大类内距离还要小于最小类间距离。上面的损失函数并不能保证这一点。所以SphereFace算法引入了 margin 的思想，这跟 Triples Loss 里面引入 Margin Alpha 的思想是一致的。

上式红框中是样本特征与类中心的余弦值，我们的目标是缩小样本特征与类中心的角度，即增大这个值。换句话说，如果这个值越小，损失函数值越大，即我们对偏离优化目标的惩罚越大。

也就是说，这样就能进一步的缩小类内距离和增大类间距离，达到我们的目标。基于这样的思想最终的损失函数为如下:

原始的 cos(θ) 被换成了 phi(θ)，phi(θ) 的最简单形式其实是 cos(mθ)，之所以在原文中变得复杂，只是为了将定义域扩展到 [0,2π] 上，并保证在定义域内单调递减。

而这个 m 便是增加的 margin 系数。当 m=1 时，phi(θ) 等于 cos(θ)，当 m>1 时，phi 变小，损失变大。超参 m 控制着惩罚力度，m 越大，惩罚力度越大。

为计算方便，m 一般设为整数。作者从数学上证明了，m>=3 就能保证最大类内距离小于最小类间距离。实现的时候使用倍角公式。

2.Feature Normalization 

SphereFace基本实现了针对人脸识别任务的softmax loss的改进，但是我们发现，上面的式子并不是优化特征间的余弦值，而是优化的余弦值乘以特征的长度，然而特征的长度在我们使用模型的时候是没有帮助的。这就造成了 training 跟 test 之间目标不一致。

为了解决上面的问题，NormFace提出另特征归一化处理的思想

其中 W 是归一化的权重，f_i 是归一化的特征，两个点积就是角度余弦值。参数 s 的引入是因为数学上的性质，保证了梯度大小的合理性，原文中有比较直观的解释，这里不是重点。如果没有 s 训练将无法收敛。关于 s 的设置，可以把它设为可学习的参数。但是作者更推荐把它当做超参数，其值根据分类类别多少有相应的推荐值。如果想了解推导的详细过程，请见

然而，NormFace又扔掉了Margin，失去了margin based 的意味，所以在以后出现的 AM-softamx/CosFace， ArcFace等算法中Margin作为一种超参数被加到损失函数中。去区别仅在于Margin施加的位置不同。比如在ArcFace算法中，将Margin加到另角度上。

最后，我们看一下，各种Margin施加位置的不同对算法表现的影响：

这幅图出自于 Arcface，横坐标为 θ 为特征与类中心的角度，纵坐标为损失函数分子指数部分的值（不考虑 s），其值越小损失函数越大。

References:

1] F. Schroff, D. Kalenichenko, and J. Philbin. Facenet: A unified embedding for face recognition and clustering. In Proc. CVPR, 2015.

[2] Y. Sun, X. Wang, and X. Tang. Deep learning face representation by joint identification-verification. CoRR, abs/1406.4773, 2014.

[3] O. M. Parkhi, A. Vedaldi, and A. Zisserman. Deep face recognition. In BMVC, 2015

[4] A. Hermans, L. Beyer, and B. Leibe. In defense of the triplet loss for person re-identification. arXiv preprint arXiv:1703.07737, 2017

[5] Wu, C. Manmatha, R. Smola, A. J. and Krahenb uhl, P. 2017. Sampling matters in deep embedding learning. arXiv preprint arXiv:1706.07567

[6] W. Liu, Y. Wen, Z. Yu, M. Li, B. Raj, and L. Song. Sphereface: Deep hypersphere embedding for face recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition, 2017

[7] Zhang, K., Zhang, Z., Li, Z., Qiao, Y.: Joint face detection and alignment using multi-task cascaded convolutional networks. arXiv preprint, 2016

[8] Yu Liu, Hongyang Li, and Xiaogang Wang. 2017. Learning Deep Features via Congenerous Cosine Loss for Person Recognition. arXiv preprint arXiv:1702.06890, 2017

[9] M. Jaderberg, K. Simonyan, A. Zisserman, and K. Kavukcuoglu. Spatial transformer networks. In NIPS, 2015.

[10] W. Liu, Y. Wen, Z. Yu, and M. Yang. Large-margin softmax loss for convolutional neural networks. In ICML, 2016.

[11] F. Wang, W. Liu, H. Liu, and J. Cheng. Additive margin softmax for face verification. In arXiv:1801.05599, 2018.

[12] CosFace: Large Margin Cosine Loss for Deep Face Recognition

[13] Deng, J., Guo, J., Zafeiriou, S.: Arcface: Additive angular margin loss for deep face recognition. In: Arxiv preprint. 2018

[14] Y. Wen, K. Zhang, Z. Li, and Y. Qiao. A discriminative feature learning approach for deep face recognition. In ECCV, 2016.

[15] Y. Liu, H. Li, and X. Wang. Rethinking feature discrimination and polymerization for large-scale recognition. arXiv:1710.00870, 2017.

[16] https://zhuanlan.zhihu.com/p/34044634