人脸识别：FaceNet详解

概述

  FaceNet是谷歌于[CVPR2015.02](FaceNet: A Unified Embedding for Face Recognition and Clustering)发表，提出了一个对识别（这是谁？）、验证（这是用一个人吗？）、聚类（在这些面孔中找到同一个人）等问题的统一解决框架，即它们都可以放到特征空间里统一处理，只需要专注于解决的仅仅是如何将人脸更好的映射到特征空间。其本质是通过卷积神经网络学习人脸图像到128维欧几里得空间的映射，该映射将人脸图像映射为128维的特征向量，联想到二维空间的相关系数的定义，使用特征向量之间的距离的倒数来表征人脸图像之间的"相关系数"（为了方便理解，后文称之为相似度），对于相同个体的不同图片，其特征向量之间的距离较小（即相似度较大），对于不同个体的图像，其特征向量之间的距离较大（即相似度较小）。最后基于特征向量之间的相似度来解决人脸图像的识别、验证和聚类等问题，FaceNet算法的流程如下图所示：

FaceNet

总体流程

• 将图像通过深度卷积神经网络映射到128维的特征空间（欧几里得空间）中，得到对应的128维特征向量；
• 对特征向量进行L2正则化，筛选出有效特征；
• 使用正则化后的特征向量，计算Triplets Loss；

Triplets Loss

  FaceNet使用深度卷积神经网络来学习映射并进一步设计了Triplets Loss（三元组损失函数）训练该网络，之所以称之为三元组是因为该损失函数包含了两个匹配脸部缩略图和一个非匹配的脸部缩略图，其目标是通过距离边界来区分样本中的正负类，其中的脸部缩略图指裁剪后的人脸图片，除了缩放和平移之外，没有2D或3D对齐。三元组损失函数尝试将不同个体的人脸图像区分开来，是卷积网络能更好的学习、逼近。

  FaceNet的终极目标是将人脸图像嵌入到128维的欧氏空间中，在该向量空间中，单个个体特征向量（anchor）和该个体的其它特征向量（positive）距离小，与其它个体的特征向量（negative）距离大。如下图所示：

Triplets Loss

  使用数学语言描述如下：

既存在一个边界值（为positive和negative的边界）使得对于任意个体其所有特征向量之间的距离恒小于该个体任意特征向量与其它个体特征向量之间的距离。进一步即可定义出Triplets Loss：

其中。

Note:

  Triplets的意思是三元组，即损失函数是通过三个参数来计算的，区别于神经网络的双参数计算（预测标签和真实标签）。三元组具体指：anchor,positive,nagetive三部分，三者都是经过L2正则化后的特征向量。具体来说，anchor和positive指的两个匹配的脸部缩略图，其中anchor是模型训练时的基准图片，positive指的是与anchor相同个体的图片，negative指的是与anchor不同个体的图片。

• 基于negative example与anchor和positive距离，可分为三类三元组：

• • 半困难三元组(semi-hard triplets)：其中负例不比正例更接近锚点，但仍有大于0的损失，。本文就用这种
  • 容易三元组(easy triplets)：损失为0的三元组，因为
  • 困难三元组(hard triplets) ：其中负例比正例更靠近锚点，即
• image

Triplets筛选

  由于损失函数的特性，在训练时Triplets的选择对模型的收敛非常重要，如公式（1）所示，对于，需要选择同一个体的不同特征向量，使得：

同时还需要选择不同个体的特征向量，使得：

  显然，在实际训练时，在全部样本集上计算argmax和argmin是不太现实的，还会由于错误标签的图像导致训练收敛困难。在实际训练时有两种思路：

1.每隔步，计算子集的argmax和argmin；

2.在线生成triplets，即在每隔min-batch中筛选positive/negative样本；

• 在每个mini-batch中，每个类型都有40个样本，再添加一些反例样本;

    In our experiments we sample the training data such that around 40 faces are selected per identity per mini-batch. Additionally, randomly sampled negative faces are added to each mini-batch

• 选择mini-batch中的所有 anchor-positve 对而不是选择hard positive（即与anchor距离最大的同类图片），并选择 hard negative（即与anchor距离最小的不同类图片）。相比anchor-hard positive，这样收敛速度比较快。

• 选择hard negative会导致收敛到局部最小点，建议使用 semi-hard negative（半困难三元组样本选择方式），即忽略损失函数中的。

  在论文中，作者采用了在线生成triplets的方法。其选择了大样本的mini-batch（1800样本/batch）来增加每隔batch的数量。每个mini-batch中，对单个个体选择40张人脸图片作为正样本，随机筛选其它人脸图片作为负样本。为了避免负样本选择不当导致训练过早进入局部最小，如上文所说，作者忽略损失函数中的来帮助筛选负样本：

Inception

  FaceNet的作者探索了两种深度卷积神经网络，第一类为Zeiler&Fergus研究中使用的神经网络，在网络后面加了多个卷积层；第二类为Inception网络。使用adagrad作为优化器，经过多次测试，作者最终将边界值定为0.2。两类模型的结构如下：

CNN_Model_01

GoogLeNet

相关结论

在测试中，随着神经网络深度增加，计算量增加，准确率也增加，如下所示：

深度神经网络结构与准确率

计算量（FLOPS）与准确率关系

经过测试后作者发现模型对图像质量（像素值）不敏感，即使80*80像素的图片生成的结果也可以接受，如下表：

图像质量对结果的影响

另外，作者还测试了不同的embedding维度，发现128维是最有的维度，结果如下：

image

并且，随着训练数据量的增加，准确率也随之增加：

image

FaceNet在LFW数据集上取得了99.63%[图片上传失败...(image-75c426-1605773007075)] 0.09的准确率；在Youtube Faces DB数据集上获得了95.12%[图片上传失败...(image-10487a-1605773007075)] 0.39的结果。FaceNet是一种直接将人脸图像embedding进入欧几里得空间的方法，该模型的优点是只需要对图片进行很少量的处理（只需要裁剪脸部区域，而不需要额外预处理，比如3d对齐等），即可作为模型输入。同时，该模型在数据集上准确率非常高。理论上通过分析错误的样本，可以进一步提高模型的识别精度，特别是增加模型在现实场景中的识别精度。

人脸识别合集 | 6 FaceNet解析

大话CNN经典模型：GoogLeNet（从Inception v1到v4