Facenet人脸分类实践笔记

人脸识别作为比较典型的算法优劣的衡量手段，所以有必要了解人脸识别的案例。取其典型，对facenet进行探究。Facenet有不少有趣的创新。

1. 论文复现
Database：LFW db（论文采用，rgb图算是较大的典型数据集）。

2. 三分triplet类聚类方法
不使用二分聚类判别，而使用三分聚类判别。
（一）.直接学习图像到欧式空间的映射，其中两张图像所对应的特征的欧式空间的点，最后一层都进行特征归一化。
||f（x）|| = 1
归一化后的欧式距离对应这连个图像的相似度

（二）. 用三元组进行knn聚类,称为triplet
a. 原理：三张图对应于两个身份： （a，b，c）=（A，A，B）
b. 保证 |ab| < (|ac|+|bc|)/2
c. triplet loss：三张图片输入的loss（之前都是double / single loss）
d. loss的计算过程

3. 样本的选择方法
假设有10000张样本，如果是遍历所有的pair，共10000×10000种情况，数量过于庞大，处理这种情况，考虑两种采用minibatch的方法：
|=======方案一

• 随机设置6000组embeddings（这个是自己做facenet时用的方法，事先生成随机pairs）

|=======方案二

1. 假设每个人有20张图片，首先挑出一张图片作为a;
2. 剩下的19张里选择一张hard positive，就是跟他最不相似的图片b;
3. 同时在包括其他类的所有照片里，选择一张hard——negative，就是和这张图片最像的照片c。进行训练。

.
4. triplet方式的缺陷
新问题：为什么容易进入局部最优？

• 猜测:由于hard-positive和hard-negative都是选自和a同一类的照片，结果就变成了类间分类，Positive Pair的样本对训练没有积极作用。

解决方案：

• semi-hard网络结构，在选择hard-negative的时候，要求满足：
  |positive——pair的平方和| < |negative——pair的平方和-threshold|
  保证了hard-negative不跟自己太像，不至于每次都选到自己同类的照片）

怀疑：

• semi-hard是数学上的方法，但是边界阈值的设置需要靠经验吗？
• 另外限定hard-negtive样本的选择范围于与a不同类的样本范围内，可以改善局部最优吗？

辩驳：

1. 训练后期，学习率调低，如果训练进入局部最优，在与a不同类的样本里找hard-negative（也就是c），如果c和a的相似度高（欧式距离较小），同时b和a欧式距离也很小（虽然b是同一类里和a最不像的样本，但在bp传播优化过程中，b和a的距离也保持在很小的水平），那么bp的反向传播对网络的改善就大打折扣，难以逃出局部最优。
2. 优化：在与a不同类的样本里，结合semi-hard方法，更合适于逃离局部最优。（未实践）

5. 评价函数

1. 评价一：
   所有6000对pairs的二分结果正确率
2. 评价二：
   ROC，Facenet输出了【TP】和【TN】指标。
   把一对含有同一个人的两张照片pair称为Positive Pair。
   把一对来自两个人的两张照片pair称为Negative Pair。
   TP: 把Positive Pair正确判定为Positive Pair；
   TN: 把Negative Pair正确判定为Negative Pair；
   FP: 把Negative Pair正确判定为PositivePair；
   FN: 把Positive Pair正确判定为Negative Pair；

---

6. 复现主要思路记录：
前期进行常见的crop（（w，h）=（160，160））预处理，没有进行flip、randomskip或rotate，主要是考虑先跑通了再考虑是否有必要通过映射变换增加样本数量。

LFW复现结果：
以LFW为训练集、以LFW为测试集。loss收敛相当快，训练速度和作者说的差不多。作者硬件1070ti，我的是1080ti，迭代15000次，准确率到0.98，一个多小时（一个epoch取1000次batch。每个batch耗时0.2到0.3秒左右，耗时最长的环节，就是在评价编码器环节：每个epoch后，对LFW随机生成的6000对pair进行一一检验，以triplet方式衡量编码器的好坏，这部分平均耗时10秒以上）

对网络的小改进：
pair.txt虽然是事先随机的抽取，不过所有pair被固化了，可能无法代表部分判别项。于是，我把pair.txt文件删了，写了新脚本，保证每次pair都是随机生成的10000对，same和notsame维持在1比2的比例附近。随机的pair的生成，虽然增加了图像IO队列的流动成本，但是事实证实了网络收敛地更快。仅迭代1200次，evaluate的结果就达到了0.98。

插曲：
调试时疑惑不解scipy读取的图像数据，plt.show和cv2.imshow，结果不同。scipy.misc.imread按照RGB格式，opencv按照BGR格式读取。可以说是很逗了。

---

7.拓展：对其他数据集的复现
Yale_B（单通道，pgm格式，考虑了多种光照效果，参杂bad样本，其他说明略）数据库，相对于LFW，它的单类样本数更多，分类数较少。以Yale_B为例，观察facenet对中小型人脸数据库的检测精度。同时，通过学姐的帮助，对各数据集进行有效的降维，加快训练效率。

插曲：
facenet为了节省样本读取的时间，采用pipline方式从图片路径IO输入输出的方式。tf这种方式对png/jpg是支持的，对pgm不支持，考虑到重写输入输出结构需要改动大量代码，所以采用了更简单的办法：写个脚本pgm转jpg搞定。其他修改的细枝末节不赘述。

---

输出最终结果：
多次测试，同样迭代千次级别，二分准确率达到0.98。在中小型数据上，facenet也表现出强劲的二分检测能力。涉及师姐的成果，所以图片抹掉了部分重要信息。

WonderSeen
Xiamen University
2018.01.22