人脸相关（1）Facenet使用

model/20180408-102900
model\20180408-102900 1.png 2.png

0.运行环境

tensorflow==1.7
scipy
scikit-learn
opencv-python
h5py
matplotlib
Pillow
requests
psutil

1.代码结构

1.1 contributed

contributed/batch_represent.py 从图片目录中生成embeddings
contributed/cluster.py 人脸图像归类
contributed/clustering.py 人脸匹配
contributed/export_embeddings.py 从图片文件夹中导出embeddings和标签（numpy数组格式）
contributed/face.py 人脸检测和识别库接口
contributed/predict.py
contributed/predict.py 实时人脸识别（获取摄像头图片，并识别）

1.2 data

data/images 测试图片文件夹
data/learning_rate_*.txt 遍历次数与学习率对照表
data/pairs.txt

1.3 align

src/align/align_dataset_mtcnn.py 执行面对齐并将面部缩略图存储在输出目录中
src/align/detect_face.py 基于多任务级联卷积神经网络的人脸检测与对准
src/align/det*.npy detect_face.py 用到的数据

1.4 generative

src/generative/models/dfc_vae.py 基于“深度特征一致变分自动编码器”的变分自动编码器
src/generative/models/dfc_vae_large.py 基于“深度特征一致变分自动编码器”的变分自动编码器(大图片 128*128)
src/generative/models/dfc_vae_resnet.py 基于“深度特征一致变分自动编码器”的变分自动编码器
src/generative/models/dfc_base.py 变分自动编码器基类，包含编码器和解码器
src/generative/calculate_attribute_vectors.py 计算属性向量
src/generative/modify_attribute.py 修改属性向量
src/generative/train_vae.py 训练变分自动编码器

1.5 models

src/models/dummy.py 虚拟模型，用于测试
src/models/inception_resnet_v1.py Inception Resnet V1 网络结构
src/models/inception_resnet_v2.py Inception Resnet V2 网络结构
src/models/squeezenet.py squeezenet 网络结构

1.6 训练

src/calculate_filtering_metrics.py 计算数据集的过滤指标并存储在.hdf文件中
src/classifier.py 使用自定义数据集训练分类器
src/compare.py 进行面部对齐并计算与嵌入图片的欧氏距离
src/decode_msceleb_dataset.py 解析msceleb数据集
src/download_and_extract.py
src/facenet.py 构建人脸识别网络
src/freeze_graph.py 冻结网络，输出模型文件
src/lfw.py 评估lfw数据集
src/train_softmax.py 使用交叉熵损失函数训练
src/train_tripletloss.py 使用三元损失函数训练
src/validate_on_lfw.py 在lfw数据集上验证
test/*_test.py 测试代码
tmp
util/plot_learning_curves.m matlab中的绘制学习曲线工具

2. align_dataset_mtcnn.py

图片预处理——运行人脸对齐程序（align\align_dataset_mtcnn.py）。

下载LFW数据集用来测试这个程序，也为后边的训练函数做好数据准备。
下载链接：http://vis-www.cs.umass.edu/lfw/。下载后解压在data文件夹中。
因为程序中神经网络使用的是谷歌的“inception resnet v1”网络模型，这个模型的输入时160160的图像，而我们下载的LFW数据集是250250限像素的图像，所以需要进行图片的预处理。

在运行时需要输入的参数：

input_dir:输入图像的文件夹（E:\facenet\data\lfw）
output_dir:输出图像的文件夹（E:\facenet\data\lfw E:\facenet\data\lfw_160）
指定裁剪后图片的大小：--image_size 160 --margin 32 --random_order（如果不指定，默认的裁剪结果是182*182像素的）

比如我的是：E:\facenet\data\lfw E:\facenet\data\lfw_160 --image_size 160 --margin 32 --random_order
E:\科研\data\lfw E:\科研\data\lfw_160 --image_size 160 --margin 32 --random_order
E:\科研\data\Picture E:\科研\data\Picture_160 --image_size 160 --margin 32 --random_order
如果在pycharm中运行，按照同样的方法配置以上参数如下：

E:\科研\data\Hypertelorism-20180710 E:\科研\data\Hypertelorism-20180710_160 --image_size 160 --margin 32 --random_order --gpu_memory_fraction=0.5

E:\PycharmProjects\facedev-server\util\data\face_image\images_evaluation E:\PycharmProjects\facedev-server\util\data\face_image_160\images_evaluation --image_size 160 --margin 32 --random_order --gpu_memory_fraction=0.5

E:\PycharmProjects\facedev-server\util\data\face_image\images_background E:\PycharmProjects\facedev-server\util\data\face_image_160\images_background --image_size 160 --margin 32 --random_order --gpu_memory_fraction=0.5

--gpu_memory_fraction=0.5默认是1，设置为1时有时会不能运行，出现could not create cudnn handle: CUDNN_STATUS_INTERNAL_ERROR 错误。猜测可能是显卡不能运行了。

3.validate_on_lfw

在lfw测试的命令：

python src/validate_on_lfw.py \
~/datasets/lfw/lfw_mtcnnpy_160 \
~/models/facenet/20180402-114759 \
--distance_metric 1 \
--use_flipped_images \
--subtract_mean \
--use_fixed_image_standardization

参数含义：
a)加载模型,
b) load and parse the text file with the image pairs,
c) calculate the embeddings for all the images (as well as their horizontally flipped versions) in the test set,
d) calculate the accuracy, validation rate (@FAR=-10e-3), the Area Under Curve (AUC) and the Equal Error Rate (EER) performance measures.

3.运行结果

compare运行截图

参考资料

[1] github上的facenet代码文档结构
[2] 谷歌facenet项目代码解读（一）--align_dataset_mtcnn.py
[3] 人脸识别之facenet代码实现
[4] facenet_train_classifier.py代码注释
[5] facenet_train.py代码注释
[6] facenet使用记录
[7] FaceNet源码使用方法及其迁移学习训练自己数据集的代码修改
[8]史上最全的FaceNet源码使用方法和讲解（一）（附预训练模型下载）
[9] 史上最全的FaceNet源码使用方法和讲解（二）
[10]基于tensorflow的人脸识别技术(facenet)的测试
[11] FaceNet--Google的人脸识别
[12]FaceNet解读整理
[13] FaceNet pre-trained模型以及FaceNet源码使用方法和讲解
[14] 如何应用MTCNN和FaceNet模型实现人脸检测及识别
[15] MTCNN与facenet实现实时人脸识别
[16] 08-人脸识别-FaceNet-classify.py代码阅读（说明见注释）

官方文档

[1] Classifier training of inception resnet v1
[2] Validate on LFW

问题解决

[1] ValueError: Object arrays cannot be loaded when allow_pickle=False解决方案