h

# 多人脸识别系统

[^]: by CathyZhang

## 背景

> 多人脸识别，又称为M：N人脸识别，主要用于会议、门禁等人流密集的场景中,避免了1：N的问题，即在一帧图片中，只能识别一张人脸的问题.

> 通过对视频流取帧的方式获取人脸,并与数据库中预先存入的员工人脸照片做对比,实现M：N人脸识别功能.

## 主要流程

### 人脸识别深度学习部分

> 1. 检测图中多个人脸的位置，以下操作基于每一张人脸逐一进行;

> 2. 根据关键点对齐人脸;

> 3. 提取特征,对比相似度;

### 人脸识别工程部分

> 1. 从视频流中按照固定时间间隔取帧,保存图片;

> 2. 判断图片中是否包含人脸;

> 3. 如果不包含人脸,继续处理下一张图片;如果包含人脸,调用深度学习模型,与库中图片逐一对比,返回相似度;

> 4. 根据设定的相似度阈值,将相应的userId和时间返回给服务端.

## 项目启动步骤

1. 给宿主机加权限：xhost +local:username

2. 进入Docker容器：

  ```

  docker run -i -t --runtime=nvidia  -v /tmp/.X11-unix:/tmp/.X11-unix -e DISPLAY=unix$DISPLAY  --device /dev/video0 --rm multi_face_recog:v1

  ```

3. 开启专用python环境：

  ```

  source ~/tf_mtcnn_py27/bin/activate

  ```

4. find_faces_from_webcam.py:启动入口

  - 执行程序的语句：

    ```

    python find_faces_from_webcam.py  --db_folder /root/pics/pic_db  --tolerance 0.4  --mode True

    ```

    其中参数介绍：

    --db_folder：人脸库所在文件夹

    --tolerance：容错阈值，即相似度低于多少数值（0~1）时，认为两张脸为一个人，建议为0.4一下

      --mode：布尔值，True是从摄像头获取视频流，False是从图片获取

## 竞品介绍

> 1. MTCNN检测算法：该网络是目前使用比较广泛的网络，支持多人脸检测，它包含了人脸检测和人脸对齐。其中人脸检测可以用来进行后续的人脸识别。人脸对齐帮我们找出了人脸的眼睛，嘴，鼻子的位置可以用来进行对应的3D处理。

>

> 2. FDNet1.0检测算法：华为云FDNet1.0算法在WIDER FACE人脸检测平台中，采用官方的测试数据集和评价标准，在多项指标上取得了业界第一。华为云的一篇人脸检测文章FDNet，目前在wider face上性能仅次于PyramidBox(来自百度，旷视的FAN也蛮屌)，基于faster rcnn的改进。

>

> 3. PyramidBox检测算法:百度凭借全新的人脸检测深度学习算法 PyramidBox，在世界最权威的人脸检测公开评测集 WIDER FACE 的「Easy」、「Medium」和「Hard」三项评测子集中均荣膺榜首，刷新业内最好成绩。算法设计了新的环境 anchor 来监督用半监督方法学习到的高层级的环境特征，称为 PyramidAnchors；提出低层级特征金字塔网络来充分结合高层级环境语义特征和低层级面部特征，也让 PyramidBox 能够用单步预测所有尺度的面部；阐述了一个环境敏感的结构来提升预测网络的能力和最终输出的准确度。

> 4. S3FD检测算法：该算法是基于SSD来做的改进；基于不同layer层的不同scale的anchor策略；一个尺度修正策略来提高对小人脸的召回率；max-out类型的分类训练策略，用来减少小人脸的falsepositive率；

> 5. R-FCN检测算法：

> 6. Face R-CNN识别算法：用Faster R-CNN框架做人脸检测；改进点如下：对于最后的二分类，在softmax的基础上增加了center loss。为了使得center loss均衡，一个mini batch中正负样本比例限制为1：1；每次从正负样本中各选出loss最大的N个样本加入下次训练；为了弱化尺度影响(或者更好地检测小目标)，训练阶段图片会经过不同尺度缩放。

[^]: by CathyZhang