从iPhone X人脸识别回顾苹果人脸识别历程

技术文章取自https://machinelearning.apple.com/2017/11/16/face-detection.html

Hello,Future

苹果自从iOS 10开始利用深度学习去做面部识别，随着Vision框架的发布，开发者可以利用相关框架来进行机器学习相关的开发。苹果所有的机器学习全部在本地（即设备上）完成。

简介

苹果曾在CoreImage框架利用一个名叫CIDetector的API来进行面部识别，早期的CIDetector利用了一个名叫Viola-Jones的面部识别算法【1】。随着传统的计算机视觉的研究进展，CIDetector也在不断发展。

随着机器学习的发展，苹果也在利用深度学习来取代以前的传统计算机视觉。但是机器学习也带来了一些挑战，它需要更多内存、更多的磁盘空间以及更多的计算资源。

本来苹果可以利用iCloud Photo Library来进行计算机视觉模型的计算，但由于是云端，用户的隐私性较差，所以苹果转而使用基于设备的神经网络，解决了如何充分利用 GPU 和 CPU (使用 BNNS和Metal)、图像的加载和缓存等问题。

从Viola-Jones转向深度学习

在2014年，苹果开始使用深度学习来对图像进行人脸识别,并开始尝试使用深度卷积网络（DCN），并在扫描图像时使用了一种名叫OverFeat【2】的算法。苹果借鉴了OverFeat算法，创建了一个由以下两方面功能构成的完整的卷积神经网络：

1)一个可以预测照片中是否有人脸在场的二值分类器

2）一个用来计算输入层中人脸面积范围的逻辑回归算法

这个网络可以用下图表示：

深度卷积网络

上图的通俗解释为：首先是输入层，经过OverFeat卷积，将卷积后的图像存入卷积池中，经过一系列操作后，将图像分两步进行操作，一个就是进行上边所说的人脸二值分类，来判断输入图像是否有人脸；另一个就是判断人脸的范围。

有了这样的完整的卷积网络以后，苹果就可以创建一个完整的人脸识别的处理管线，这个操作管线中包括了图像缩放倍数的“金字塔”，用来将图像缩放2倍、4倍、8倍等等，面部识别的网络（上边所说的卷积网络），经过识别后进行二值分类和逻辑回归，和一个预处理的模块（用来处理面部范围），得到最终结果。这个管线如下图所示：

人脸识别操作管线

这篇文章就先写到这里，下篇文章将会讲到苹果在本地设备优化和图像管线优化上进行的操作。

注

【1】在2001年，Viola和Jones发表了经典的《Rapid Object Detection using a Boosted Cascade of Simple Features》和《Robust Real-Time Face Detection》，在AdaBoost算法的基础上，使用Haar-like小波特征（简称类haar特征）和积分图方法进行人脸检测，他俩不是最早使用提出小波特征的，但是他们设计了针对人脸检测更有效的特征，并对AdaBoost训练出的强分类器进行级联。这可以说是人脸检测史上里程碑式的一笔了，也因此当时提出的这个算法被称为Viola-Jones检测器。原理为：Haar分类器 = 类Haar特征 + 积分图方法 + AdaBoost + 级联；

类Haar特征：

把矩形框（可以理解为特征模板）放到人脸图像区域上，将矩形框内的白色区域像素之和减去黑色区域的像素之和，得到的就是所谓的人脸特征值。类haar特征反映了图像的灰度变化，将人脸特征量化，以区分人脸和非人脸。

积分图方法

Viola-Jones采用积分图的方法来实现类Haar特征的快速计算。

ii表示积分图，i是原图，ii(x,y)就表示i(1,1)和i(x,y)两个对角点所围城的矩形面积的大小。所谓的积分也就是个求和过程。

如上图所示，在积分图中位置1的值表示原图A区域的像素和，2表示A+B的像素和，3表示A+C的像素和，4表示A+B+C+D的像素和，所以D的面积为4+1-（2+3）。（A+B+C+D+A-（A+B+A+C）= D）

AdaBoost

Viola-Jones分类器是一个有监督分类器。其学习算法是Adaboost（Ada：Adaptive自适应，Boost：Boosting），是集成学习的一种。

Viola-Jones在论文里的Adaboost算法如下图：

一开始初始化权重，正样本的权重为1/l（l为正样本数），负样本为1/m（m为负样本数），之后，在每一次迭代过程中，对每一个特征都训练一个分类器hj（j=1,2,…,K）,选取误分类率最低的一个特征的分类器ht作为第t次迭代的分类器（如上图图示所述，每次迭代是从180000中选出一个），然后更新样本的权重。最后得到的h(x)是一个由M个ht组成的强分类器。

Attentional Cascade

人脸检测中，只靠一个强分类器还不足以保证检测的正确率，需要一连串的强分类器联合在一起来提高检测正确率。这个过程类似于一个决策树，如下图。第一个分类器输出True结果就会触发同样具有较高检测率的第二个分类器对窗口图像做出评价，第二个分类输出True结果将触发第三个分类器对窗口图像做出评价。只要有一个分类器节点输出False结果，直接认为该窗口图像不包含目标物。

F表示假阳性率，D表示检测率（召回率）。

假设每一个Stage(即一个分类器)的检测率f=0.99，假阳性率d=0.3，10个级联起来的话，F=0.9910≈0.9,D=0.310≈6∗10−6。整个筛选式级联分类器就具备了高检测率，低假阳性率。

接下来说明下级联分类器的训练过程。这个过程要考虑以下两种平衡：一是弱分类器的个数和计算时间的平衡（增加特征个数能提高检测率和降低误识率，但会增加计算时间），二是强分类器检测率和误识率之间的平衡。

训练过程将选择每个stage可接受的最大假阳性率f，每个stage可接受的最小检测率d及得到最终级联分类器的假阳性率为Ftarget,正样本集P，负样本集N。初始化F0=1.0,D0=1.0。i表示stage的个数；当级联分类器的假阳性率不够低时（即Fi>Ftarget）,要增加stage个数（即i=i+1）,ni表示强分类器具有ni个弱分类器，初始赋值0；然后，在Fi>f∗Fi−1情况下（假阳性率过高，需要通过增加特征数来降低），增加强分类器中的弱分类器个数ni=ni+1，用P和N运用Adaboost训练一个有ni个特征的强分类器，用交叉验证集来评估当前级联分类器的Fi和Di，降低第i层的分类器阈值直到当前级联分类器的检测率Di>d∗Di−1；利用当前的级联分类器检测非人脸图像，将误识的图像Φ放入N。算法流程可见下图：

【2】OverFeat

  OverFeat算法平衡了一个神经网络的全连接层和具有有效卷积或者过滤器的卷积层之间的关系，比如将一个计算能力易于接受（比如32x32）的区域的二值分类网络应用于一个超大的图像上（比如320x320），来产生一个合适尺寸的输出位图（比如20*20）。