人脸检测算法理解之mtcnn

最近在一次交流活动中，再次听别人讲人脸检测算法mtcnn，虽然以前也断断续续听过两次，对于一些技术细节仍不清楚，为了解决自己的困惑，笔者又重拾起这一算法，在认真研读论文和思考后有了新的理解，于是记录下来。下文主要解释mtcnn中min_face_size这个参数是怎么起作用的、如何使用图像金字塔等，希望能对大家有所帮助。

1 相关知识点

1.1 “network in network”

作为新加坡国立大学在2013年发表在CVPR上的一篇文章，它首次提出了“Global Average Pooling”，也即将feature map转换为score map。

1.2 OverFeat

该文章的全名为“OverFeat: Integrated Recognition, Localization and Detection using Convolutional Networks”。该方法是ILSVRC2013检测任务的冠军算法，这里重点介绍“how a multiscale and sliding window approach can be efficiently implemented within a ConvNet”。对于非全卷积网络，如果设置滑动窗口尺寸为$m\times n$，那么对于更大的输入图像，必须对每一个滑动窗口，分别使用前向推理，这样比较耗时。全卷积网络中用 “Global Average Pooling”代替 “Fully Connected Layer”，所以网络的输入图像的尺寸可以任意。

由图可见，输出feature map的每一个空间位置，对应了输入图像的一个窗（感受野），并且，前向推理是对整个的feature map做卷积，所以所有滑动窗共享了计算量。

2 mtcnn

mtcnn，全称为“Multi-task Cascaded Convolutional Networks”，作为一种人脸检测和关键点（5个点）算法，它以速度快、精度高而广为人知。尽管后面有更好的人脸检测算法，比如FaceBoxes算法，但是mtcnn的精度已经能够满足通常的人脸检测要求，所以用的最广泛。

2.1 最小人脸尺寸

在解释最小人脸尺寸之前，先贴原文中的一幅网络结构图，
显然，P-Net是全卷积网络，且最小输入尺寸为$12\times 12$。假设在推理阶段的输入图像尺寸为$100\times 100$，构造图像金字塔，使得图像最小尺寸为$20\times 20$，将不同尺寸的图像按照等比例缩放，原文中设置缩放因子为0.6，缩放后的图作为网络的输入，那么，最小尺寸的图像缩放后尺寸为$12\times 12$，输出的特征图尺寸为$1\times 1$，最大尺寸的图像缩放后尺寸为$60\times 60$，输出的特征图尺寸为$25\times 25$。根据上面1.2中的内容，输出特征图中的每一个点对应输入缩放图像的局部感受野尺寸为$12\times 12$，映射到原图上的尺寸为$20\times 20$。换句话说，P-Net等价于分别对金字塔中每一个尺度的图像，做基于滑动窗口的分类和目标检测任务，且窗口的尺寸为$20\times 20$。当$100\times 100$的输入图像中人脸区域很大时，取个极限，比如$100\times 100$，那么可以基于金子塔中最小尺寸的图像$20\times 20$做滑窗检测出人脸，当$100\times 100$的输入图像中人脸区域很小时，只能基于金子塔中最大尺寸的图像$100\times 100$做滑窗检测出人脸，此时检测出来的人脸尺寸为$20\times 20$，综上可知，mtcnn算法根据预先设定的min_face_size参数，可以控制任意输入图像中能检测出的最小人脸尺寸。

2.2 Q&A

2.2.1 P-Net的bounding box regression任务分支，为什么是计算的相对偏移？

答：（1）帅同事提出了他的观点，相对坐标可以为任意值，本身不需要满足任何约束条件，回归起来更容易，比如回归值为$(d_{x_1},d_{y_1},d_{x_2},d_{y_2})$，其中，$(x_1,y_1)、(x_2,y_2)$ 分别表示bounding box的左上角和右下角的坐标。笔者认为这种想法欠妥，因为回归值如果不满足一定的约束条件的话，也可能导致回归出不存在的bounding box。
（2）比较科学的解释，参考https://blog.csdn.net/zijin0802034/article/details/77685438。

2.2.2 P-Net的bounding box regression任务分支，得到的是相对偏移，是相对什么的偏移？

答：根据上面2.1中的解释，输出特征图中每一个像素对应输入图像的某一个滑窗，这里的偏移量即是相对于该滑窗的偏移。

2.2.3 mtcnn算法的训练和推理阶段，都要使用图像金字塔吗？

答：训练阶段不需要，推理阶段需要使用图像金字塔。训练的时候，需要对训练集中的每个样本缩放到$12\times 12$的大小，用来训练全卷积网络。在推理的时候，因为测试图像中人脸区域的尺度未知，所以需要使用图像金字塔技术，增加人脸区域的召回率。

2.2.4 具体解释一下，为什么训练阶段不使用图像金字塔？

答：对多个尺度的输入图像做训练，训练是非常耗时的。因此通常只在推理阶段使用图像金字塔，提高算法的精度。

2.2.5 图像金字塔是用来解决什么问题的？

答：图像中目标的尺寸可能差异很大，以人脸图像为例，如果是人脸特写的图像，那么图像中的人脸尺寸就会较大，如果非特写，那么图像中的人脸尺寸就会较小。针对目标的多尺度问题，有多种解决方案，图像金字塔技术则为其中之一，其余的还有滑动窗口、特征金字塔、FPN结构等，参见下图。


参考资料：
https://arxiv.org/abs/1604.02878
https://medium.com/@jonathan_hui/understanding-feature-pyramid-networks-for-object-detection-fpn-45b227b9106c