Detect Faces Efficiently：A Survey and Evaluations学习笔记

论文地址：2021-IEEE-Shiqi Yu-Detect Faces Efficiently：A Survey and Evaluations
代码地址1：https://github.com/ShiqiYu/libfacedetection
代码地址2：https://github.com/shiqiyu/libfacedetection.train
注：以下内容仅为个人注意较为重要的部分，因此仅重点关注阅读了以下内容~

Abstract

• 什么是Face Detection？ Face Detection是在图像中搜索所有可能存在人脸的区域，并在有人脸的情况下对其进行定位；
• Face Detection算法方面： 介绍了基于深度学习的代表性人脸检测算法 ，并从准确性和效率两方面对这些算法进行了深入分析；
• 数据集方面： 比较讨论了目前较流行和具有挑战的数据及其评估指标；
• 如何衡量Face Detector性能好坏？ 使用两种度量指标：FLOPs和latency；
• 本文的意义： 通过比较不同的算法及对应性能，方便大家选取适合自己的人脸检测器/算法。

1 Introduction

本文主要贡献：
(1) 与之前人脸检测算法综述（侧重于传统人脸检测算法）不同的是本文主要专注于基于深度学习的人脸检测算法进行综述。并对近年来基于深度学习的人脸检测的发展路径提供了一个清晰的视角；
(2) 本文主要研究分析了算法的精度和效率，并进行了大量实验根据不同的评价指标去分享各个算法的性能，同时给出了算法提点的tricks总结，方便读者对适合自己的模型的选择；
(3) 以人脸检测器的效率为重点，进行了综合实验，以评估不同人脸检测器的准确性和效率。除了延迟之外，本文还为CNN模型的计算成本提出了一个精确的度量。它是一定规则下的浮点运算 (FLOPs)。FLOPs比延迟更中性，后者严重依赖于硬件和深层网络结构。
本文主要内容安排：
(1) 总结了人脸检测的一些关键挑战；
(2) 提供了一个路线图来描述基于深度学习的人脸检测的发展，并进行了详细的回顾；
(3) 回顾了人脸检测任务中几个基本的子问题，包括主干、上下文建模、面部尺度变化的处理和预建议框的生成；
(4) 介绍、总结了人脸检测常用数据集和对应的最优性能；
(5) 通过在一些开放的单阶段人脸检测算法中进行大量实验揭示了计算成本与AP之间的关系；
(6) 回顾从Github收集的聚焦速度的人脸检测器；
(7) 讨论了人脸检测的未来挑战。

2 Main Challenges

（1）与精确度相关的挑战来自面部外观和成像条件。例：困难条件下的人脸样本如图1所示：

（2）由于COVID-19，使得口罩/遮挡的人脸检测 (masked face detection) 变得越来越重要。
（3）对边缘设备的巨大需求带来了与效率相关的挑战。

3 Face Detection Frameworks

按照划分目标检测框架的方式，本文将基于深度学习的人脸检测器划分为三个主要类别：
（1）多阶段人脸检测框架。该类算法的灵感来自于人脸检测中的级联分类器，是将深度学习技术应用于人脸检测的早期探索；
（2）两阶段人脸检测框架。第一阶段产生一些建议区，在第二阶段对预建议区进行确认。效率应优于多段式。【目标检测中如R-CNN系列~】
（3）单阶段人脸检测框架。特征提取和建议区生成在一个统一的网络中进行。这些框架可以进一步分为基于锚的方法 (RetinaFace、YOLOv5face、YOLOFaceV2、SCRFD等) 和无锚的方法（CenterFace）。

3.1 Muti-Stage and Two-Stage Face Detectors

3.2 One-Stage Face Detectors

单阶段人脸检测算法：通过唯一的卷积神经网络同时进行特征提取、预建议区生成和人脸检测，其运行效率与人脸数量无关。
近几年One-Stage比较火主要有以下三方面原因：
（1）通过设计，单阶段人脸检测器的运行时间与图像中的人脸数量无关。因此，它增强了运行时效率的鲁棒性；
（2）单阶段检测器通过上下文建模和多尺度特征采样达到近似尺度不变，计算效率高且简单；
（3）人脸检测是一项比一般目标检测相对简单的任务。这意味着目标检测中的创新和先进的网络设计可以通过考虑人脸的特殊模式快速调整到人脸检测中。

5 Datasets and Evaluation

5.1 Datasets

8 Conclusions and Discussions

• 本文中介绍了大量最新的人脸检测算法与相关的基准算法，并对其性能进行了权衡对比（主要从精度与延迟两方面）。
• 未来人脸检测的研究可以集中关注以下几方面：（1）超快速人脸检测——>可以在低计算的边缘设备上处理1080P的图像，且FLOPs应小于100M；（2）检测长尾分布中的人脸。
• 人脸检测的最终目标是精度、效率非常高地检测出人脸。因此，该算法可以部署到多种边缘设备和集中式服务器上，提高计算机的感知能力;目前，这方面还有相当大的差距。人脸探测器可以达到良好的精度，但仍然需要大量的计算。下一步应该是提高效率。