【人脸对齐-Landmarks】人脸关键点检测方法及评测汇总

好东西往往都在最后面，请耐心向下滑

传统方法：

1. SDM：Supervised descent method and its applications to face alignment. CVPR2013

速度：

    CPU(i7) - 小于12ms

精度：

    评测数据集1---300w (Inter-pupil Normalisation)：  
    common: (5.60), challenge: (15.40), Full: (7.52). 

评价：

1. 开源代码完备
2. Shape跟踪
3. 梯度下降

2. ERT：One millisecond face alignment with an ensemble of regression trees. CVPR2014

速度：

    CPU(i7) - 小于6ms

精度：

    评测数据集1---300w (Inter-pupil Normalisation)：  
    common: Full: (6.40). 

评价：

1. 回归树，速度快
2. 静态图片处理效果好，可以处理光照变化较小的图片，可用于标定图片
3. 有成熟框架，dlib

3. LBF：Face alignment at 3000 fps via regressing local binary features， 2014

速度：

    CPU(i5) - PC上至少300fps，最快3000fps

精度：

    评测数据集1---300w (Inter-pupil Normalisation)：  
    common: (4.95), challenge: (11.98), Full: (6.32). 
    评测数据集2---IBUG: 11.98
    评测数据集3---LFPW: 3.35
    评测数据集4---HELEN: 5.41

评价：

1. 能够比较好的处理简单样本

4. CFSS：Face Alignment by Coarse-to-Fine Shape Searching， 2015

速度：

    CPU(i5) - 25fps

精度：

    评测数据集1---300w (Inter-pupil Normalisation)：  
    common: (4.73), challenge: (9.98), Full: (5.76). 

评价：

1. 在300w数据集上，效果优于LBF和2013年之前的很多方法。在LFPW，Helen数据集上比较结果类似。

---

深度方法：

1. cascade CNN：Deep Convolutional Network Cascade for Facial Point Detection，2013

速度：

    GTX1070 - 8ms
    CPU - 120ms

精度：

    待补充

评价：

1. BioID、LFPW数据集上与2012年之前的方法做对比，没有与最新方法比，测试效果一般。CNN级联结构。

2. Face++：Extensive facial landmark localization with coarse-to-fine convolutional network cascade，2013

速度： 未知
精度：

    评测数据集1---300w (Inter-pupil Normalisation)：  
    （Threshold=0.08）threshold=0.08时，51点error=5%，68点error=8%

评价：

    没有与其他方法对比，此方法效果稍微差点。

3. TCDCN：Learning and Transferring Multi-task Deep Representation for Face Alignment，2014

速度：

    GTX760 - 1.5ms
    CPU(i5) - 17ms

精度：

    评测数据集1---300w (Inter-pupil Normalisation)：  
    common: (4.80), challenge: (8.60), Full: (5.54). 
    评测数据集2---IBUG: 9.15

评价：

1. IBUG数据集优于LBF的11.98；
2. AFLW数据集上优于cascade CNN；
3. 300-W数据集上优于LBF，对难样本效果更好。

4. MCSR：M3 CSR: Multi-view, multi-scale and multi-component cascade，2016

速度：

    CPU(i7) - 50ms

精度：

    评测数据集2---IBUG: 5.65

评价：

1. IBUG优于TCDCN的9.15，优于LBF的11.98

5. Approaching human level facial landmark localization by deep learning，2016

速度：

    CPU(i7) - 500ms

精度：

    评测数据集1---300w (Inter-pupil Normalisation)：  
    common: (3.43), challenge: (5.72), Full: (3.88). 
    评测数据集2---IBUG: 5.65

评价：

1. IBUG优于TCDCN的9.15，优于LBF的11.98
2. CNN级联结构

6. MDM：Mnemonic Descent Method:A recurrent process applied for end-to-end face alignment， 2016

速度： 未知
精度：

    评测数据集1---300w (Inter-pupil Normalisation)：  
    （LBA论文）common: (4.83), challenge: (10.14), Full: (5.88). 
    （Threshold=0.08） 51点error=4.2%，68点error=6.8%
    评测数据集2---IBUG: 5.65

评价：

1. CNN+RNN 深度学习方法
2. 效果优于Face++,yan et al,CFSS。

7. Unconstrained Face Alignment via Cascaded Compositional Learning，2016

速度：

    CPU - 350FPS 

精度：

	评测数据集3---AFLW ：  待补充

评价：

1. 使用决策树;
2. AFLW上优于CFSS，LBF。

8. DRDA：Occlusion-free Face Alignment: Deep Regression Networks Coupled with De-corrupt AutoEncoders，2016

速度：

    未知

精度：

	评测数据集2---IBUG：  待补充

评价：

1. IBUG数据集上，和很多较差方法做对比，效果稍微优于LBF。

9. Stacked Hourglass Network for Robust Facial Landmark Localisation, CVPR 2017

速度：

	未知

精度：

	评测数据集1---300w (Inter-pupil Normalisation )：
	paper: common: 4.12,challenge: 7.00, Full: -. 
	 复现: common: 3.84,challenge: 7.37, Full:4.54. 

评价：

1. 添加一篇相关论文：SHN：Stacked Hourglass Networks for Human Pose Estimation，ECCV 2016

开源：

1. github[网友实现]：https://github.com/face-alignment-group-of-ahucs/SHN-based-2D-face-alignment
2. github[网友实现]：https://github.com/raymon-tian/hourglass-facekeypoints-detection
3. github[网友实现]：https://github.com/deepinx/deep-face-alignment

10. Style Aggregated Network for Facial Landmark Detection, CVPR 2018

速度：

	未知

精度：

	待补充

评价：

待补充

开源：

1. github[作者给出]：https://github.com/D-X-Y/landmark-detection

11. Wing Loss for RobustFacial Landmark Localisation with Convolutional Neural Networks. 2018

速度：

    GTX1080 TITAN - 60ms
    CPU - 100/15/5 FPS 

精度：

	评测数据集1---300w (Inter-pupil Normalisation )：
	common: 3.27,challenge: 7.18, Full: 4.04. 

评价：

1. Wing loss.
2. 数据均衡PDB

12. LAB：Look at Boundary: A Boundary-Aware Face Alignment Algorithm. CVPR2018.

速度：

    GTX1080 TITAN - 60ms
    CPU - 未知

精度：

    评测数据集1---300w (Inter-pupil Normalisation)：  
    common: (4.20, 3.42, 2.57), challenge: (7.41, 6.98, 4.72), Full: (4.92, 4.12, 2.99). 

    评测数据集1.2---300w (Inter-ocular Normalisation)：
    common: (2.98, 2.43, 1.85), challenge: (5.19, 4.85, 3.28), Full: (3.49, 2.93, 2.13). 

评价：

1. 结合轮廓
2. 目前已知精度最高

13. DCFE：A Deeply-initialized Coarse-to-fine Ensemble of Regression Trees for Face Alignment. 2018

速度：

	环境：
	NVidia GeForce GTX 1080 (8GB) GPU 
	Intel Xeon E5-1650 at 3.50GHz (6 cores/12 threads, 32 GB of RAM)
	C++, Tensorflow , OpenCV libraries.
	训练时间：48h
	预测速度：
    GTX 1080 (8GB) - 32 FPS，其中 CNN 25ms，ERT-6.25ms
    CPU - 未知

精度：

    评测数据集1---300w (Inter-pupil Normalisation)：  
    common: (3.83), challenge: (7.54), Full: (4.55). 

    评测数据集1.3---300w (Inter-corners Normalisation)：
    common: (2.76), challenge: (5.22), Full: (3.24). 

评价：

比LAB低，但速度比LAB快

14. PFLD：A Practical Facial Landmark Detector. 2019

速度：

	ARM 845 140fps

精度：

    评测数据集1---300w (Inter-pupil Normalisation)：  
    common: (3.17), challenge: (6.33), Full: (3.76). 

    评测数据集1.3---300w (Inter-ocular Normalisation)：
    common: (2.96), challenge: (4.98), Full: (3.37). 

评价：

1. 打破以往的所有成绩，速度最快，在ARM 高通845处理器上可以跑到140fps
2. 在300w上各项成绩均能达到最佳
3. 模型非常小巧，模型仅有2.1M，便于移植
4. 基于L2设计了一个新的loss，该loss能够针对数据的不均衡（姿态角度/类别）进行损失计算
5. 采用backbone（Mobilenet v2）+ auxiliary （Mobilenet v2），其中辅网Auxiliary仅在训练使用
6. 唯一的不足是，作者只给出了文章和一个APP，没有开源代码，只能借鉴其思想
7. 题外话：这篇文章在很多地方描述的还是不到位，有些概念还是没能够搞清楚，此外本文列出CED图也和LAB文章中给出的出入很大，不知道是作者的错误，还是我理解有误。

开源：

1. paper：https://arxiv.org/pdf/1902.10859.pdf
2. github[网友复现]：https://github.com/guoqiangqi/PFLD

15. ODN：Robust Facial Landmark Detection via Occlusion-adaptive Deep Networks. CVPR 2019

速度：

	待补

精度：

    评测数据集1.3---300w (Inter-ocular Normalisation)：
    common: (3.56 ), challenge: (6.67), Full: (4.17). 

评价：

待补

开源：

---

指标汇总：

1. 300w 数据集

2. WFLW 数据集

To Do List：

1. ADD 论文对应链接
2. ADD 开源代码及相关工具链接
3. ADD 个人评测指标和各个平台速度
4. ADD 博文解读
5. 敬请关注

---

参考博文：

[1] https://blog.csdn.net/xzzppp/article/details/74939823
[2] https://blog.csdn.net/Taily_Duan/article/details/54376467
[3] https://blog.csdn.net/Mynameisyournamewuyu/article/details/85490059
[4] https://blog.csdn.net/wwwhp/article/details/88361422