达摩院开源人脸检测榜首模型MogFace

01

开源

论文链接

https://openaccess.thecvf.com/content/CVPR2022/papers/Liu_MogFace_Towards_a_Deeper_Appreciation_on_Face_Detection_CVPR_2022_paper.pdf

模型&代码

https://modelscope.cn/models/damo/cv_resnet101_face-detection_cvpr22papermogface/summary

简易应用

https://modelscope.cn/studios/damo/face_album/summary

02

背景

人脸检测算法是在一幅图片或者视频序列中检测出来人脸的位置,给出人脸的具体坐标,一般是矩形坐标。它是人脸关键点、属性、编辑、风格化、识别等模块的基础。

本文通过实验观察发现,对应设计出如下三个模块构建出一个高性能的人脸检测器MogFace:

1. 动态标签分配策略(dynamic label assignment)

2. 误检上下文相关性分析(FP context analysis)

3. 金字塔层级监督信号分配(pyramid layer level GT assignment)

该方法的模型在 WIDER FACE 榜单上取得了截至目前将近两年的六项第一。

03

观察

动态标签分配策略

(dynamic label assignment)

为每个anchor点定义cls和reg目标是训练检测器的必要过程,在人脸检测中这个过程称之为标签分配(Label Assignment)。

最近,标签分配吸引了诸多研究人员的注意,在人脸检测及通用物体检测领域提出了一系列方法,例如:OTA、PAA,ATSS以及HAMBox。 

如示例图(a),标签分配过程依赖4个元素。分别是:

1. offline information: 

    a. IoU (anchor与ground-truth框的IoU) ,

    b. CPD (anchor与ground-truth中心点的距离) 

2. online information:

    a. PCS (cls分支对anchor的前景分类概率值) 

    b. PLC (reg分支对anchor的预测坐标值)

达摩院开源人脸检测榜首模型MogFace_第1张图片

但是,目前的标签分配方法存在三个问题。

1. 若只用offline information做静态标签分配,那么会有很多具备更强回归能力的negative anchor无法被有效利用起来,会导致标签分配策略欠饱和。

2. 若过度信任online information动态调整正负anchor时(如OTA和Hambox),由于online information属于预测信息可信度不高,会导致标签分配策略错误多, 极端情况下会陷入trivial 的分配结果。 

3. 若引入大量超参 (K in ATSS, alpha in OTA)做标签分配,则当数据集分布发生变化时,需要大量的调参时间。

误检上下文相关性分析

(FP context analysis)

在实际应用中,人脸检测器并不会十分care AP的指标,而对误检(false positive [FP])的数量十分敏感。

针对这个问题,目前的做法是收集大量带有FP的图片去fine-tune或者from scratch训练检测器,来帮助检测器了解更多范式的FP,但是我们发现有些频繁出现在训练集中的的FP在这种策略下无法有效解决。

这篇文章,我们发现了一个有趣的现象:对于同一个FP,当它的context发生变化时,对于同一个检测器来说它可能就不是FP了。

如下图(c),最左面的图片里日历是FP,剩余两张日历都不是FP。

达摩院开源人脸检测榜首模型MogFace_第2张图片

金字塔层级监督信号分配

(pyramid layer level GT assignment)

scale-level 数据增强策略常常作通用物体检测以及人脸检测中解决scale variance主要手段。如图(b)所示,相对于COCO,人脸检测数据集Wider Face 中人脸的尺度分布更为严峻。

为此,我们分提出了一个新的问题,如何合理的分配ground-truth 在不同pyramidlayer上的分布?即检测器的性能与每个pyramidlayer匹配ground-truth的个数之间的关系是什么?是否越多越好?

通过严格的对比实验我们发现:“对于所有的pyramid layer来说,并不是这个pyramid layer匹配到越多的ground-truth就越好”。

这说明要挖掘每一个pyramidlayer的最好性能,需要控制在这个pyramidlayer上的ground-truth分配的比例。

达摩院开源人脸检测榜首模型MogFace_第3张图片

04

方法

Adaptive Online Incremental Anchor Mining Strategy (Ali-AMS)

针对上述“动态标签分配策略(dynamic label assignment)”观察分析,本文提出了在里面一种自适应的在线增量锚挖掘策略(Ali-AMS),它基于standard anchor matching 策略,并进一步adaptive 帮助outlier face匹配anchor。如下:

达摩院开源人脸检测榜首模型MogFace_第4张图片

Hierachical Context-Aware Module (HCAM)

基于上述“误检上下文相关性分析(FP context analysis)”观察分析,发现“对于同一个FP,当它的context发生变化时,对于同一个检测器来说他可能就不是FP了”,我们进一步提出了一个two-step的模块来显示的encode context 信息来帮助区分FP和TP,显著减少了FP的数量。

达摩院开源人脸检测榜首模型MogFace_第5张图片

Selective Scale Enhancement Strategy (SSE)

基于上述的“金字塔层级监督信号分配(pyramid layer level GT assignment)”观察分析,发现“对于所有的pyramid layer来说,并不是这个pyramid layer匹配到越多的ground-truth就越好”,我们提出通过控制pyramid layer 匹配的ground-truth的数量来最大化pyramid layer 的性能。

达摩院开源人脸检测榜首模型MogFace_第6张图片

05

实验

Ablation Study

达摩院开源人脸检测榜首模型MogFace_第7张图片

达摩院开源人脸检测榜首模型MogFace_第8张图片

达摩院开源人脸检测榜首模型MogFace_第9张图片

Comparison with sota

达摩院开源人脸检测榜首模型MogFace_第10张图片

06

总结

该论文从实验科学的角度,根据实验观察发现了人脸检测三个重要的改进点。并依据此设计出了对应的优化方法,最终取得 SOTA 的效果。

通过本文可以一窥通过实验科学的方式进行顶会论文的投稿。另外给大家介绍下其他域上的开源免费模型,欢迎大家体验、下载(大部分手机端即可体验):

https://modelscope.cn/models/damo/cv_resnet50_face-detection_retinaface/summary

https://modelscope.cn/models/damo/cv_resnet101_face-detection_cvpr22papermogface/summary

https://modelscope.cn/models/damo/cv_manual_face-detection_tinymog/summary

https://modelscope.cn/models/damo/cv_manual_face-detection_ulfd/summary

https://modelscope.cn/models/damo/cv_manual_face-detection_mtcnn/summary

https://modelscope.cn/models/damo/cv_resnet_face-recognition_facemask/summary

https://modelscope.cn/models/damo/cv_ir50_face-recognition_arcface/summary

https://modelscope.cn/models/damo/cv_manual_face-liveness_flir/summary

https://modelscope.cn/models/damo/cv_manual_face-liveness_flrgb/summary

https://modelscope.cn/models/damo/cv_manual_facial-landmark-confidence_flcm/summary

https://modelscope.cn/models/damo/cv_vgg19_facial-expression-recognition_fer/summary

https://modelscope.cn/models/damo/cv_resnet34_face-attribute-recognition_fairface/summary

你可能感兴趣的:(达摩院开源人脸检测榜首模型MogFace)