114. 【论文理解】LAB

Look at Boundary: A Boundary-Aware Face Alignment Algorithm
边界感知的人脸对齐算法

边界线作人脸的几何结构，定位人脸关键点。
不像传统的基于热力图和基于回归的方法，本方法从边界线找关键点，移除了模棱两可的关键点。
问题在于：为什么要用边界，如何使用，边界估计和关键点定位的有什么关系？
使用300-W数据集的边界信息，可以在COFW和AFLW-Full数据集上的平均错误很小。
提出了新数据集，WFLW数据集联合训练和测试不同的条件下的人脸图。
项目链接：https://wywu. github.io/projects/LAB/LAB.html

Intro

在各个标注不同的数据集中，姿势变化很大、遮挡严重时，需要一种有效的人脸对齐算法。
和人脸检测和识别不同，人脸对齐确定人几何结构，使人脸被建模为高度结构化的输出。
除了角点以外的人脸关键点在姿势大幅变化和遮挡严重时，很难保证不变的语义定位。
唯一的人脸结构的推理是定位人脸关键点的关键，因为人脸就是唯一性的。
本文用13条边界线表示人脸结构，每一条边界线都从不同数据集的足够多的人脸关键点中插值得到，标注都是连续的。
边界感知的人脸对齐算法包含两阶段：先估计人脸边界热力图，后根据边界热力图对关键点进行回归。
不同数据集不同标注的关键点，都能用相同的边界热力图的定义得到，关键点的定位准确度很高。
为探索到边界线和关键点之间的关系，通过基于关键点的边界线有效性判别器引入对抗学习，配之以边界热力图估计器。
边界线热力图估计器、关键点回归器和边界有效判别器以段端到端的方式训练。

用沙漏网估计人脸边界热力图，建模人脸边界间的结构时用消息传递的方式，增强对遮挡的鲁棒性。
边界热力图作为关键点回归器中引导特征学习的结构。
gt边界热力图引导下的模型在300W上的测试结果为76.26%，最好的方法为54.85%，说明边界热力图中的信息很充分。
为充分利用结构信息，在关键点回归网络中的多阶段使用边界热力图，阶段越多，关键点预测越准确。
为统一评估结果，提出新数据集WFLW（wider facial landmarks in-the-wild），其中包含1w张图片，每图片都标注有98个关键点和6个属性（姿态、表情、化妆、光照、模糊、遮挡变化）。

Related

• 坐标回归模型
• 热力图回归模型

边界感知的人脸对齐

关键点表示准确通用的人脸结构比较困难，因此采用人脸边界线的几何结构表示，并用来回归关键点。
边界很详细，有定义好的结构描述，在头部姿势和数据集中都连续。
因为大多数关键点都是沿着边界线的，所以说边界线也和关键点紧密相关。

几何结构表示法有采用人脸各个部分的（但人脸部分太粗略了）；
有的用人脸解析结果，分离人脸各个组分，用边界连接起来形成一个闭环（但如鼻子这样的器官融入到整个人脸中，要分离就不准确了）。
相反，边界线不一定要闭环，它在表示几何结构中可以更灵活，边界线是辅助关键点坐标回归的最好方法。

边界感知的人脸对齐框架由三个紧密关联的组件构成：边界感知的关键点回归器、边界热力图估计器，和基于关键点的边界有效性鉴别器。
回归器用多阶段方式吸收边界信息，预测关键点坐标；
估计器将边界热力图作为人脸几何结构，因为边界信息被大量使用，所以边界热力图的质量对最终的关键点回归有重要作用。
鉴别器引入对抗学习，辅之以估计器，鉴别器进一步提升了边界热力图的质量，更好地预测关键点坐标。

【1】边界感知的关键点回归器
res18作为baseline。
在输入和网络的每个阶段都融合边界热力图：

• 融合输入图
• 融合特征图

【2】边界热力图估计器

• 层内消息传递：每个stack的底部之间传递不同边界热力图的消息
• 层间消息传递：stack低层传向高层

【3】边界有效性鉴别器
提升生成边界热力图的有效性

【4】跨数据集的人脸对齐
人脸边界作为一种中级人脸几何表示，用来训练不带有详细关键点定义的人脸关键点回归器。

Refer：

• paper: http://openaccess.thecvf.com/content_cvpr_2018/papers/Wu_Look_at_Boundary_CVPR_2018_paper.pdf
• code: https://github.com/wywu/LAB