论文阅读 Look at Boundary: A Boundary-Aware Face Alignment Algorithm

Abstract

整篇论文利用边缘来辅助landmark点的定位

Contribution

1、文章中的组件首先是一个提取边缘的网络，用的是hourglass，融合了人体姿态的几何变换核那篇文章，不过在那篇文章的基础上，作者不仅仅在不同的边缘之间进行message passing，在不同的stack的预测出来的结果上也进行了message passing，作者认为hourglass每一个小单元预测出来的结果的含义是不一样的。
2、用对抗网络来判断生成边缘的好坏
3、将边缘融合进landmark点的预测中

Network

三个组件

• Boundary-Aware Landmark Regressor
• Boundary Heatmap Estimator
• Landmark-Based Boundary Effectiveness Discriminator

制作边缘标签

假设数据集中一共有L个landmark点， S={sl}Ll=1 S = { s l } l = 1 L 。对于这L个关键点，又可以划分为K个子集，也即K个边缘， Si⊂S,i=1,...,K S i ⊂ S , i = 1 , . . . , K ,对于每一个子集 Si S i ，通过差值获得更加浓密的边缘曲线，这样生成了 Bi B i ,然后 Bi B i 生成distance map Di D i ,然后由 Di D i 生成 Mi M i ，也即gt , 3σ 3 σ 作用在 Di D i 上面使得更关注与边缘区域

其中 Di D i 的制作作者说是用了距离变化，个人理解是计算图像中的每个点距离对应的边缘的距离

边缘和landmark融合

首先边缘需要和Input image结合，结合的方式如下：

然后边缘与中间的特征的结合。作者通过实验证明和中间结果融合的越多，效果越好。

都是普通的特征融合，没什么好介绍的。

作者运用了message passing

参考论文Structured feature learning for pose estimation
不一样的是，作者不仅仅在不同的边缘map间进行消息传递(一共K张map),在不同的预测stack间产生的map间又进行了纵向的message passing，没什么说的也。

对抗学习来是的边缘更加鲁棒和尖锐

MSE损失是的边缘比较模糊。好的边缘有利于landmark点的预测，不好的边缘则不利于landmark点的预测，所以作者通过landmark点预测的好坏来判断边缘质量的好坏。对于预测出来的 M^ M ^ ，对应的关键点的集合是 S^ S ^ ,gt 的distance map是Dist， dfake d f a k e 的定义就是

θ θ 是一个阈值， δ δ 是一个概率阈值，意思是说某一张边缘图预测出来的对应的关键点在Dist图上的值，也即距离边缘的距离响应小于 θ θ 的概率小于 δ δ ，就判断生成的质量不咋地。这个时候在最小化式5的对抗损失的时候，就变成了最小化D(G(I)).反之如果边缘的距离响应 θ θ 的概率大于 δ δ 就说明生成的边缘可以以假乱真，这个时候在最小化式5的对抗损失的时候，就变成了最大化化D(G(I))
作者运用对抗学习来使得边缘学习的更加有效哈

M是gt,然而G(I)是生成的heatmap

算法流程