Segmentation笔记4-Boundary-Aware Network for Fast and High-Accuracy Portrait Segmentation

创新点

1.提出了BANet
2.提出了refine loss

总结

图片引起不适。。。

网络流程如下：

图片经过语义分支得到1/4大小的特征图。将其上采样到原图大小，c = 1作为边界特征挖掘分支的边界注意力图。注意力图由BA loss监督。将原图与注意力图拼接，更有针对性的挖掘低水平的特征。最后在融合部分，首先将语义分支的特征图上采样原图大小，c = 1，与边界特征挖掘分支得到的特征融合获得更好的分割。最后的输出由两种loss监督：分割loss控制整个过程，refine loss 监督边界细节。
语义分支不细讲了，很通用的结构。
Boundary Feature Mining Branch：用边缘部分作为样本。标记中没有单独标记边缘信息，关键是如何获得边缘部分呢？论文作者使用了canny边缘检测器。使用如下公式计算。这个公式不太懂。。

上文的BA loss其实质是binary cross entropy loss。因为空间上的不光滑会引起数值上的不稳定，论文作者用sigmoid 软化边界注意力图，公式如下：

最后，原图与注意力图合并成4通道, 并通过一个卷积提取细节特征。其他multi-stream网络中，单独优化。本文中的低特征由高级特征引导。
Fusion Part：类似BiSeNet。首先拼接，通过一组3x3的卷积，然后利用global pooling 计算权重向量。这个向量有助于特征的再平衡和特征选择。结构如图：

接下来看看loss
Segmentation Loss：BCE loss
Boundary Attention Loss：BA loss，BCE loss
Refine Loss：The first part Lcos uses cosine distance to supervise the gradient direction of segmentation confidence map, Lmag brings a constrain on gradient magnitude to inforce the network produce clear and sharp results.
总的loss是三者加权和。
值得注意的是，refine loss 需要图像梯度。论文作者使用 a Gradient Calculation Layer(GCL) 在GPU上计算， Sobel 描述符作为滤波器。

实验

效果比较突出，参数少：
PFCN+ ：130 MB
BANet-64： 0.62 MB
速度快：
BANet-64： 43 FPS （512x512） 115 FPS （256x256)