2020 CVPR之image matting：AlphaNet: An Attention Guided Deep Network for Automatic Image Matting

AlphaNet: An Attention Guided Deep Network for Automatic Image Matting
当前的问题及概述：
本文提出的image matting方法是一种将语义分割和深度图像匹配过程融合成单一网络的方法，以生成用于图像合成任务的详细的语义匹配。
1.提出了一种新的模型结构，将上采样和下采样算子的功能与attention相结合，并将分割和匹配（matting）相结合，Attention引导下采样和上采样可以提取高质量的边界细节。
2.使用了attention引导编码器-解码器框架，该框架进行无监督学习，从数据中自适应地生成一个attention map，为上采样和下采样操作提供服务和指导。
3.构建了一个fashion e-commerce focused数据集，以方便图像matting的培训和评估
模型及loss：

AlphaNet：该模型将一幅RBG图像作为输入输入到分割网络中，并为前景对象生成一个二值分割mask。二进制mask用于估计边界框，该边界框与mask一起用作侵蚀-膨胀(ED)层的输入，以生成trimap。方法生成的trimap图是粗糙的，含有许多不确定区域，且大多位于生成mask的边缘。然后将这个trimap与RGB图像级联作为matting网络的输入。
2.1 Segmentation and Trimap Estimation Phase
首先我们这部分使用ReseNet18 backbone的DeepLabV3+网络，提取前景图的粗糙的语义信息，然后附加一个侵蚀-膨胀层，用于将二进制输出转换成一个粗糙的trimap，这部分。中区域侵蚀和扩张从对象二进制mask标记：未知区域αi = 0.5，前景αi = 1.0,背景αi = 0.0。
当物体真实边界和mask边界接近时，较小的侵蚀-膨胀速率足以覆盖细化区域。当一个物体mask边界存在误差时，较大的侵蚀-膨胀率往往能较好地恢复trimap中较大的不确定区域。
2.2 Matting Phase
本文的特征提取模块的框架是改进Deep Image Matting提出的DIM框架。在本文中，编码解码器部分添加了一个额外的注意模块（AM）来指导上采样和下采样操作。注意力机制由一个预定义的attention block和两个normalization layers组成。attention block的核心是一个全卷积神经网络，它将输入的特征图转化为attention map，只有一个通道包含一个特定的attention权重Ai∈[0,1]，具体如下：

attention block之后是两个normalization layers，分别负责对编码器和解码器的attention映射进行normalize 。编码器的attention映射首先由一个sigmoid函数normalize，然后再由一个softmax函数normalize。解码器的attention映射只通过一个sigmoid函数进行normalize。

如图2所示，AM模块结构：首先在尺寸为H x W x C的feature map上使用两组4个并行的4 x 4 group convolution with 2-stride, 1 padding，生成一个尺寸为H/2 x W/2 x 2C的attention map。之后经一个组normalization layers和一个针对非线性映射的ReLU层。然后使用两个点式卷积层处理生成的张量，以实现feature map池化，生成尺寸为H / 2 x W / 2 x 1的attention map。最终的attention map由四个经过下采样处理的attention map（不权重共享）经过打乱重排（像素随机混合后上采样）组成。
实验：

不同方法结果比较：


消融实验：

总结:
本文最大的不同点在于两点，第一是将trimap的提取过程进行了详解，即通过CNN和ED层先对image提取前景粗糙的语义信息，然后将二进制输出给ED层转化为trimap。
第二是本文加入了Attention module，本文的backbone采用了同DIM一文的编码解码器对image和trimap双输入进行特征提取，与此同时，加入了AM来进一步指导上采样和下采样操作，输出attention map辅助特征提取，得到预测图像的alpha matte。