2020 CVPR之image matting：Background Matting：The World is Your Green Screen

Background Matting：The World is Your Green Screen
当前的问题及概述：
现有的方法都需要背景和trimap信息进行estimate matte
在本文中，我们需要原图及背景的附加照片，虽然准备阶段复杂，但节省了大量创造trimap的时间以及提升了最终的效果。具体见图1：

模型及loss：

输入为原图I和背景图B’,通过生成的soft segmentation S 和motion prior M对前景F和matte α进行评估。本文提出的Context Switching Block可以组合4个不同的输入cues，通过生成器G的编码器进行特征提取，并使用一个鉴别器D引导训练生成真实的结果。
2.1 CS block（supervised）
其中输入的I,B’,S,M四个cues中，I和B’为原始输入图像，通过腐蚀-膨胀和高斯模糊操作生成人物的粗分割图像S，以及对视频的多帧拼接并进行灰度操作得到motion cues M，输入为X ≡ {I, B’, S,M}。通过生成器G输出的前景图F和alpha matte α，即

由于本文是多cues输入，所以并不知道具体哪些cues更有用，哪些没用，所以本文提出了CS模块，以根据输入图像更有效地结合所有线索的特征。例如，当一个人的一部分与背景匹配时，网络应该更关注那个区域的分割线索。先通过4个编码器进行特征映射，其中包含1x1卷积、BatchNorm和ReLU(图中的“selector”块)，分别得到了64通道的特征。最后，将这3个64通道特征与原始的256通道图像特征(图中的“combinator”块)相结合，生成编码后的特征，这些特征被传递到剩余的块和解码器。
这部分在Abobe数据集中有监督训练而成，具体loss为：

2.2 GAN（self-supervised）
为了进一步得到更好的图片效果，本文第二部分加入了无标签更为真实的自监督任务。这一部分中主要针对前景F与背景B’的结合效果差这一问题，因此，本文训练一个对抗鉴别器D来区分合成和(已经捕获的)真实图像，从而改进matting网络。这一部分GAdode为2.1中在Adode数据集有监督训练得到，GReal和D为自监督部分， α为Alpha matte，B—为去除前景区域的背景。
这以部分使用的是Least squares generative adversarial networks中的判别器部分的网络和loss，其中G部分的loss为：

D部分loss：

实验：
不同结构的结果比较：


消融实验：
有无 cs block：

有无motion cues：

总结：
以往的文章通过trimap和background来进行estimated matte，但由于训练trimap阶段需要大量的时间以及效果并不好。所以本文章加入了去除前景的背景输入，即通过图像I以及去除图像中前景部分的图像B’，并通过这两个部分通过膨胀腐蚀操作提取粗分割图像S及对视频的多帧拼接得到的motion cues M四个cues进行输入，通过编码器和原则器对不同cues在Adode数据集上进行一个有监督的上下文加权训练提取特征，提取前景F，再通过GAN网络对在不同背景生成前景图片的真实性进行一个自监督的判别，目的是进一步的可以提取到更加真实的前景F。本文最大的亮点是移除了trimap的训练过程，但要求输入必须带有仅保留背景背景的图片，对其他任务的迁移难度较大。