2017 CVPR之image matting（抠图）：Deep Image Matting

Deep Image Matting

当前的问题及概述：
当图像具有相似的前景和背景颜色或复杂的纹理时，以往的算法性能较差，主要是两个方面：1)只使用low-level feature，2)缺少high-level context。
本文较之间的工作最大的改进在于，本文更加细致的学习了alpha mattes中的自然结构，而不是主要依赖颜色信息进行image matting。
模型及loss：
2.1 New matting dataset
为了训练我们的matting网络，我们通过将真实图像中的对象合成到新的背景中来创建一个更大的数据集。下图中，b为alpha matte，c为纯前景色，d-f为将前景放置到不同背景的图。

2.2 network
本文提出的框架分为两个部分，Matting encoder-decoder stage和Matting refinement stage，第一部分是一个深度卷积编解码器网络，它以图像和相应的trimap作为输入，预测图像的alpha matte。第二部分是一个小的卷积网络，它对第一个网络的alpha matte预处理进行了refine，使其具有更精确的alpha值和更锐化的边缘。

2.3Matting encoder-decoder stage
网络由一个image patch和相应的trimap产生一个4通道的输入，经过编码解码器网络，再通过一个alpha预测层得到目标alpha matte，通过两个loss辅助学习，第一个loss为alpha预测loss，它是ground truth alpha值与每个像素的预测alpha值之间的绝对差值：

aip为像素i的预测值，aig为像素i的ground-truth。求导公式为：

第二个称为compositional loss，它是由ground-truth前景、背景和预先确定的alpha mattes组成的ground-truth颜色与预测的RGB颜色之间的绝对差异。

最后，通过下面的公式将两个loss加权作为总loss：

4.4Matting refinement stage
第一部分的效果已经远远好于以往框架的效果，但整体效果特别是边缘效果仍然不是很理想，边缘较光滑，所以第二部分加入了refine stage，以预测出更精确的alpha mattes和更锐利的边缘。
在refine stage中，首先将原始image patch输入到卷积中，并将输出与和第一阶段的alpha预测相加，输出相应的ground truth alpha matte。细化结果如下图：a为image patch，b为第一阶段输出图像，c为第二阶段输出图像。

实验：
与其他框架进行比较：


消融实验：

总结：
本文是通过two stage网络进行的，在1st stage中，通过将image patch和trimap同时输入给encoder-decoder结构进行特征提取并上采样回原尺寸大小，同时采用alpha预测loss和compositional loss辅助学习，其中alpha预测loss是以ground truth alpha值与每个像素的预测alpha值之间的绝对差值进行学习，compositional loss是以ground-truth前景、背景和预先确定的alpha mattes组成的ground-truth颜色与预测的RGB颜色之间的绝对差异进行预测，1st stage的输出是预测图像的alpha matte，已经可以分辨相对准确的前景和背景，2nd stage将最初的image patch输入给卷积进行特征提取，将输出的feature map与1st stage输出的alpha matte相加再预测，其主要作用是预测出更精确的alpha mattes和更锐利的边缘，同时在图3可以看到通过第一部分的初步预测和第二部分的refine效果有了很大的提升。
同时，本文提出了一个数据集：Adobe Deep Image Matting Dataset，这个dataset它含有431张前景及前景对应的ground-truth alpha matte作为train set，以及40张前景及前景对应的ground-truth alpha matte作为test set。