Deep Image Matting：深度学习Matting开山之作

 论文：https://arxiv.org/pdf/1703.03872.pdf

代码：GitHub - foamliu/Deep-Image-Matting-PyTorch: Deep Image Matting implementation in PyTorch

1、动机

        在此之前的Matting方法要么是用传统方法，要么是传统+深度学习的组合，他们都难以达到理想效果。因此，本文提出了一个利用trimap来作为辅助输入，并完全使用深度学习方法来进行Matting的方法，这开创了trimap-based Deep Learning Matting的先河。

        此外，考虑到此前数据集的匮乏，作者还提出了一个比较大的数据集，包含49300张训练图像和1000张测试图像。

2、方法

        尽管是比较早的Matting方法，且是trimap-based的，但了解其内容仍对我们了解利用深度学习进行Matting的基础知识掌握有着积极作用。下面我们就简单了解一些该paper的主要思想。

        本文主要提出了一个两阶段的Matting网络，第一阶段利用一个Encoder-Decoder获取alpha matte，第二阶段利用一个小型的残差网络对第一阶段得到的alpha matte进行细化。具体结构如图所示：

图3. 网络包括两个阶段，一个编码器-解码器阶段和一个细化阶段

        网络包含两个阶段：

• 第一阶段，原图+trimap一起送入Encoder-Decoder，得到raw alpha；
• 第二阶段，raw alpha和原图一起送入一个小型残差网络，得到细化的alpha；

        两个阶段各有其损失函数：

        第一阶段中包含两个损失，raw alpha与GT之间的预测loss，以及成分loss：

        第二阶段只有一个损失，是细化后的alpha和GT之间的loss，同上面的公式（2）。 

3、实验结果