IndexNet论文笔记-Indices Matter: Learning to Index for Deep Image Matting

github代码

总体思路
下采样会损失细节信息，但其在网络中是必要的，因为可以减少网络参数，增加感受野的大小，捕捉到更加高阶的语义信息。

生成pooling和上采样的unpooling的索引用于抠图的细节边缘恢复。

模型主要基于MobileNet V2,　轻量化。

参考

超分辨领域的Efficient Sub-pixel Convolution（periodic Shuffling）

Indexed Pooling(IP)

• max pooling and average pooling are both special cases of IP.
• 生成的index map和feature map进行逐点相乘就可以得到pooling的结果

Indexed Upsampling(IU)
反卷积所用的kernel对每块区域都是一样的，而IU进行上采样时对每块区域使用不同的kernel(使用差异权重产生不同的index)。这点可以理解为IU其实是对feature map里数值的响应，feature的数值和原图的边缘细节高度相关，因此IU所产生的索引能更精确对应到相应位置上。

---

待更新