[深度学习从入门到女装]FastFCN: Rethinking Dilated Convolution in the Backbone for Semantic Segmentation

论文地址：FastFCN: Rethinking Dilated Convolution in the Backbone for Semantic Segmentation

 

这是一篇对于FCN进行改进从而进行语义分割的论文

上图展示了目前的几种分割方法，DilatedFCN就是在原本FCN的基础上，去掉了最后两层的pooling，改为使用dila conv来保持图像尺寸不变，和原来一样的感受野，但是使用空洞卷积会带来计算量过大，因此本文采用了一个Joint Pyramid Upsampling(JPU)来解决这个问题

本文采用的framework如上图所示，也就是还保持原本FCN的结构，还是使用5次pooling把最后的特征图缩小到32X，然后对8X、16X、32X的特征图使用一个JPU模块，来得到8X的特征图，后边就可以在使用一些encodin/ASPP等方法得到最终的分割图

 

Joint Upsampling

其实就是给定一个需要进行增强分辨率的低分辨率的目标图片，和一个高分辨的辅助图片，来进行upsampling

形式化的表达如上，x为taget image，y为guidance image，下标l为low-resolution，h为high-resolution

dilated conv和stride conv如上图所示

本文总结了这两种conv的做法

dilated conv：

stride conv：

 

Reformulating into Joint Upsampling

 

对于dilated conv形式化表示如下：

x为input feature map，yd为output feature map，r为regular，d为dilated，S为图3(a)中的split，M为图3(a)中的merge

本文使用的方法形式化表达如下：

先对x进行stride的conv，然后再接上n个regular的conv

 

然后本文将以上的表达使用CNN来展示

如上图4所示，

（a）为regular conv

（b）为dilated rate=1、2、4、8的separable conv

（c）为regular conv