极简笔记 Multi-Scale Context Intertwining for Semantic Segmentation

极简笔记 Multi-Scale Context Intertwining for Semantic Segmentation

本文提出MSCI语义分割算法，在PASCAL VOC 2012 test集上目前是top5算法（第一名是用了JFT的deeplabv3+）。区别于传统FCN架构，本文的分割结果融合了网络特征与传统分割算法，通过LSTM进行融合。

文章大致流程如下：

1. 利用传统分割算法预先得到数个超像素，与此同时利用CNN对输入图像提取不同层次特征；

2. 对相邻层级的特征进行信息交互。记需要交互的两层分别为$l,l+1$对每一个像素点，需要获取三部分特征：1. 该像素位置的网络特征$F^l(h,w)$；2. 该像素所处超像素区域$S_n$的特征之和$R_n^l={\sum }_{(h,w)\in \Phi (S_n)}{F}^l(h,w)$； 3. 所处超像素的邻域（也是超像素）的特征之和$M_n^l={\sum }_{S_m\in \mathcal{N}(S_n)}{R}_m^l$。将这三者加权求和作为LSTM的输入，计算过程如下，可以注意输入部分是$l+1$层的$F_t^{l+1}$和对应层的$R_t^l,M_t^l$，输出的是$l+1$层的结果$F_{t+1}^{l+1}$。由于是双向LSTM，所以还有反向的过程。
   
   关于LSTM的训练过程，我的理解是其实就是两层一起过一次LSTM，与整个网络一起bp训练。所谓的时间标注$t$其实就是end-to-end训练过程的当前迭代次数。

3. 进入interwining阶段， 每层得到的$F_T^l$（按我的理解其实就是当前LSTM的输出）, 通过反卷积进行融合$Q^l=F^l+D_f\ast F^{l+1}$($D_f$是反卷积核),此处的$Q^l$则是后续竞争的载体，即$F_T^l=Q_0^l,Q_t^l=Q_{t-1}^l+D_f\ast Q_{t-1}^{l+1}$，若总共有$K$层特征则需要进行$K-1$次迭代。计算过程见下图：
   

MSCI算法在PASCAL VOC 2012， VOC Context， NYUDv2， SUN-RGBD多个数据集上进行了测试，均取得了不错的效果。说明该算法并非只针对前景物体的语义分割，在解决全景分割任务时也有很好的适应性。