论文笔记：Label Refinement Network for Coarse-to-Fine Semantic Segmentation

本文设计了一个Coarse-to-Fine的深度学习网络Label Refinement Network，来进行语义分割任务。主要将低分辨率下的分割标签和卷积后的特征进行结合，获得一个更加精确的分割结果。在网络的多个阶段定义loss函数，这种做法起到了多阶段同时监督的效果。

论文传送：Label Refinement Network for Coarse-to-Fine Semantic Segmentation

文章的想法和去年的多篇深度学习文章想法类似，通过不同层之间的特征代表的含义的不同（高层往往包含更宏观信息，而底层特征的细节更加丰富），对多层结果进行某种规则的融合，提高结果的准确性，或提高模型对于不同尺度物体描述的鲁棒性等。

如在目标跟踪方面的文章：Visual Tracking with Fully Convolutional Networks；

边缘检测方面：HED算法；

针对多尺度问题目标检测的：MSCNN算法。。。。。。等等。

虽然思路相似，但是针对的问题还是存在一定的不同，同时不同文章中对于不同层的使用及融合时候才有的策略不同。本文主要针对语义分割问题，并通过对ground truth上的分割标签进行resize方法，获得不同分辨率的结果上预测一个粗语义标签，最终融合获得精准的语义分割结果。

Label Refinement Network（LRN，注意这里不是常见的LRN层，是作者提出网络）的主要模型结构：

该模型设计一种编码-解码框架（encoder-decoder framework），编码网络产生一系列维度依次缩减的特征图（图左部），而解码网络产生逐渐扩大维度的语义标签图（图右部），这里的语义标签图（label map）即图右上部分的一个个小图，他们是由前一个小的label map + 网络产生的卷积特征结合得到。这里究竟是如何结合的呢？作者加入一个refinement module (RE)规定结合方式。

refinement module (RE)的细节阐释：

左边 Mf 是卷积网络中提出的特征层，上面的Rf 是粗的label map，两者具有相同的空间维度（图中20*20），但是不同的channel维度。为了两者的融合，首先对 Mf 应用一个3*3的卷积和正则化与ReLU操作，得到新的skip 的特征图 mf （mf 的channel维度变化成和Rf 一致）。将mf 与Rf 结合，再进行卷积操作，得到和Rf 维度均一样的R’f ，2倍降采样得到最终的结果R"f 。

部分实验结果：