深度学习之PSPnet用于语义分割
工程主页：https://github.com/hszhao/PSPNet
1 摘要
- rank 1 on PASCAL VOC 2012 等多个benchmark（信息截止2016.12.16）
http://host.robots.ox.ac.uk:8080/leaderboard/displaylb.php?cls=mean&challengeid=11&compid=6&submid=8822#KEY_PSPNet - 利用了global context information by different-region-based context aggregation （借助金字塔池化）
1 Introduction
dataset :
LMO dataset [22]
PASCAL context datasets [8, 29]
ADE20K dataset [43]
主流的场景解析算法基于FCN（全卷积网络），存在的问题是没有利用整体的场景信息
本文提出的是 pyramid scene parsing network (PSPNet)
基于dilated FCN [3,40] ,(pixel-level )
主要贡献：
提出pyramid scene parsing network
提出effective optimization strategy for deep ResNet [13] based on deeply supervised loss
建立一个系统
2 相关工作
发展过程：先是将FC换成了conv,再是提出了dilated conv[3,40] , deconvolution实现的从粗到细[30]
本文的工作是基于FCN和dilated work【3,26】
相关工作一路是基于多尺度（因为高层一般对应的是语义信息而低层对应的事位置信息），另一路是structure prediction[3],采用CRF作为后处理。
[24] 指出global average pooling with FCN 可以改善分割效果，但本文发现在复杂场景下并不有效，因此提出了different-region-based context aggregation。
3 Pyramid Scene Parsing Network
基本框架：
全局平均池化[ 34,13,24] 仍有一定的局限。
金字塔池化模块：4层
最粗的一层是global pooling，得到一个single bin，其他的层得到的是sub-region，这样池化之后得到的feature map是不同尺寸的。
接下来对每个金字塔level 做一个一个1*1 卷积，将context representation的维度变成原来的1/N，N是金字塔的层数。
然后直接对低维的feature map进行上采样，得到原图尺寸。
最后，不同层的feature连接后经过卷积conv输出。
3.3 网络架构
采用一个pre-trained网络ResNet [13],并加入dilated network来提取feature map，得到的feature map的尺寸是原始图的1/8(这在Deeplab在解释过)。
采用4层金字塔模型，最后通过卷积后连接起来。
4 Deep Supervision for ResNet-Based FCN
大家都知道残差网络借助skip conntection来减小深层网络的一些优化问题，后面的层主要是学习前面的层的残差。
而本篇工作，作者提出加入一个额外的loss,and learning the residue afterwards with the final loss.(还不是很理解) 这样网络可分为两个相对简单的优化部分了。
5 实验
5.1 实现
基于Caffe
-“poly” learning rate policy : (1-iter/maxiter)^power
其中base lr=0.01 power=0.9
- Momentum =0.9
- weight decay=0.0001
- data augmentation:随机镜像，resize(0.5~2),旋转：-10~10°
- batchsize:16
- auxiliary loss: weight=0.4
效果杠杠的。
参考文献
[3] L. Chen, G. Papandreou, I. Kokkinos, K. Murphy, and A. L. Yuille. Semantic image segmentation with deep convolutional nets and fully connected crfs. CoRR, abs/1412.7062, 2014.
[4] L. Chen, G. Papandreou, I. Kokkinos, K. Murphy, and A. L. Yuille. Deeplab: Semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected
crfs. CoRR, abs/1606.00915, 2016. 5
[12] K. He, X. Zhang, S. Ren, and J. Sun. Spatial pyramid pooling in deep convolutional networks for visual recognition. In ECCV, pages 346–361, 2014. 1, 3
[24] W. Liu, A. Rabinovich, and A. C. Berg. Parsenet: Looking wider to see better. CoRR, abs/1506.04579, 2015
[26] J. Long, E. Shelhamer, and T. Darrell. Fully convolutional networks for semantic segmentation. In CVPR, pages 3431–3440, 2015
[40] F. Yu and V. Koltun. Multi-scale context aggregation by dilated convolutions. CoRR, abs/1511.07122, 2015