论文笔记《Feedforward semantic segmentation with zoom-out features》

【论文信息】

《Feedforward semantic segmentation with zoom-out features》

CVPR 2015

superpixel-level，fully supervised，CNN

【方法简介】

首先对输入图像以superpixel为单位提取CNN特征(使用VGG16)，然后把这些特征作为CNN classifier(使用imageNet)的输入，imageNet输出是每个superpixel的class。

【细节记录】

feature

特征提取过程是，对每个卷积层的输出，用双线性插值的方法做upsampling使之与原图尺寸一致，然后对superpixel s的区域做pooling，这样就得到一个特征向量，这个向量的维度就是当前卷积层的卷积核个数。如下图：

是对每个superpixel下表中是VGG每一层提取特征的情况：

把每一层的输出向量连接起来，就得到最终的CNN特征，是12416维的。

作者通过实验证明，把每个卷积层的输出都连接起来形成的特征是最优的：

zoom-out 

原因在于，CNN的每个卷积层，设卷积核大小不变，因为有下采样，图像在逐步变小，所以实际上卷积核所能感知的范围是逐步增大的，也就是文中所说的zoom out

在superpixel level，红色框区域和蓝色框区域，也就是CNN的浅层，输出的特征是local feature，主要包含这个小区域的颜色信息和密度信息，它和相邻的superpixel的特征会有较大差异。

把superpixel向外zoom out，在proximal level，可以得到橄榄色的区域，在这个level提取的特征主要捕捉superpixel周围其他superpixel的信息，已经不是local的信息了，应该是neiboring的信息。对于离得近的superpixel（如A和B的橄榄绿框），它们在这个level的receptive fileds会有较多的overlap，它们之间存在smoothness，在这一层面的特征表示会有些相似，而如果离得远（A和C），overlap小，那么它们的特征表示会有较大差异。

继续向外zoom out，在distant level，紫色的蓝色的区域，常常带来较大的overlap，可以在superpixel之间建立联系，并且，此时的感知区域已经能够包含一些object，所以这个level提取的特征会包含object的一些形状信息、空间位置信息、复杂的颜色和梯度信息。一些方法用CRF来挖掘这类信息，这样做常常带来复杂的难以求解的模型。

再zoom out，在scene level，就是对整幅图片感知，得到的是global的信息。这level的特征主要包含的信息是”what kind of an image we are looking at“，可以基本限定class的范围。

【实验设计】

1，选择combine哪些层输出的feature，最后结果最好的是所有层的输出连起来得到的feature

2，和现有的方法在VOC的结果比较mean IoU，是最优(Hypercolumns, FCN-8s, SDS, DivMbest+rerank, Codemaps, O2P, Regions&parts, D-sampling, Harmony potentials.)

3，和现有方法在SBD的结果比较pixel accuracy, class accuracy是最优(Multiscale convnet, recurrent CNN, Pylon, Recursive NN, Multilevel)

【总结】

优点

1，它把CNN每一层的特征都拿出来使用，兼顾了local信息和global信息。

2，直接使用image classification的现有成果，不用自己训练网络，方便高效，易于推广。

3，实验结果FCN的方法结果还好。

缺点

从作者贴出的example来看，分割的边缘还是有些粗糙，原因是：本文方法是直接基于superpixel做特征提取和分类的，提取的superpixel是不够准确的，一个superpixel中可能包含了多个class。要优化这个边缘，应该还是要挖掘出pixel level的细节信息。