极简笔记 多篇weakly supervised segmentation笔记

极简笔记 多篇weakly supervised segmentation笔记

Backtracking ScSPM Image Classifier for Weakly Supervised Top-down Saliency

文章主要思想是通过遮挡部分区域，观察分类confidence的改变来决定pixel-level的预测。文章没有使用CNN结构，而是使用SIFT特征+稀疏编码+SVM进行图像分类，由于稀疏编码需要向量字典，因此分类特征的每一维能对应到原图的patch，通过判断该位特征是否对分类起positive作用来判断原patch属于object的概率。得到大量候选patch之后，通过掩码的方式把分类特征中与该patch维度无关的元素设为0，在进行分类，如果预测confidence大于0.5则认为该patch落在saliency范围。

思考：个人认为文章存在的问题是分类最显著区域不包含object全部范围，常常只是动物头部位置，当头部被遮挡，其他区域都有较大可能无法分类，因此该方法无法进行整体区域的细微分割。以及稀疏编码做分类这个强监督baseline有点低。

Seed, Expand and Constrain: Three Principles for Weakly-Supervised Image Segmentation

该篇文章的思路正如题目所说，包含三部分：seed loss + expand loss + constrain loss（SEC）：

1. Seedloss的作用就是利用分类网络得到包含物体大致位置信息的响应图，以此作为ground truth训练分割网络，要求在定位响应图强响应位置segmentation网络也需要有强类别响应；
2. expand loss是为了对seed loss进行补充，因为seed loss只能做到大致定位，不能准确定位物体的边界区域等等，因此需要expand loss对seed进行扩张。由于只有类别监督信号，因此从分割网络得到分割feature map之后需要经过pooling操作到用于类别分类的特征。在这个地方avgpooling会要求所有像素位置都有前景类别响应，而maxpooling只要求一个像素有强类别响应即可，文章提出一种global weighted rankpooling (GWRP)方式，通过对全图个像素计算分类loss之后进行排序，按照从大到小的顺序乘不同次幂的衰减系数，起到加权平均的作用。针对不同的类别，衰减系数的选择也有不同；
3. constrain loss的作用是使segmentation预测结果更符合原图颜色边界。文中利用原图与预测结果采用条件随机场（CRF）进行计算，并要求预测分布与CRF的输出分布之间的KL散度更小。

文章采用的分割模型是DeepLab-CRF-LargeFOV，最终在PASCAL VOC2012 val集上取得50.7% mIoU，test集上取得51.7% mIoU，强监督性能是val 67.6%, test 70.3%， 这是image level标注弱监督分割领域一个里程碑式的工作。

Weakly Supervised Semantic Segmentation Using Superpixel Pooling Network

该篇文章核心思想是提出了Superpixel Pooling Layer。该层layer的作用与上一篇的expand loss大致相同，即扩大分类相应区域。文章首先构造一个backbone network+上采样结构+superpixel pooling layer的网络（SPN）用来做分类训练。其中superpixel pooling layer就是把之前得到的feature map，对预先计算得到的每个super pixel算个平均的特征向量，之后所有super pixel的特征向量再平均作为改图的分类特征。等SPN收敛之后，就像CAM那样把最后全连接层去掉，把superpixel pooling layer的输出（取名SPCAM）作为pseudo mask给第二个分割网络训练。文章采用DecoupleNet作为第二个分割网络，该方法可以多轮训练，即先那pseudo mask做第一轮监督训练至收敛，然后再用该网络预测的结果作为第二轮训练的annotation。最后实验与CAM相比有10%以上的提升（table里没给出，但文章中提到）。