弱监督语义分割--Weakly Supervised Semantic Segmentation using Web-Crawled Videos

Weakly Supervised Semantic Segmentation using Web-Crawled Videos
CVPR2017

https://arxiv.org/abs/1701.00352

一不小心看到了一篇关于弱监督的语义分割的文献，这才发现仅一个弱监督语义分割就是大坑啊，看看这篇文章的参考文献就知道了。

与弱监督对应的就是强监督语义分割，即我们平时所说的语义分割，训练样本就是基于像素标记的真值图像。
本文这里的弱监督就是没有基于像素标记的训练图像，只有基于图像类别标签的图像， image-level class labels only

Our goal is to overcome this limitation with no additional human intervention by retrieving videos relevant to target class labels from web repository, and generating segmentation labels from the retrieved videos to simulate strong supervision for semantic segmentation.

本文根据 image-level class labels 从网上抓取大量相关视频，利用视频中的时空运动信息来得到精确的运动分割结果，基于这个分割图像来训练 语义分割模型。

我们的算法框架流程如下：

我们首先根据一组若标记图像（ image-level class labels）来训练一个模型用于目标物体的分类和检测。再将这个模型用于对网上抓取的视频进行过滤，得到所需要的类别图像帧，并生产一个 coarse localization maps ，在根据视频中的时空信息使用一个 graph-based optimization 算法得到该图像帧的运动分割结果 per-pixel segmentation masks。然后将这个分割的图像作为 训练语义分割 decoder 的 annotations 即训练样本。

Semantic segmentation on still images is then performed by applying the entire network to images

最后对静态图像的语义分割就是将整个网络用于图像得到结果。

PASCAL VOC 2012 validation set

PASCAL VOC 2012 test set

YouTube-object benchmark– video segmentation

Qualitative results