[深度学习论文笔记][ICCV 17]Semi Supervised Semantic Segmentation Using Generative Adversarial Net

[ICCV 17]Semi Supervised Semantic Segmentation Using Generative Adversarial Network

Nasim Souly, Concetto Spampinato and Mubarak Shah

from University of Central Florida and University of Catania

paper link

Motivation

第一篇将GAN应用在分割中的文章来自于[1]。在此之后出现的GAN+语义分割的文章也基本遵从[1]中的思路，即在传统语义分割训练框架中加一个adversarial loss，将分割网络视作生成器。这篇文章则是从另一个角度考虑问题，即将分割网络视作判别器，使用GAN的生成器扩展训练数据，从而提升训练效果。

从另一个角度来看问题，这篇文章的另一贡献在于对GAN本身的改造，即将判别器变成了FCN，以应用在分割问题中。

Method

文章的具体方法其实很简单，主要包含两点：判别器分类类别的定义，以及全卷积化的判别器。

假设分割类别数为K，那么判别器则有K+1个类别的输出。多出来的分类类别为”该像素为假像素”。训练时，使用标记的分割图像训练前K个通道，使用（真实图片，生成图片）图片组按照adversarial loss的定义训练”该像素为假像素”的通道。真是图片既有分割数据库中的图片，也有大量未标注的图片。或者也可以理解为判断“真/假”的分类器，其“真”的这一类扩展成了K类具体的语义类别。

对于全卷积化的判别器，其改动就是将分类结果变为输入图片大小的dense prediction。从判断每一个样本的真伪变为每一个像素的真伪。这样独立的”该像素为假像素”通道才能和K类分割输出放在一起。

除此之外，文章中提出的模型分为了’semi-supervised’和’weakly-supervised’，用以区分扩展用的数据是完全没有标注还是使用了分类标签。对于使用分类标签的’weakly-supervised’模型，GAN的生成器使用conditional GAN，将图片的分类标签作为输入。

Experiment

作者在PASCAL VOC, SiftFLow, Stanford和CamVid等数据库上进行了实验。其中在VOC上的实验结果如下：

可以看到在增加了大量无标注数据的情况下，作者提出的训练方法能够提升分割效果。但是没有对比与’fully-supervised training + semi-supervised fine-tuning’框架的优劣。因此实验结果只能体现文章创新点起到了作用，但是并没有体现有效的程度

作者也展示了一些生成器输出的图像：
VOC:

CamVid:

可见生成图像在分割任务的诱导下和真实的图像差别还是较大的。这可能也是符合优化目标的一个结果。

Reference

[1] P. Luc, C. Couprie, S. Chintala, and J. Verbeek. Semantic segmentation using adversarial networks. NIPS Workshop on Adversarial Training, 2016