【弱监督学习】Weakly supervised segmentation of SAR imagery using superpixel and hierarchically adversarial

0.前言

这是一篇2019年发表在Remote sensing期刊上的有关SAR图像语义分割的弱监督工作。这篇文章的动机是要解决现有的大多数方法通常忽略图像的外观和空间连续性、需要大量的训练数据、算法不能够实现实时性的问题。提出了一种结合条件GAN（CGAN）和CRF的一种弱监督语义分割方法。

1.介绍

SAR语义分割十分重要，现有主流的传统分割方法有：超像素分割方法、分水岭分割方法和水平集分割方法。CRF是一个分割时常用的工具，特征提取器对于基于CRF的方法十分重要。 为了加速SAR图像分割，通常会先进行超像素分割。超像素分割使用的特征通常是通过一些人工设计的特征提取方法提取到的特征，人工特征通常提取比较困难且耗时，并且SAR图像中的Speckle也给人工特征提取增加了难度。

这时，强大的DCNN出现了，它提取特征的能力是远超过人工提取的。然而它也存在两个问题：

1. 无论是DCNN还是人工特征提取器都容易忽略相邻标签的连续性；
2. DCNN的训练需要大量的人工标注的标签，特别是SAR，成像比较复杂，更加需要更多的标签，并且标签也十分费力；

这时，无监督方法出现了，GAN也出现了。本文正是结合GAN和CRF，提出了一个新的弱监督SAR语义分割方法，它被称为Hierarchically Adversarial CRF （HACRF）.

2.方法

HACRF的整体结构如下：

总共三步：

1. 超像素分割目标与背景。（也就是用超像素的方法把SAR图像分成很多个小块，有的小块是Target,有的小块是Background）；
2. 超像素输入Hierarchical CGAN提取Hierarchical特征；
3. 提取到的特征训练CRF最终推断出分割结果；

2.1 目标超像素和背景超像素

超像素方法采用SLIC超像素方法（参考：《SLIC Superpixels Compared to State-of-the-Art Superpixel Methods.》）。为了方便CGAN处理，超像素被提取成了图像块的形式。SLIC提取出的超像素块就是目标超像素块，以中心扩大就形成了背景超像素块。

2.2 Hierarchical CGANs

本文提出一种Hierarchical CGANs来提取无标记数据的特征。原始的GAN结构不能学习标签信息，所以有人提出了条件GAN（CGAN）。CGAN相比普通的GAN只是多了一个多分类器，损失函数如下：

其中，第一项是为了让判别器判别更好，第二项是为了让生成器能够欺骗判别器，第三项则是进行多分类。
而本文提出的Hierarchical CGANs是由两个CGAN组成的，结构如下：

里面的TCGAN和BCGAN是独立地训练的，比如训练TCGAN的数据是来自Target超像素的数据，里面有人工标注的和未标注的数据，一起来训练T-feature Extractor。由此可见，在训练时不仅能够利用有表现的数据，还能够利用无标签的数据，这属于弱监督学习中的imcomplete supervision.最后的Hierarchical feature就是T-feature和B-feature级联到一起的结果。

2.3 CRF进行像素级分割

关于CRF的细节，我还不是特别清楚，大概训练CRF的步骤如下：

1. 基于特征向量建立CRF模型；
2. 使用SSVM和AD3训练CRF的系数；