Weakly- and Semi-Supervised Learning of a Deep Convolutional Network for Semantic Image Segmentation

abstract

Deep convolutional neural networks (DCNNs) trained on a large number of images with strong pixel-level annotations have recently significantly pushed the state-of-art in semantic image segmentation. We study the more challenging problem of learning DCNNs for semantic image segmentation from either

1. weakly annotated training data such as bounding boxes or image-level labels or
2. a combination of few strongly labeled and many weakly labeled images, sourced from one or multiple datasets.

We develop Expectation-Maximization (EM) methods for semantic image segmentation model training under these weakly supervised and semi-supervised settings. Extensive experimental evaluation shows that the proposed techniques can learn models delivering competitive results on the challenging PASCAL VOC 2012 image segmentation benchmark, while requiring significantly less annotation effort. We share source code implementing the proposed system at https://bitbucket.org/deeplab/deeplab-public.

Proposed Methods

像素级别的标注（全监督）

目标函数是：
$$J(\mathbf{\theta })=\log P(\mathbf{y}|\mathbf{x};\mathbf{\theta })=\sum _{m=1}^M\log P\left(y_m|\mathbf{x};\mathbf{\theta }\right)$$
式中，$\theta$是DNN的参数，每个像素的标签分布可以按照下式计算：
$$P\left(y_m|\mathbf{x};\mathbf{\theta }\right)\propto \exp \left(f_m\left(y_m|\mathbf{x};\mathbf{\theta }\right)\right)$$
式中，$f_m\left(y_m|\mathbf{x};\mathbf{\theta }\right)$是DCNN在第$m$个像素的输出，使SGD即可优化$J(\mathbf{\theta })$

图象级别的标注

当只有图像级注释可用时，我们可以观察到图像像素值$\mathbf{x}$和图像级标签$\mathbf{z}$，但像素级分割结果$\mathbf{y}$是潜在变量。建立如下概率图模型：
$$P(\mathbf{x},\mathbf{y},\mathbf{z};\mathbf{\theta })=P(x)P(y|x;\theta )P(z|y)=P(\mathbf{x})\left(\prod _{m=1}^{M}P\left(y_m|\mathbf{x};\mathbf{\theta }\right)\right)P(\mathbf{z}|\mathbf{y})$$
为了从训练数据中学习模型参数$\theta$，我们采用EM方法.如果忽略不依赖$\theta$的项，若给定上次的估计${\theta }^{\prime }$，则完全数据的期望对数似然函数（Q函数）：
$$Q\left(\mathbf{\theta };{\mathbf{\theta }}^{\prime }\right)=\sum _{\mathbf{y}}P\left(\mathbf{y}|\mathbf{x},\mathbf{z};{\mathbf{\theta }}^{\prime }\right)\log P(\mathbf{y}|\mathbf{x};\mathbf{\theta })\approx \log P(\hat{\mathbf{y}}|\mathbf{x};\mathbf{\theta })$$
式中，$\mathbf{x}$和$\mathbf{z}$是直接观测到的，$\mathbf{y}$是未观测数据。
之后，采用hard-EM approximation来评估E步算法中的潜在分割：
$$\begin{array}{rl}\hat{\mathbf{y}}& =\underset{\mathbf{y}}{\mathrm{argmax}}P\left(\mathbf{y}|\mathbf{x};{\mathbf{\theta }}^{\prime }\right)P(\mathbf{z}|\mathbf{y})\\ & =\underset{\mathbf{y}}{\mathrm{argmax}}\log P\left(\mathbf{y}|\mathbf{x};{\mathbf{\theta }}^{\prime }\right)+\log P(\mathbf{z}|\mathbf{y})\\ & =\underset{\mathbf{y}}{\mathrm{argmax}}\left(\sum _{m=1}^M{f}_m\left(y_m|\mathbf{x};{\mathbf{\theta }}^{\prime }\right)+\log P(\mathbf{z}|\mathbf{y})\right)\end{array}$$
在算法的M步，使用SGD优化$Q\left(\mathbf{\theta };{\mathbf{\theta }}^{\prime }\right)\approx \log P(\hat{\mathbf{y}}|\mathbf{x};\mathbf{\theta })$以得到下次迭代的$\theta$值。
为了完全识别E步，也就是为了计算得到E步的潜在分割结果$\hat{\mathbf{y}}$,需要指定观察模型$P(z|y)$我们试验了两种变体：EM-Fixed和EM-Adapt

EM-Fixed

将上式中的$logP(z|y)$写成逐个像素的形式：
$$\log P(\mathbf{z}|\mathbf{y})=\sum _{m=1}^M\varphi \left(y_m,\mathbf{z}\right)+(\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{s}\mathrm{t})$$
因此每个像素的估计值${\hat{y}}_m$可以表示为：

$${\hat{y}}_m=\underset{y_m}{\mathrm{argmax}}{\hat{f}}_m\left(y_m\right)\doteq f_m\left(y_m|\mathbf{x};{\mathbf{\theta }}^{\prime }\right)+\varphi \left(y_m,\mathbf{z}\right)$$
我们假设：
$$\varphi \left(y_m=l,z\right)=\{\begin{array}{ll}{b}_l& \text{ if }{z}_l=1\\ 0& \text{ if }{z}_l=0\end{array}$$
其中$b_l$是类依赖的偏置
我们设置参数$b_l=b_{fg}$，如果l>0，b0=bbg，则$b_{fg}>b_{bg}>0$。直观地说，这种潜力鼓励将一个像素分配给图像级标签$z$中的一个.我们选择$b_{fg}>b_{bg}$，对当前的前景类进行比背景更多的提升，以鼓励充分的目标覆盖，避免将所有像素分配给背景的退化解决方案。该过程在算法1中总结，如图2所示。

EM-Adapt

在这种方法中，我们假定$logP(Z|y)=\varphi (y,z)+(Const)$，其中(y；z)为基数势[23，33，36]。特别是，我们鼓励至少将图像区域的l部分分配给类l，如果zl=1，并且强制不将像素分配给类l，如果zl=0。设参数l=FG，如果l>0，0=BG。类似的限制出现在[10，20]中。
在实际应用中，我们采用了算法1的一个变体。我们自适应地设置与图像和类相关的偏差bl，以便将图像区域的指定比例分配给背景或前景对象类。这是一个强大的约束，显着地阻止了背景分数在整个图像中的流行，也促进了更高的前景目标覆盖率。详细的算法在补充材料中进行了描述。

bounding box标注

我们探索了三种不同的方法用bounding box来训练我们的分割模型。
第一个Bbox-rect方法相当于简单地将边界框中的每个像素作为各自对象类的正示例。通过将属于多个边界框的像素分配给具有最小区域的像素来解决模糊问题。包围框完全包围对象，但也包含背景像素，这些像素会用针对各个对象类的假阳性示例来污染培训集。
为了滤除这些背景像素，我们还探索了第二种Bbox-Seg方法，在这种方法中，我们执行自动前景/背景分割。为了执行此分段，我们使用与DeepLab中相同的CRF。更具体地说，我们将边框的中心区域(框内像素的百分比)限制为前景，而将边框外的像素限制为背景。我们通过适当设置CRF的一元项来实现这一点，然后推断出像素之间的标签。我们交叉验证CRF参数，以最大限度地提高分割精度在一组小的完全标注的图像。这种方法类似于[34]的抓取法。用这两种方法估计分段的例子如图4所示。