Semi-Supervised Semantic Segmentation Using Unreliable Pseudo-Labels

最近在关注$CVPR2022$一些比较好的文章，也在做一些关于$objectcontext$的工作。好久没有好好更新博客了，今天想和大家分享下最近看的一篇我认为做的比较好的文章，问题的切入角度很好，文章也写得不错。
标题为Semi-Supervised Semantic Segmentation Using Unreliable Pseudo-Labels。
最后总结了最近对于读的一些关于$objectcontext$处理的论文。这应该是分享的最后一篇论文了，博主之后会进行《百面机器学习》或者算法相关内容的整理，要去实习了qaq~~，大家多多支持！！

`

---

1. Introduction

在半监督工作中，最常见的做法是把$unlabeleddata$ 经过用$labeleddata$训练好的模型得到的预测结果作为伪标签计算$unsupervisedloss$。但是为了尽可能保证伪标签的质量，常常选择那些$highlyconfident$的预测结果，而舍弃那些置信度低的。

• 作者认为在这个过程中有相当一部分$pixel$是不会出现在训练过程中的，这样对于某些本来数据量就小的类别来说，会使得其训练更加不平衡（相当于$unlabeleddata$为本来就数量多的类别提供了更多的训练集）。
• 作者认为如何更好地利用这些$unreliable$的伪标签是一个非常重要的待解决的问题。本文抓住了这些$unreliable$标签的一个特点：即虽然有些伪标签是$misclassified$（可能在$GroundTruth$和某几个类别之间容易混淆），但是它可以非常确定地不属于其他类别。作者给了一个例子，如下图：
  
  
  对于白色十字位置的特征分类可能会出现$Figured$的预测情况，虽然误分类成了$person$，但是在$car$,$train$等类的置信度确极低，也就是说可以比较肯定地确定不属于$car$,$train$类别。作者认为像这样的$unreliable$的样本也是有意义的，可以利用它提供的信息提高分割精度。
• 作者提出了$U^{2}PL$$(UsingUnreliablePseudo-Labels)$,并在 $PASCALVOC2012$和 $Cityscapes$上进行了实验验证。

2. Related Works

• Semi-Supervised Learning
  相比较于 $CutOut$, $CutMix$, $ClassMix$这些用了较强的数据增强外，我们的方法则$focus$到那些$unreliablepixel$的利用上。
• Pseudo-Labeling
  $FixMatch$设置$confidencethreshold$来选择伪标签;$UPS$则是在$FixMatch$的基础上考虑到了模型不确定性和数据不确定性。
• Model Uncertainty
  贝叶斯深度学习网络常常用来估计模型不确定性，这里我们仅用$pixel-wise$的$entropy$作为评估准则。
• Contrastive Learning
  同样作者认为现有的网络在计算$contrastiveloss$的计算没有利用$unreliablepixel$的信息。
• Negative Learning
  通过降低负样本的概率来降低信息错误的风险，但是这些负样本仍然具有很高的置信度。

3. Methods

3.1 Overview

• 上图是作者提出的一个主要的网络结构，分为教师网络和学生网络：我们学生网络权重更新和一般网络更新过程相同，教师网络用$EMA$更新网络权重。
  在训练过程中，我们等量地选取$B_l$张$labeledimages$和$B_u$张$unlabeledimages$，对于每张带标签的图像我们的目的是减小$crossentropyloss$；对于每张$unlabeledimage$，我们首先让其经过$teachermodel$进行预测，然后选择那些$reliable$的伪标签计算$unsupervisedloss$；对于剩余的$unreliable$的标签我们将通过$contrastiveloss$将其利用起来。因此整个$loss$分为三大部分：
  $$L=L_s+\lambda L_u+{\lambda }_c{L}_c$$
  其中$L_s$和$L_u$都是$CEloss$:
  
  
  其中y为$unlabeleddata$和$labeleddata$的标签，$f\ast h$为网络预测组合，其中$h$为$encoder$部分，$f$为$segmentationhead$.

  剩余的$contrastiveloss$我们将在3.2部分结合具体过程进行介绍，方便大家理解。
  先给出contrastive loss的公式：
  

3.2 Pseudo-Labeling

首先我们要确定什么样的伪标签是$reliable$的，什么样的是$unreliable$的，根据前面作者提出的问题，我们可以得到像素预测类别分布越均匀越不利于我们判断，这样的点是$unreliable$的，说明该点同样是难分割的；相反，如果该点的预测分布是有明显倾向的，则认为这样的点是$reliable$的。我们希望用一个指标来表示这种标准，显然应该用信息熵来说明：

因此，我们定义第$i$张$unlabeledimage$的第$j$个像素的伪标签为：

其中，${\gamma }_t$表示选取${\alpha }_t$比例的$unreliable$像素点所对应的$threshold$，有：
$${\gamma }_t=np.percentile(H.flatten(),100\ast (1-{\alpha }_t))$$
其中，随着训练迭代数的增加，${\alpha }_t$的大小是逐渐增加的，文中作者定义为线性增加：

而其中$unsupervisedloss$的权重${\lambda }_u$也是变化的，

3.3 Using Unreliable Pseudo-Labels

那么问题关键也是文章最大的创新点是我们如何利用这些$unreliablepseudolabels$，如我们前面图所示，虽然白色箭头位置不能区分是$person$和$motorbike$，但是我们可以模型可以比较确定其不为$car$,$train$,$bicycle$。因此作者提出不如把这些点作为这些类别$(car.etal)$的负样本，进而引入$contrastiveloss$。具体来说，作者提出的$U^{2}PL$包括三部分：

1. anchor pixels(queries)
2. positive samples for each anchor
3. negative samples for each anchor

下面我们将对这三部分进行逐一详细介绍：

首先是anchor pixel，顾名思义，锚点，我们先介绍这部分点的特征：锚点分别从$unlabeleddata$和$labeleddata$中进行选择，以$unlabeleddata$为例，即选择那些$threshold>0.3$并且预测为该类别的点，对于$unlabel$的数据来说，锚点一定从$reliable$的伪标签中选择：


对于$labeled$数据同样，最终两者集合组成锚点集。

Positive samples定义比较简单：

$positivesamples$对于所有$anchor$来说是相同的，定义为所有$anchor$的中心。

Negative samples

对于$negativesamples$我们定义$0-1$指示变量$n_{ij}(c)$为第$c$个类别的第$i$张图像的第$j$个像素是否为负样本。判断是否为负样本需要满足以下条件：

• 对于$labeledimage$来说，一个类别的负样本定义为：
  （1）不属于类别$c$；（2）难以区分是$c$类别还是其$GroundTruth$
  说白了对于$labeledimage$来说，每个类别对应的负样本是该类别的易混样本，比如上图中的$person$和$motorbike$.
• 对于$unlabeledimage$来说，一个类别的负样本定义为：
  （1）伪标签是$unreliable$的；（2）可能不属于$c$类别；（3）不属于大部分不可能的类别

$negativesamples$对于所有$anchor$来说也是相同的，对于每个$anchor$来说有$N$个$negativesamples$。

作者给出了以上标准的数学定义：定义$O_{ij}=argsort(p_{ij})$,表示像素点$p_{ij}$预测类别的排序，很显然有$O_{ij}(argmax{p}_{ij})=0$和$O_{ij}(argmin{p}_{ij})=C-1$,这点比较显然，我们举个例子来说明，假设第$(i,j)$个位置的预测值为：$$[0.3,0.28,0.15,0.025,0.025,0.02,0.02,0.02,0.02,0.02,0.015,0.015,0.015,0.01,0.01,0.01,0.01,0.01,0.01,0.01,0.005]$$

一共有$20$个类别，进行排序后，概率最大$0.3$出现的位置为第$0$个位置；概率最小$0.005$出现的位置为第$19$个位置，即$C-1$.

定义$n_{ij}^l(c)$为：

其中$r_l$是$lowrankthreshold$,在实验过程中设置为$3$，我们仍然以前面的预测值为例，假设该点是第$c$个类别的概率为$0.28$，也即$O_{ij}(c)=2$,而事实上该点的$GroundTruth$为$0.15$对应的类别，这样的点就满足上式，可以被认为是第$c$个类别的负样本，也是属于和第$c$个类别不易区分的点。

同理，

其中$r_l$和$r_h$分别为$3$和$20$，即该点的伪标签首先是不可靠的，其次位置处于$3-20$之间，同样以上述的预测值为例，假设第$c$个类别的预测概率为$0.01$，处在排名靠后的位置，而且整个预测分布是比较均匀的，信息熵比较大，属于不可靠的伪标签。

Category-wise Memory Bank

因为在有的$mini-batch$中，某个类别的负样本很有限，因此作者定义了一个$category-wisememorybank（FIFOqueue）$来存储。

在上面的过程中我们了解了每个类别的$positivesample$、$negativesample$以及$anchorpixel$之后，再看$contrastiveloss$就比较好理解。

该$loss$可以理解为是为了尽量减少$anchorpixel$和$positivesample$的距离，增大和$negativesample$的距离从而提高模型的分割效果。

3.4 Pseudo Code

4. Experiments

实验中和一些比较常见的半监督方法进行了比较，并且在不同比例的$labeleddata$和$unlabeleddata$情况下给出了对比结果，可以看到$U^{2}PL$+$CutMix$方法相比于其他方法是有提升的，特别是在$labeleddata$所占比例特别小的情况下。

• 在$PASCALVOC$上的不同划分比例下的表现效果
  
• 在$blenderPASCALVOC$上不同划分下的表现效果
  
• 在$cityscapes$上不同划分比例下的表现效果
  

Ablation Study

Effectiveness of Using Unreliable Pseudo-Labels

证明了利用$unreliablepseudopixels$确实可以给模型带来提升。

Effectiveness of Probability Rank Threshold

Section 3.3中$r_l$和$r_h$的选择对模型精度的影响，反映的是在整个数据集上的一个平均表现。
Effectiveness of Components

Ablation Study on Hyper-parameters

5. Conclusion

总的来说，这篇文章确实从一个很好的角度尝试解决了一些在半监督方法中没能被利用的$unreliablepixels$的问题，思路是非常值得我们借鉴和思考的！！

6. Object Context Related Works

• OCR: https://arxiv.org/pdf/1909.11065.pdf
• Context Prior for Scene Segmentation: https://arxiv.org/pdf/2004.01547.pdf
• ACFNet: https://arxiv.org/abs/1909.09408
• Class-wise GCN: https://link.springer.com/chapter/10.1007/978-3-030-58520-4_1