A Simple Baseline for Semi-supervised Semantic Segmentation with Strong Data Augmentation

作者认为前人没有使用强增强，是因为强增强引起的分布差异会损害BN，作者在AdvProp和Randaugment: Practical automated data augmentation with a reduced search space的基础上在半监督语义分割上进行强增强，并利用辅助BN的方法防止特征偏移，另外作者设计了一个自校正损失用来抗噪。

Method

半监督过程：使用标记好的数据和交叉熵训练好教师模型，把未标记好的数据通过教师模型，得到伪标签（with a test-time augmentation）,然后使用强增强来训练未标记的数据。

强增强过程：创建一个操作池如下，在每一次训练的时候，从池中随机选择一系列操作，然后将它们与语义分割的标准转换(random scale, random crop, random flip, etc.)

 Distribution-Specific Batch Normalization

具体来说，我们有两个独立的 BNs：BNw 用于弱/标准增强样本； 和用于强增强样本的 BNs（见图 ）。 在训练阶段，如果数据样本来自伪标签，则在前向使用BNs； 否则，使用 BNw。 在测试阶段，BNs 已被弃用，仅使用 BNw 进行归一化：

 Self-correction Loss

交叉熵容易过拟合一些简单的类但是难以学习一些较难的类，为了避免伪标签中的过度拟合，提出了一种用于语义分割的自校正损失（SCL）

 wi 表示所有 c 类中 softmax 后激活最大的动态权重

yi* 表示一个像素的预测，yi 表示教师模型生成的伪标签