Augmentation Matters：一种简单而有效的半监督语义分割方法(CVPR2023)

Augmentation Matters: A Simple-yet-Effective Approach to Semi-supervised Semantic Segmentation

摘要

最近关于半监督语义分割（SSS）的研究进展迅速。尽管它们的性能很有希望，但目前最先进的方法往往以引入更多的网络组件和额外的训练程序为代价，进行越来越复杂的设计。
本文方法

1. 遵循标准的教师-学生框架，并提出了AugSeg，这是一种简单而干净的方法，主要关注数据扰动，以提高SSS性能。
2. 应该调整各种数据增强，以更好地适应半监督的场景，而不是直接应用监督学习中的这些技术
3. 本文采用了一种简化的基于强度的增强方法，该方法从连续空间中选择随机数目的数据变换，并对失真强度进行均匀采样。
4. 基于模型对不同未标记样本的估计置信度，随机注入标记信息，以自适应的方式增强未标记样本。
   
   

本文方法

1. 标准的师生框架
2. AugSeg通过分别最小化相应的监督损失Lx和无监督一致性损失Lu
3. 在标记数据（x，y）和未标记数据u上训练由θs参数化的学生模型，由θt参数化的教师模型通过θs的指数移动平均（EMA）进行更新，并在未标记数据上生成伪标签pt。
4. AugSeg的核心是对输入的未标记样本应用各种增强技术，包括弱几何增强Ag、基于随机强度的增强Ar和自适应标签辅助增强Aa。
5. 红线和蓝线分别表示标记数据和未标记数据的正向路径。虚线表示“停止坡度”
   

Random Intensity-based Augmentations

基于随机强度的增强：
在连续空间而不是有限离散空间中均匀地采样失真度
从扩充池中采样随机数目的扩充，以最大值k为界，而不是使用固定数
在增强池中删除基于强度的强转换，如反转操作。我们的池是从RandomAug中的池直接简化而来的，如表2所示。

基于随机强度的增强可以享受更好的数据多样性，并更多地适应semisuspervisored任务。
高度随机设计不会显著损害数据分布。因此，我们可以摆脱额外的特定于分发的修订和额外的过滤策略。

Adaptive Label-aided CutMix

与CutMix相关的或复制粘贴增强在监督和半监督分割任务中显示了其有效性。SSS中的最新研究在小批量内的未标记样本之间应用随机复制粘贴，并相应地修改其伪标签，然而，高度依赖伪标签可能不可避免地导致确认偏差，特别是对于一些难以训练的样本，或者在早期训练阶段。

因此，我们倾向于利用有信心的标记样本来增加未标记的数据，从而可以充分利用标记的信息。然而，将有信心的标记信息与未标记数据混合自然是有益的，但可能会充分利用未标记数据。这只是因为未标记数据的一些区域被标记样本的区域覆盖，并且在训练过程中从未使用过

设计了一种自适应标签辅助增强，可以充分利用标记数据，以特定于实例和置信度自适应的方式帮助对未标记样本进行训练。具体而言，我们首先估计置信度得分ρi，表示当前模型对第i个未标记实例的预测的置信度

实验结果