[AugSeg笔记] 半监督语义分割--基于cutmix改进的自适应注入标记增强方法

分享一篇2023年CVPR的文章，针对半监督语义分割数据增强方法。

概要

作者指出最近的半监督语义分割（SSS）的研究取得了快速进展。尽管它们的性能很有前途，但当前最先进的方法倾向于日益复杂的设计，但代价是引入更多的网络组件和额外的训练程序。不同的是，在这项工作中，遵循标准的师生框架并提出 AugSeg，是一种简单而干净的方法，主要关注数据扰动以提高 SSS 性能。

创新一：random intensity-based augmentation

挑战：
首先指出现存的数据增强策略基本都是为监督学习设计的，其目的都是获取特定的最优增强策略。 然而，半监督学习中数据扰动的目标是从同一图像生成两个不同的视图，不需要特定的最佳增强策略。过度扭曲的增强会损害数据分布并降低SSS性能。

解决：
为此，作者设计了一种基于随机强度的增强（用 Ar 表示）来扰乱未标记的数据。主要分为以下三条措施：

1. 在连续空间而不是有限离散空间中选择增强策略。
2. 从增强池中采样随机数量的增强，以 k 的最大值为界，而不是使用固定数量。
3. 删除增强池中基于强度的强变换，例如反转操作。

下图为设定的连续空间的数据增强策略，random intensity-based augmentation是为半监督设定的增强池。

创新二：Adaptive CutMix-based augmentations

挑战：
作者首先强调了CutMix作为半监督学习的一种强扰动分支十分有效，但是强调了一个问题，就是前面学者的工作都仅仅是把CutMix用在unlabel之间，他认为这种这种方式会不可避免的为模型带来偏差，尤其是对那些难以训练的数据样本，以及在训练早期阶段。作者的观点就是，对于难以训练的数据样本来说，伪标签本来就带有大量的错误，再CutMix一个新生成的错误样本进行，只会让模型更加累计偏差走偏。模型训练早期也和这个类似，早期模型性能本来就不行，再用CutMix一个新生成的错误样本加入训练，同样会累计偏差，降低模型性能。
解决：
因此基于以上分析，作者的想法是，既然无法保证unlabel的伪标签都是正确的，那就强行注入一个正确的进去，强行进行监督。也就是label和unlabel进行CutMix。但是这个想法还是有一个风险，unlabel那些被label的CutMix后，完全遮挡住了，相当于unlabel中被遮挡住的这一块区域就完全浪费掉了，万一这个区域恰恰包含重要信息呢？这样无疑就降低了对unlabel的利用，违背了半监督学习的初衷，也就是对unlabel数据充分使用。那么如何解决这个unlabel没有被充分使用的问题？于是就设计了这个叫做自适应标记注入增强：

对unlabel区域计算一个置信度得分，置信度高的区域就是需要重点学习的重要信息，不与label进行cutmix；置信度低的区域相当于难以训练的样本，容易带来偏差，与label进行cutmix，强行进行监督。解决了unlabel没有被充分使用的问题。

计算过程主要分三步：

1. 计算当前模型在第i个unlabel实例的predict的置信度分数Pi（计算每个像素的置信度）；
   

2. 使用归一化预测熵的加权平均值来估计unlabel样本 ui 的置信度得分ρ（计算整个的置信度）；使用ρi作为触发概率，随机的应用于label与unlabel之间的CutMix混合，得到混合候选；
   

3. 得到混合候选后，执行最后的混合，即将unlabel样本u_m与上一步得到的排列的混合候选进行混合。
   
   注：其中Mn和Mm都是随机生成的mask块。

下图就是自适应标记注入增强，其中u1,u2,u3为unlabel样本，x1,x2,x3为label样本。为了便于大家理解，我标记出了一个红框（代表正常的cutmix）以及加入y1,y2,y3标记便于讲解。主要分为三步：

1. 首先对unlabel样本u1,u2,u3打乱顺序后，为u2,u1,u3；
2. 计算每个unlabel样本的置信度得分ρ，其中u2和u3的置信度得分较低，分别需要与x1,x3进行cutmix；u1的置信度得分较高，因此不与x2进行cutmix；
3. 通过与label样本进行的自适应标记注入后得到y1,y2,y3后，再分别与u1,u2,u3进行cutmix得到最终结果。

注意：其中红框内，只进行最基础的cutmix操作，因为u1的置信度得分较高，属于unlabel中的重要区域，因此不与label进行cutmix。

实验结果

下图是与当前的一些SOTA方法比较：

下图是进行的消融实验：

下图是分别在Pascal VOC 和 Cityscapes两个数据集上进行的实验结果：

小结

作者主要总结了现有半监督工作主要集中于各种模型扰动以及多个集成模型和额外的校正网络以获得有竞争力的SSS性能。尽管其性能很有前景，但沿着这条线的 SSS 研究是以需要更复杂的方法为代价的，例如额外的网络组件或额外的训练程序。在这篇文章中，打破了最近 SOTA 方法结合日益复杂的技术的趋势，提出了一种简单但有效的方法，主要关注数据扰动以提高 SSS 性能。
下图是现有半监督工作方法使用的一些东西，相比而言，AugSeg的方法仅使用数据扰动也能获得不错的性能提升。

• SDA：强大的数据增强
• FT：基于特征的增强
• MBLS：多个分支、训练阶段或损失
• CT：协同训练
• UCL：无监督对比学习
• UAFS：不确定性/注意力过滤/采样
• ACN：附加校正网络
• PR ：基于先验的重新平衡技术

论文地址

pdf地址

代码地址

https://github.com/zhenzhao/AugSeg