[CVPR2022] DASO: Distribution-Aware Semantics-Oriented Pseudo-Label for Imbalanced Semi-Supervised

DASO: Distribution-Aware Semantics-Oriented Pseudo-Label for Imbalanced Semi-Supervised Learning

要点：

1、传统的半监督学习：类不平衡、标记数据与未标记数据之间的类分布不匹配，导致伪标签的严重偏差
2、新的通用伪标记框架 —— DASO
（a）通用的伪标记框架，将 “基于相似性的分类器中的语义伪标签” 与 “线性分类器中的线性伪标签” 进行类自适应混合
（b）两种伪标签在偏向性方面具有互补特性
（c）引入新的语义对齐损失来建立平衡的特征表示，以减小分类器的偏差预测

相关工作

类不平衡学习 Class-imbalanced learning：

1、现实世界动态特性的数据集：类不平衡、长尾分布
2、深度学习不能很好地泛化到罕见的类
3、传统方法：重采样、代价敏感的重加权、表示和分类的解耦
4、近期研究：跨类学习专家模型、损失计算阶段对数据分布做重平衡
5、本文方法：关注于减轻半监督学习中由于标签的类不平衡、标记与未标记数据间的分布不匹配而导致的伪标签偏差

半监督学习 SSL：

1、预测偏差

图表：

DASO 框架：
1、混合来自不同分类器的互补伪标签，减小了来自未标记数据的伪标签的总体偏差
2、偏差基于相对伪标签大小计算

代码：

https://github.com/ytaek-oh/daso