[半监督学习] ReMixMatch: Semi-Supervised Learning with Distribution Alignment and Augmentation Anchoring

改进了 MixMatch 半监督学习算法, 引入了两种新技术: 分布对齐(Distribution Alignment)和强增广锚点 (Augmentation Anchoring). 分布对齐鼓励未标记数据预测的边际分布接近真实标签的边际分布. 强增广锚点将输入的多个强增强版本输入到模型中, 并鼓励每个输出接近同一输入的弱增强版本的预测.

论文地址: ReMixMatch: Semi-Supervised Learning with Distribution Alignment and Augmentation Anchoring
代码地址: https://github.com/google-research/remixmatch
会议: ICLR 2020
任务: 分类

在 MixMatch 的基础上, 原作者自己提出了改进版本: ReMixMatch. 关于 MixMatch 的介绍, 可以参考上一篇文章: https://blog.csdn.net/by6671715/article/details/122766432?spm=1001.2014.3001.5501.

ReMixMatch 与 MixMatch 主要的区别在于, ReMixMatch 改进了两个地方: 分布对齐, 强增广锚点.

分布对齐(Distribution Alignment)

Distribution Alignment 强制要求未标记数据的预测集合与提供的标记数据的分布相匹配, 即根据有标签数据的标签分布, 对无标签的"猜测"标签进行对齐.

Distribution Alignment 可描述如下: 在训练过程中, 我们保持模型对未标记数据的预测的平均值, 称之为 $\tilde{p}(y)$, 即移动平均分布. 给定模型对未标记示例 $u$ 的预测 $q=p_{model}(y|u;\theta )$, 我们通过比率 $p(y)/\tilde{p}(y)$ 对 $q$ 进行缩放, 其中 $p(y)$ 为标签数据的标签分布, 然后重新规范化结果以形成有效的概率分布: $\tilde{q}=\mathrm{Normalize}(q\times p(y)/\tilde{p}(y))$, 其中 $\mathrm{Normalize}(x{)}_i=x_i/{\sum }_j{x}_j$. 然后, 我们使用 $\tilde{q}$ 作为 $u$ 的标签猜测, 并像 MixMatch 一样进行锐化和其他处理.

强增广锚点(Augmentation Anchoring)

在 MixMatch 中, 通过对无标签数据做 $K$ 次增强后取平均得到猜测标签, 再与通过对标签数据做 $1$ 次增强后的结果做一致性正则.
在 ReMixMatch 中, 对同一无标签数据使用弱增强和强增强, 前者直接指定为猜测标签, 后者再与前者做一致性正则.

在少标签 SSL 情况下, AutoAugment, RandAugment 方法存在一些问题, 因此, 开发了 CTAugment, 一种设计高性能增强策略的替代方法. 与 RandAugment 一样, CTAugment 还对变换进行统一随机采样, CTAugment 不需要在有监督的代理任务上进行优化, 并且没有敏感的超参数, 因此可以直接将其包含在半监督模型中, 以在半监督学习中进行更积极的数据增强实验.

损失函数(Loss Function)

ReMixMatch 算法描述如下:

ReMixMatch 算法同时还输出 ${\hat{\mathcal{U}}}_1$, 它由每个未标记图像的大幅增强版本及其猜测标签组成. ${\hat{\mathcal{U}}}_1$ 还用于两个额外的损失项, 除了提高稳定性外, 还提供了性能的轻微提升, 损失函数如下:
$$\sum _{x,p\in {\mathcal{X}}^{\prime }}\mathrm{H}(p,p_{model}(y|x;\theta ))+{\lambda }_{\mathcal{U}}\sum _{u,q\in {\mathcal{U}}^{\prime }}\mathrm{H}(q,p_{model}(y|u;\theta ))+{\lambda }_{{\hat{\mathcal{U}}}_1^{\prime }}\sum _{u,q\in {\mathcal{U}}_1^{\prime }}\mathrm{H}(q,p_{model}(y|u;\theta ))+{\lambda }_r\sum _{u\in {\mathcal{U}}_1^{\prime }}\mathrm{H}(r,p_{model}(r|\mathrm{Rotate}(u,r);\theta ))$$
将自监督学习(Self-supervised learning)的思想应用于 SSL 可以产生强大的性能. 所以通过旋转每个图像 $u\in \widehat{{\mathcal{U}}_1^{\prime }}$ , $\mathrm{Rotate}(u,r)$ 来整合这个想法, 其中从 $r$ 均匀地采样旋转角度 $r\sim \{0,90,180,270\}$, 然后要求模型作为四类分类问题预测旋转量.