[半监督学习] FixMatch: Simplifying Semi-Supervised Learning with Consistency and Confidence

FixMatch 是对现有 SSL 方法的简化. FixMatch 首先对弱增强的未标记图像生成伪标签, 接着, 对同一图像进行强增强后, 再计算其预测分布, 最后计算强增强的预测与伪标签之间的交叉熵损失.

论文地址: FixMatch: Simplifying Semi-Supervised Learning with Consistency and Confidence
代码地址: https://github.com/google-research/fixmatch
会议: NeurIPS 2020
任务: 分类

FixMatch

FixMatch 是 SSL 两种方法的组合: 一致性正则化和伪标签. 它的新颖之处在于这两种方法的组合以及在执行一致性正则化时使用单独的弱增强和强增强.

FixMatch 简要示意图如下:

将弱增强图像输入模型, 当某一预测类别概率高于阈值(虚线)时, 预测将转换为 one-hot 伪标签. 然后, 计算模型对同一图像的强增强的预测. 计算强增强的预测与伪标签之间的交叉熵损失.

文中符号系统如下:

• $\mathcal{X}=((x_b,p_b);b\in (1,\dots ,B))$ 为一个 batch_size $B$ 的带标签示例.
• $\mathcal{U}=((u_b);b\in (1,\dots ,\mu B)$ 为一个 batch_size $\mu B$ 的无标签示例, 其中 $\mu$ 是确定 $\mathcal{X}$ 和 $\mathcal{U}$ 相对大小的超参数.
• $p_m(y|x)$ 为预测类别分布.
• $\mathrm{H}(p,q)$ 为两个概率$p$, $q$分布之间的交叉熵.
• $\mathcal{A}()$, $\alpha ()$ 分别为不同类型的增强.

一致性正则化及伪标签方法简要介绍如下:

Consistency regularization. 关于一致性正则化, 核心就是基于平滑假设, 模型对于对增强后数据的预测应与原始数据预测的结果一致.
Pseudo-labeling. 即利用模型本身来获取未标记数据的人工标签. 更具体地说, $p_b$ 的伪标签 $q_b$ 可以分别定义为基于锐化的连续分布(软)或基于 $\mathrm{argmax}$ 操作的独热分布(硬). 在本文里, 人工标签一般指"硬"标签, 并且只保留最大类别概率高于预定阈值的情况. pseudo-labeling 使用如下损失函数:
$$\frac{1}{\mu B}\sum _{b=1}^{\mu b}(\max (q_b)\ge \tau )\mathrm{H}({\hat{q}}_b,q_b)\text{\hspace{1em}(1)}$$
其中 $q_b=p_m(y|u_b)$, ${\hat{q}}_b=\mathrm{argmax}(q_b)$, $\tau$ 为阈值. 鼓励模型的预测是对未标记数据的低熵, 或者说是高置信度.

FixMatch 算法

FixMatch 的损失函数由两个交叉熵损失项组成: 应用于标记数据的监督损失 ${\ell }_s$ 和无监督损失 ${\ell }_u$. 具体来说, ${\ell }_s$ 只是弱增强标记示例上的标准交叉熵损失:
$${\ell }_s=\frac{1}{B}\sum _{b=1}^B\mathrm{B}(p_b,p_m(y|\alpha (x_b)))\text{\hspace{1em}(2)}$$
FixMatch 为每个未标记的示例计算一个人工标签, 然后将其用于标准交叉熵损失. 为了获得人工标签, 首先在给定未标记图像的弱增强版本的情况下计算模型的预测类别分布: $q_b=p_m(y|\alpha (u_b))$. 然后, 使用 ${\hat{q}}_b=\mathrm{argmax}(q_b)$ 作为伪标签, 与 $u_b$ 的强增强版本做交叉熵损失:
$${\ell }_u=\frac{1}{\mu B}\sum _{b=1}^{\mu B}(\max (q_b)\ge \tau )\mathrm{H}({\hat{q}}_b,p_m(y|\mathcal{A}(u_b)))\text{\hspace{1em}(3)}$$
综上, FixMatch 的损失函数定义为: $loss={\ell }_s+\lambda {\ell }_u$. 完整的算法如下:

• 1.计算弱增强标签数据集上的交叉熵损失 ${\ell }_s$.
• 2.对每一个 $\mu B$ batch, 计算弱增强无标签数据集上的预测分布及伪标签 $q_b$, ${\hat{q}}_b$.
• 3.计算无标签数据交叉熵损失 ${\ell }_u$
• 4.得到目标函数总损失 ${\ell }_s+\lambda {\ell }_u$.

FixMatch 中使用的增强方法

FixMatch 利用了两种增强: “弱"和"强”.

• 弱增强是一种标准的翻转和移位增强策略. 例如在数据集上以 50% 的概率随机水平翻转图像, 并且在垂直和水平方向上随机平移.
• 对于"强"增强, 文中尝试了两种基于 AutoAugment 的方法, 然后是 Cutout. AutoAugment 使用强化学习来查找包含来自 Python Imaging Library 的转换的增强策略. 这需要标记数据来学习增强策略, 这使得在可用标记数据有限的 SSL 设置中使用存在问题. 因此, 使用不需要利用标记数据学习增强策略的 AutoAugment 变体, 例如 RandAugment 和 CTAugment. RandAugment 和 CTAugment 都没有使用学习策略, 而是为每个样本随机选择转换. 对于 RandAugment, 控制所有失真严重程度的幅度是从预定义的范围内随机采样的. 具有随机幅度的 RandAugment 也被用于 UDA. 而对于 CTAugment, 单个变换的幅度是即时学习的.

其他

一些其他重要因素会影响 SSL 的性能, 例如: architecture, optimizer, training schedule 等. 经过实验, 文中发现正则化尤为重要. 在所有的模型和实验中, 使用简单的权重衰减正则化. 同时发现使用 Adam 优化器会导致更差的性能, 而使用 SGD 则没有这种情况, 另外, 使用 SGD 和使用 Nesterov 之间没有存在实质性差异. 对于学习率, 使用余弦学习率衰减. 它将学习率设置为 $\eta \cos \frac{7\pi k}{16K}$, 其中 $\eta$ 是初始学习率, $k$ 是当前训练步长, $K$ 是总学习率训练步骤. 最后, 使用模型参数的指数移动平均值(EMA)报告最终性能.

FixMatch 可以很容易地使用 SSL 文献中的技术进行扩展. 例如, 来自 ReMixMatch 的增强锚定和分布对齐. 此外, 可以用与模态无关的增强策略, 例如 MixUp 或对抗性扰动代替 FixMatch 中的强增强. 对抗性扰动在 VAT, Adversarial Dropout 中已经应用. MixUp 也在 MixMatch, ICT 中成功应用.