[半监督学习] FlexMatch: Boosting Semi-Supervised Learning with Curriculum Pseudo Labeling

在 FixMatch 中, 对所有类别使用预定义的常量阈值来选择有助于训练的未标记数据, 因此无法考虑不同类别的不同学习状态和学习难度, UDA 也是如此. 为解决这个问题, 提出了课程伪标签(Curriculum Pseudo Labeling, CPL), 这是一种根据模型的学习状态来利用未标记数据的课程学习方法. CPL 的核心是在不同时刻灵活地调整不同类别的阈值.

论文地址: FlexMatch: Boosting Semi-Supervised Learning with Curriculum Pseudo Labeling
代码地址: https://github.com/TorchSSL/TorchSSL
会议: NeurIPS 2021
任务: 分类

FlexMatch 使用了 CPL, CPL 是一种课程学习(Curriculum Learning)策略, 考虑到半监督学习中不同的学习状态, CPL 将预定义的阈值替换为灵活的阈值. FlexMatch 只需不到 FixMatch 训练时间的1/5就可以达到最终精度.

课程学习(Curriculum Learning)

根据样本的难易程度, 给不同难度的训练样本分配不同的权重. 初始阶段, 给简单样本的权重最高, 随着训练过程的持续, 较难样本的权重将会逐渐被调高. 将权重动态分配的过程称之为课程(Curriculum), 课程初始阶段简易样本居多, 课程末尾阶段样本难度增加, 即"先易后难".

针对不同的实际问题可以设置不同的样本难易程度评价标准. 例如对于一个原始样本, 对其进行强扰动后, 样本的就由简单变向复杂.

课程伪标签(Curriculum Pseudo Labeling, CPL)

根据学习状态来动态确定阈值并非易事. 最理想的方法是计算每个类的评估准确度并使用它们来缩放阈值:
$${\tau }_t(c)=a_t(c)\cdot \tau \text{\hspace{1em}(1)}$$
其中 ${\tau }_t(c)$ 是 $t$ 时刻 $c$ 类别的灵活阈值, $a_t(c)$ 是相应的评估精度. 由于不能在模型学习过程中使用评估集, 因此必须从训练集中分离一个额外的验证集来进行准确性评估. 但是在 SSL 中, 标记数据原本就十分稀缺, 不能再剥离一部分出去. 其次, 为了在训练过程中动态调整阈值, 必须连续在每个时刻 $t$ 进行准确度评估, 这将大大减慢训练速度.

为解决上述问题, CPL 使用另一种方法来估计学习状态, 它不引入额外的推理过程, 也不需要额外的验证集. 其关键假设是, 通过预测属于该类且高于阈值的样本数量来反映一个类的学习效果, 然后使用它们来调整阈值 ${\tau }_{\tau }$. 如下图所示:

如果一个类具有较少样本且其预测置信度达到阈值, 则称其具有较大的学习难度或较差的学习状态:
$${\sigma }_t(c)=\sum _{n=1}^{N}1(\max (p_{m,t}(y|u_n))>\tau )\cdot 1(\mathrm{argmax}(p_{m,t}(y|u_n))=c)\text{\hspace{1em}(2)}$$
其中 ${\sigma }_t(c)$ 时是在所有样本中对高于固定阈值且属于类别 $c$ 的样本的数目, 反映了类 $c$ 在 $t$ 时刻的学习效果. $p_{m,t}(y|u_n)$ 是模型在 $t$ 时刻对未标记数据 $u_n$ 的预测, $N$ 是未标记数据的总数. 当未标记数据集是平衡的(即属于不同类别的未标记数据的数量相等或接近)时, 较大的 ${\sigma }_t(c)$ 表示更好的学习效果. 通过对 ${\sigma }_t(c)$ 应用以下归一化使其范围在 0 到 1 之间, 然后可以使用它来缩放固定阈值 $\tau$:
$${\beta }_t(c)=\frac{{\sigma }_t(c)}{\underset{c}{\max }{\sigma }_t}\text{\hspace{1em}(3)}$$
$${\tau }_t(c)={\beta }_t(c)\cdot \tau \text{\hspace{1em}(4)}$$
随着学习的进行, 学习状态良好的类的阈值会提高, 以选择性地提取更高质量的样本. 最终, 当所有类都达到可靠的准确度时, 阈值都将接近 $\tau$. 不过阈值并不总是增长态, 如果未标记的数据在后面的迭代中被分类到不同的类别, 阈值也可能会降低. 这个新阈值用于计算 FlexMatch 中的无监督损失, 可以表示为:
$${\mathcal{L}}_{u,t}=\frac{1}{\mu B}\sum _{b=1}^{\mu B}1(\max (q_b)\ge {\tau }_t)\mathrm{H}({\hat{q}}_b,p_m(y|\mathcal{A}(u_b)))\text{\hspace{1em}(5)}$$
其中 $q_b=p_m(y|\alpha (u_b))$, 这份损失的形式结构与 FixMatch 基本一致. 最后, FlexMatch 中的损失表示为有监督和无监督损失的加权组合:
$${\mathcal{L}}_t={\mathcal{L}}_s+\lambda {\mathcal{L}}_{u,t}\text{\hspace{1em}(6)}$$
其中 ${\mathcal{L}}_s$ 为有监督损失:
$${\mathcal{L}}_s=\frac{1}{B}\sum _{b=1}^B\mathrm{H}(y_b,p_m(y|\alpha (x_b)))\text{\hspace{1em}(7)}$$

其他

为避免早阶段训练可能出现的盲目预测, 将式(3)改写为:
$${\beta }_t(c)=\frac{{\sigma }_t(c)}{\max \{\underset{c}{\max }{\sigma }_t,N-\sum _c{\sigma }_t\}}\text{\hspace{1em}(8)}$$
这确保了在训练开始时, 所有估计的学习效果从 0 逐渐上升, 直到未使用的未标记数据的数量 $N-\sum _c{\sigma }_t$ 不再占主导地位.

同时, 还提出一个非线性映射函数 $\mathcal{M}$, 当 ${\beta }_t(c)$ 均匀地从 0 到 1 范围内变化时, 使阈值具有非线性的增加曲线:
$${\tau }_t(c)=\mathcal{M}({\beta }_t(c))\cdot \tau \text{\hspace{1em}(9)}$$
显然, 如果 $\mathcal{M}$ 为恒等函数时, 式(9)与式(4)相同. 并且映射函数是单调递增的, 最大值不大于 $1/\tau$. 在文献中, 选择凸函数 $\mathcal{M}(x)=\frac{x}{2-x}$ 作为映射函数.

FlexMatch 完整算法如下:

代码地址: https://github.com/TorchSSL/TorchSSL