[半监督学习] Interpolation consistency training for semi-supervised learning

提出插值一致性训练(Interpolation consistency training, ICT), 这是一种简单且效率高的算法, 用于在半监督学习范式中训练深度神经网络. 在分类问题中, ICT 将决策边界移动到数据分布的低密度区域.

论文地址: Interpolation consistency training for semi-supervised learning
算法代码: https://github.com/vikasverma1077/ICT
会议: IJCAI 2019
任务: 分类

低密度分离假设(聚类假设)启发了许多一致性正则化半监督学习技术, 包括 $\Pi$-model, Temporal ensembling, Mean-Teacher, VAT. 另外, 在 ICT 这篇论文之后又出现了 UDA, 其效果比 ICT 还要好.

有研究表明: 对抗性扰动训练会损害泛化性能. 为了克服这个问题, 便提出了插值一致性训练(ICT), 简单来说, ICT 通过在未标记点 $u_1$ , $u_2$ 的插值 $\alpha u_1+(1-\alpha u_2)$ 上的一致性预测 $f(\alpha u_1+(1-\alpha u_2))=\alpha f(u_1)+(1-\alpha )f(u_2)$ 来规范半监督学习.

与监督学习相比, ICT 的决策边界穿越低密度区域, 这将更好地反映未标记数据的结构. 对比结果如下图所示:

插值一致性训练(ICT)

根据论文 Mixup: Beyond empirical risk minimization. In International conference on learning
representations. 给出 mixup 式子:
$${\mathrm{M}\mathrm{i}\mathrm{x}}_{\lambda }(a,b)=\lambda a+(1-\lambda )b\text{\hspace{1em}(1)}$$
ICT 训练分类器 $f_{\theta }$ 以在未标记点的插值中提供一致性预测:
$$f_{\theta }({\mathrm{M}\mathrm{i}\mathrm{x}}_{\lambda }(u_j,u_k))\approx {\mathrm{M}\mathrm{i}\mathrm{x}}_{\lambda }(f_{{\theta }^{\prime }}(u_j),f_{{\theta }^{\prime }}(u_k))\text{\hspace{1em}(2)}$$
其中 ${\theta }^{\prime }$ 时 $\theta$ 的滑动平均. 那么为什么未标记样本之间的插值为半监督训练提供了良好的一致性扰动呢? 有如下解释.

应该应用一致性正则化的最有用的样本是靠近决策边界的样本. 向这种低边距未标记样本 $u_j$ 添加一个小的扰动 $\delta$ 可能会将 $u_j+\delta$ 推到决策边界的另一侧. 这将违反低密度分离假设, 就使 $u_j+\delta$ 成为应用一致性正则化的好位置.

回到低边距未标记点 $u_j$, 如何找到一个扰动 $\delta$, 使得 $u_j$ 和 $u_j+\delta$ 位于决策边界的相对两侧? 而使用随机扰动是一种低效的策略, 因为接近决策边界的方向子集只是环境空间的一小部分. 那么, 可以考虑对第二个随机选择的未标记样本 $u_k$ 进行插值 $u_j+\delta ={\mathrm{M}\mathrm{i}\mathrm{x}}_{\lambda }(u_j,u_k)$. 而两个未标记的样本 $u_j$ 和 $u_k$ 存在下面三种情况:

• (1) 位于同一蔟中
• (2) 位于不同的蔟中, 但属于同一类别
• (3) 位于不同的蔟上, 属于不同的类别

由聚类假设, (1)的概率随类别数的增加而降低. 如果假设每个类别的聚类数是平衡的, 则(2)的概率较低;最后, (3)的概率最高. 然后, 假设 $(u_j,u_k)$ 之一位于决策边界附近(它是执行一致性的一个很好的候选者), 则由于(3)的概率很高, 朝向 $u_k$ 的插值可能指向低密度区域, 其次是另一类的聚类. 由于这是移动决策的不错的方向, 因此对于基于一致性的正则化, 插值是一个很好的扰动.

到目前为止, 随机未标记样本之间的插值可能会落在低密度区域, 因此, 这种插值可以应用基于一致性的正则化. 但是应该如何标记这些插值呢? 与单个未标记样本 $u_j$ 的随机或对抗性扰动不同, ICT 涉及两个未标记示例 $(u_j,u_k)$. 直观地说, 我们希望将决策边界尽可能地推离类别边界, 因为众所周知, 具有大边距的决策边界可以更好地泛化.

在监督学习环境中, mixup 是实现大边距决策边界的一种方法. 在 mixup 中, 通过强制预测模型在样本之间线性变化, 将决策边界推离类别边界, 通过式(2)来完成. 在这里, 通过训练模型 $f_{\theta }$ 来预测 ${\mathrm{M}\mathrm{i}\mathrm{x}}_{\lambda }(u_j,u_k)$ 的"假标签" ${\mathrm{M}\mathrm{i}\mathrm{x}}_{\lambda }(f_{{\theta }^{\prime }}(u_j),f_{{\theta }^{\prime }}(u_k))$ 来将 mixup 扩展到半监督学习. 其中 ${\theta }^{\prime }$ 是 $\theta$ 的滑动平均, 同 Mean-Teacher 中 Teacher model 的 ${\theta }^{\prime }$ 的计算一样.

ICT 模型如下图所示:

• 从联合分布 $P_{XY}(X,Y)$ 提取标记样本 $(x_i,y_i)$ 记为 ${\mathcal{D}}_L$.
• 从边缘分布 $P_X(X)=\frac{P_{XY}(X,Y)}{P_{Y|X}(Y|X)}$ 提取未标记样本 $u_j$, $u_k$ 记为 ${\mathcal{D}}_{ul}$.
• 学习目标是训练一个模型 $f_{\theta }$, 能够从 $X$ 预测 $Y$. 通过使用随机梯度下降, 在每次迭代 $t$ 时, 更新参数 $\theta$ 以最小化损失函数 $L=L_S+w(t)L_{US}$. 其中 $L_S$ 为标记样本上的交叉熵损失, $L_{US}$ 为新的插值上的一致性正则化损失. 两个损失都是在 minibatch 上进行计算的, 每次迭代后 $w(t)$ 都会 ramp up, 以增加 $L_{US}$ 的重要性.

为了计算 $L_{US}$, 对两个小批量未标记点 $u_j$ 和 $u_k$ 进行采样, 并计算它们的假标签 ${\hat{y}}_j=f_{{\theta }^{\prime }}(u_j)$ 和 ${\hat{y}}_k=f_{{\theta }^{\prime }}(u_k)$, 然后, 计算插值 $u_m={\mathrm{M}\mathrm{i}\mathrm{x}}_{\lambda }(u_j,u_k)$, 以及该位置的模型预测 ${\hat{y}}_m=f_{{\theta }^{\prime }}(u_m)$. 接着, 更新参数 $\theta$ 以使预测 ${\hat{y}}_m$ 更接近于假标签的插值 ${\mathrm{M}\mathrm{i}\mathrm{x}}_{\lambda }({\hat{y}}_j,{\hat{y}}_k)$. 预测 ${\hat{y}}_m$ 和 ${\mathrm{M}\mathrm{i}\mathrm{x}}_{\lambda }({\hat{y}}_j,{\hat{y}}_k)$ 之间的差异可以使用任何损失来衡量, 在本文实验中, 使用的是均方误差. 对于式(1), 在每次更新时, 从 $\mathrm{B}\mathrm{e}\mathrm{t}\mathrm{a}(\alpha ,\alpha )$ 中随机抽取一个 $\lambda$.

综上, $L_{UL}$ 可被写为:
$${\mathcal{L}}_{UL}=\underset{u_j,u_k}{E}\underset{\lambda }{E}l(f_{\theta }({\mathrm{M}\mathrm{i}\mathrm{x}}_{\lambda }(u_j,u_k)),{\mathrm{M}\mathrm{i}\mathrm{x}}_{\lambda }(f_{{\theta }^{\prime }}(u_j),f_{{\theta }^{\prime }}(u_k)))\text{\hspace{1em}(3)}$$

ICT 算法流程如下: