[半监督学习] Adversarial Dropout for Supervised and Semi-Supervised Learning

引入了对抗性 dropout(AdD), 可最大限度地提高具有 dropouts 的网络输出之间的差异. 识别出的对抗性 dropout 用于在训练过程中自动重新配置神经网络, 是 Virtual Adverarial Training(VAT)的变种, 原来在 input data 上加对抗干扰, AdD 则是在网络中间层进行对抗性 dropout.

在介绍对抗性 dropout 之前, 这里简要介绍深度神经网络(DNN)的随机噪声层, 以及对抗性训练(Adversarial Training)和自集成模型(Self-Ensembling Model), 这些方法与对抗性 dropout 密切相关.

1. Noise Layers

定义 $h^{(l)}$ 为神经网络的第 $l$ 层隐藏层, 这一层可以用带噪声的层 ${\tilde{h}}^{(l)}$ 替换. 我们可以有如下不同的噪声类型:

• 加性高斯噪声(Additive Gaussian noise). ${\tilde{h}}^{(l)}=h^{(l)}+\gamma$, 其中 $\gamma \sim \mathcal{N}(0,{\sigma }^2{\mathbf{I}}_{d\times d})$, 用 ${\sigma }^2$ 来限制噪声的程度.
• Droupout noise. ${\tilde{h}}^{(l)}=h^{(l)}\odot ϵ$, 噪声向量 ${ϵ}_i\sim Bernoulli(1-p)$

加性高斯噪声和 dropout 噪声都是泛化技术, 用于增加训练模型的通用性, 但它们具有不同的属性. 加性高斯噪声增加了决策边界的范围, 而 dropout 噪声使模型变得稀疏. 这些噪声层可以很容易地包含在深度神经网络中.

2. Self-Ensembling Model

自集成构建了一个损失函数, 该损失函数可以最小化来自具有相同输入的两个采样的两个输出之间的差异. 正则化项可以解释如下:
$${\mathcal{L}}_{SE}:=D[f_{\theta }(x,{ϵ}^1),f_{\theta }(x,{ϵ}^2)]\text{\hspace{1em}(1)}$$
其中 ${ϵ}^1$ 和 ${ϵ}^2$ 分别是参数为 $\theta$ 的神经网络 $f_{\theta }$ 中随机采样的 dropout 噪声. $D$ 为距离度量函数, 可以为交叉熵, KL 散度等. $\Pi$-model 为典型的自集成模型. 当一个 dropout 神经网络被对抗性采样时, 对抗性 dropout 可以看作是 $\Pi$-model 的一个特例.

3. Adversarial Training

对抗训练(AT)的基本概念是在训练过程中结合对抗性示例. 通过包含对抗性示例的附加损失函数, 其可以定义为广义形式:
$${\mathcal{L}}_{AT}(x,y;\theta ,\delta ):=D[g(x,y,\theta ),f_{\theta }(x+{\gamma }^{adv})]\text{\hspace{1em}(2)}$$
其中 ${\gamma }^{adv}:=\underset{\gamma }{\mathrm{argmax}}\Vert \gamma {\Vert }_{\infty }\le {\delta }^{D[g(x,y,\theta ),f_{\theta }(x+\gamma )]}$. $\delta$ 是控制对抗扰动 ${\gamma }^{adv}$ 强度的超参数. 函数 $f_{\theta }(x)$ 是要学习的神经网络的输出分布. 通过不同的 $g(x,y,\theta )$, 对抗训练有下面几种方式:

• Adversarial training (AT).
• Virtual adversarial training (VAT). VAT 已经在前面的文章中介绍过了.
  文章地址: https://blog.csdn.net/by6671715/article/details/122723657?spm=1001.2014.3001.5501.
  论文地址: https://arxiv.org/abs/1704.03976

4. Adversarial Dropout(AdD) 方法

4.1 General Expression of Adversarial Dropout

结合对抗 dropout 的附加损失函数的描述如下:
$${\mathcal{L}}_{AdD}(x,y,{ϵ}^s;\theta ,\delta ):=D[g(x,y,\theta ),f_{\theta }(x,{ϵ}^{adv})]\text{\hspace{1em}(3)}$$
其中 ${ϵ}^{adv}:=\underset{ϵ}{\mathrm{argmax}}\Vert {ϵ}^s-ϵ\Vert \le \delta H^{D[g(x,y,\theta ),f_{\theta }(x,ϵ)]}$, ${ϵ}^{adv}$ 为 adversarial dropout mask, ${ϵ}^s$ 为随机采样 dropout mask, $H$ 为 dropout layer 的维度.

引入边界条件 $\Vert {ϵ}^s-ϵ{\Vert }_2\le \delta H$. 如果没有这个约束, 具有对抗 dropout 的网络可能会变成没有连接的神经网络层. 通过用随机 dropout 限制对抗性 dropout, 防止找到这种不支持反向传播的非理性层.

在对抗性训练的一般形式中, 关键点是线性扰动 ${\gamma }^{adv}$ 的存在. 可以将具有对抗性扰动的输入解释为对抗性噪声输入 ${\tilde{x}}^{adv}=x+{\gamma }^{adv}$. 从这个角度来看, 对抗训练的作者将对抗方向限制在加性高斯噪声 $\tilde{x}=x+{\gamma }^0$ 的空间上, 其中 ${\gamma }^0$ 是输入层上的采样高斯噪声. 相比之下, 对抗性 dropout 可以被认为是通过 masking 隐藏单元产生的噪声空间, ${\tilde{h}}^{(adv)}=h\odot {ϵ}^{adv}$, ${ϵ}^{adv}$ 是对抗性选择的 dropout 状态. 如果假设对抗性训练是输入上的高斯加性扰动, 则扰动本质上是线性的, 但如果对抗性 dropout 施加在多个层上, 则对抗性 dropout 可能是非线性扰动.

• Supervised Adversarial Dropout(SAdD)
  SAdD 将 $g(x,y,\theta )$ 定义为 $y$, 令 $g$ 为 $y$ 的 one-hot 向量. 式(3) 的散度项可以转换如下:
  $${\mathcal{L}}_{SAdD}(x,y,{ϵ}^s;\theta ,\delta ):=D[g(y),f_{\theta }(x,{ϵ}^{adv})]\text{\hspace{1em}(4)}$$
  其中 ${ϵ}^{adv}:=\underset{ϵ}{\mathrm{argmax}}\Vert {ϵ}^s-ϵ\Vert \le \delta H^{D[g(y),f_{\theta }(x,ϵ)]}$.
• Virtual Adversarial Dropou(VAdD)
  VAdD 将 $g(x,y,\theta )$ 定义为 $f_{\theta }(x,{ϵ}^s)$. 式(3) 的散度项可以转换如下:
  $${\mathcal{L}}_{VAdD}(x,y,{ϵ}^s;\theta ,\delta ):=D[f_{\theta }(x,{ϵ}^s),f_{\theta }(x,{ϵ}^{adv})]\text{\hspace{1em}(5)}$$
  其中 ${ϵ}^{adv}:=\underset{ϵ}{\mathrm{argmax}}\Vert {ϵ}^s-ϵ\Vert \le \delta H^{D[f_{\theta }(x,{ϵ}^s),f_{\theta }(x,ϵ)]}$.
• Learning with Adversarial Dropout
  学习的完整目标函数由下式给出:
  $$l(y,f_{\theta }(x,{ϵ}^s))+\lambda {\mathcal{L}}_{AdD}(x,y,{ϵ}^s;\theta ,\delta )\text{\hspace{1em}(6)}$$
  其中 $l(y,f_{\theta }(x,{ϵ}^s))$ 是 ${ϵ}^s$ 中 $x$ 对应的 $y$ 的负对数似然.
• Combining Adversarial Dropout and Adversarial Training
  通过将输入扰动与高斯加性噪声强加, 并同时启用对抗选择的 dropout 来训练神经网络. 损失函数如下:
  $$l(y,f_{\theta }(x,{ϵ}^s))+{\lambda }_1{\mathcal{L}}_{AdD}(x,y,{ϵ}^s)+{\lambda }_2{\mathcal{L}}_{AT}(x,y)\text{\hspace{1em}(7)}$$

4.2 Fast Approximation Method for Finding Adversarial Dropout Condition

一旦确认了对抗性 dropout 的 ${ϵ}^{adv}$, ${\mathcal{L}}_{AdD}$ 的评估就变成了损失函数和散度函数的计算. 然而, 对 ${ϵ}^{adv}$ 的推断很困难, 原因如下:

• 无法获得关于精确对抗性噪声值 ${ϵ}^{adv}$ 的封闭式解.
• ${ϵ}^{adv}$ 的可行空间受限于$\Vert {ϵ}^s-ϵ{\Vert }_2\le \delta H$.
• ${ϵ}^{adv}$ 是二值向量而不是连续值向量, 因为${ϵ}^{adv}$ 表示神经元的激活状态.

为了解决这个困难, 通过放宽 ${ϵ}^{adv}$ 的域空间, 用 ${\mathcal{L}}_{AdD}$ 的一阶泰勒展开来近似目标函数. 近似后再通过解整数规划问题找到对抗性的 dropout 条件.

将输出函数分成两个神经子网络 $f_{\theta }(x,ϵ)=f_{{\theta }_1}^{upper}(h(x)\odot ϵ)$, 其中 $f_{{\theta }_1}^{upper}$ 是 dropout 层的上半部分神经网络, $h(x)=f_{{\theta }_2}^{under}(x)$ 是下层神经网络. 目标是通过在约束 $\Vert {ϵ}^s-ϵ{\Vert }_2\le \delta H$ 下最大化散度函数来优化对抗 dropout 噪声 ${ϵ}^{adv}$:
$$D(x,ϵ;\theta ,{ϵ}^s)=D[g(x,y,\theta ,{ϵ}^s),f_{{\theta }_1}^{upper}(h(x)\odot ϵ)]\text{\hspace{1em}(8)}$$

通过将 $ϵ$ 的域空间从多个二进制空间 $\{0,1{\}}^H$ 松弛到实值空间 $[0,1{]}^H$ 来推导泰勒展开的一阶来近似散度函数. 这种转换是整数规划研究中的一个常见步骤. 计算如下:
$$D(x,ϵ;\theta ,{ϵ}^s)\approx D(x,{ϵ}^0;\theta ,{ϵ}^s)+(ϵ-{ϵ}^0{)}^{\mathrm{T}}\mathrm{J}(x,{ϵ}^0)\text{\hspace{1em}(9)}$$
其中 $\mathrm{J}(x,{ϵ}^0)$ 为雅可比向量(Jacobian vector), $\mathrm{J}(x,{ϵ}^0):={\nabla }_{ϵ}D(x,ϵ;\theta ,{ϵ}^s){|}_{ϵ={ϵ}^0}$. 当${ϵ}^0=1$ 时表示没有噪声注入. 上述泰勒展开式通过控制 $ϵ$ 提供了一个线性优化目标函数. 因此, 重新组织关于 $ϵ$ 的泰勒展开式如下:
$$D(x,ϵ;\theta ,{ϵ}^s)\propto \sum _i{ϵ}_i{\mathrm{J}}_i(x,{ϵ}^0)\text{\hspace{1em}(10)}$$
这里无法进一步处理给定的式子, 因此引入了一个替代的雅可比公式, 它通过 $\odot$ 和 $h(x)$ 进一步指定了 dropout 机制, 如下所示:
$$\mathrm{J}(x,{ϵ}^0)\approx h(x)\odot {\nabla }_{ϵ}D(x,ϵ;\theta ,{ϵ}^s)\text{\hspace{1em}(11)}$$
综上, 查找 Adversarial Dropout Condition 的算法流程如下:

代码地址: https://github.com/sungraepark/Adversarial-Dropout