《Virtual Adversarial Training：A Regularization Method for Supervised and Semi-Supervised Learning》笔记

1 Abstract

1. 提出了一种基于虚拟对抗损失的正则化方法：给定输入条件标签分布局部光滑性的新度量。
2. 虚拟对抗性损失被定义为在每个输入数据点周围的条件标签分布对局部扰动的鲁棒性。
3. 与对抗性训练AT不同，我们的方法定义了没有标签信息的对抗性方向，因此适用于半监督学习。因为我们平滑模型的方向只是“虚拟的”对抗训练，所以我们称我们的方法为虚拟对抗训练(VAT)。
4. 增值税的计算成本相对较低。

2 Introduction & Related Work

训练模型：generalization提升泛化性能。

• 常见问题：过拟合和欠拟合。

• 解决方案：正则化，在loss项后加上一个惩罚项。从贝叶斯的角度理解正则化，相当于是反映对模型的先验知识或期望的先验分布。

• VAT：更灵敏的正则化方法来平滑输出。

2.1 Previous work

有研究表明，在loss中增加随机的局部噪声干扰是有效的。

随机扰动：

• 高斯扰动：相当于给目标函数加上正则化项

• Dropout：平滑神经网络的输入输出关系

• 标签传播：平滑输入数据点模型，推断未标记数据的标签

但是随机扰动应用于标准各向异性的图像（各个方向所体现的性质都不一样）没有帮助，而且预测器本身特别容易被某一个特定的方向的小扰动所干扰，这个方向是模型的输入空间的标签概率最敏感的位置，我们称为对抗的方向adversarial direction（AT）。

Goodfellow对抗训练：训练已标记数据的对抗性扰动可以有效地减少测试误差

2.2 Our work

对比之下，我们提出的VAT方法，即使在没有标签信息的情况下，也可以在未标记的数据点上定义虚拟对抗方向，就好像有一个“虚拟”标签一样；因此被称为“虚拟”对抗方向。

局部分布光滑性(LDS-local distributional smoothness)定义为模型对虚拟对抗方向的基于发散的分布鲁棒性。
VAT促进数据点的LDS的同时可以有效逼近最大限度提高模型的正确率。

VAT的优点：

适用于半监督学习任务（可以使用未标记数据）

适用于任何参数模型

少量的超参数

参数不变正则化

从贝叶斯角度看，我们将正则化项解释为先验分布。

经典正则化方法Lp化所支持的先验分布的性质取决于当前的参数设置，因此难以评估

而参数化不变正则化并没有出现这样的问题。

3 Methods

3.1 AT

损失函数

扰动函数

• D：非负函数，测量两个分布之q，p间的发散；如，D为交叉熵时，p和q是类概率向量
• q：为输出标签的真实分布，本文在可以one-hot的基础上使用围绕yl的恒定方差的正态分布，或者delta函数with the atom at y=yl
• 目的：通过参数模型p来近似真实分布q，在对施加在x上打的对抗攻击有robust
• 公式的含义：在对抗方向上找到一个模小于 ϵ 的扰动，但是优化这个loss是一件困难的事情，一般情况下我们很难找到这样一个精确的 r ，所以可以采用如下的线性估计的方法，找到最近似的扰动

扰动函数的近似

公式的含义：扰动是让模型最容易犯错的一个方向，自然它在数值上可以用loss 的梯度来估计。

3.2 VAT

3.2.1 major methods

目的函数

虚拟：用P近似q

虚拟对抗扰动
LDS为一个当前模型在每一个输入数据点x的局部平滑负度量，它的减少会使模型在每一个数据点上变得平滑。

正则化项

LDS在所有输入数据点上的平均

完整的目标函数

l 是标记数据集的负对数似然性

优点
只有两个标量超参数
（1）对抗方向的范数约束>0
（2）正则化系数>0，它控制负对数似然和正则化器Rvadv之间的相对平衡
*4.2中介绍了α和ε的作用是一样的，所以将α修正为1

3.2.2 details

快速近似扰动 radv 方法

D的二阶泰勒


目标函数的导数

3.2.3 algorithm

文字描述
选出一个大小为M的样本子集，对每个样本都给他生成一个随机的正态分布（独立同分布）的单位向量d,把它作为扰动 r 的初始值，随后添加到输入 x 上，计算目标函数的梯度；如此迭代K轮获得一个最终的 r vadv,即为最终的virtual adversarial direction 返回，最后将其施加到每个input上计算LDS，将这一整个样本子集的LDS做平均就得到了正则化项，可以将它加在原先的loss函数后面进行backpropogation（这是神经网络的一个内容，我们这里直接把它简单理解为优化神经网络的一个操作）。

4 Reference

参考博客1
参考博客2
参考博客3