对抗样本生成算法之FGSM算法

论文 Explaining and harnessing adversarial examples.
这篇论文由Goodfellow等人发表在ICLR2015会议上，是对抗样本领域的经典论文。

背景

-对抗样本的线性解释
对于线性模型，$f(x)=w^{T}x+b$，对原始样本$x$添加扰动$\eta$得到对抗样本$\bar{x}=x+\eta$。为确保干扰是微小的，利用$||\eta |{|}_{\infty }<ϵ$进行限制。
添加噪声后，模型输出为$f^{\prime }(x)=w^T\bar{x}+b=w^{T}x+w^T\eta +b$。$w$为权重向量，如果$w$具有n维度，并且每一维度的平均大小为$m$，则激活将增长$mn$。最后的扰动为$w^T\eta <=ϵ\ast n\ast m$，虽然$ϵ$的值很小，但当$w$的维度很大时，$nmϵ$将会是一个很大的值，足以引起分类器分类错误。由于$||\eta |{|}_{\infty }$不随维度而增长，但由$\eta$扰动引起的激活变化可随着$n$线性增长，对抗性扰动使激活度增加$w^T\eta$。

-作者猜测观点
作者认为，神经网络容易受到对抗性扰动影响的主要原因是它们的线性性质。高维空间中的线性行为足以引起对抗样本。
以上的线性解释是基于线性模型而言的，但DNN一般是高度非线性模型。DNN的非线性单元赋予了其强大的表达能力，但非线性单元的存在会降低学习效率。为提高学习效率，需要对非线性单元进行改进，通常做法是通过降低其非线性来实现。从而，非线性单元的线性行为不断增强，导致DNN的线性能力增强，因此导致对抗样本的存在。
对于高纬问题，我们可以对输入进行许多无穷小变化，从而对输入进行了大的变化。这些解释表明，如果简单线性模型的输入具有足够的维数，则可以具有对抗样本。

原理

FGSM(Fast Gradient Sign Method)是一种基于梯度生成对抗样本的算法，这是一个单步（one-step）的、非定向（non-targeted）的攻击算法。。其目标是最大化损失函数来获取对抗样本。

深度神经网络的训练，是追求损失函数最小化的过程。在求损失函数的最小值时，我们会沿着梯度的反方向移动，使用减号，即梯度下降算法。而FGSM算法可理解成梯度上升算法，即沿着梯度的方向移动，使用加号，求得损失函数的最大值。

原始图像$x$，扰动值$\eta$，对抗样本$x+\eta$。在扰动值的计算中，用到了$sign$符号函数，保证了变化方向同梯度方向方向一致。$J$是用来衡量分类误差的损失函数。$\theta$为模型参数，$x$为模型输入，$J(\theta ,x,y)$为训练神经网络的成本，${\nabla }_x$为对$x$求导。
$$\eta =ϵ\ast sign({\nabla }_{x}J(\theta ,x,y))$$
$ϵ$的值通常是人为设定，但小于某一阈值，一旦扰动值超出阈值，该对抗样本会被人眼识别。梯度是使用反向传播算法计算得到的。

FGSM属于$L_{\infty }$，即限制了修改的程度，但未限制修改的数量。