什么是对抗样本
Adversarial Examples(对抗样本)：对输入样本故意添加一些人无法察觉的细微的干扰，导致模型以高置信度给出一个错误的输出。对抗样本与对抗学习（GAN）不同。
对抗性样本的存在是因为数据维度通常过高，即使考虑所在的子区域，往往还是过高，对整个（数据分布的）空间的的手术是不可行的，在训练样本没有覆盖的区域，无论该区域示范属于数据分布所在的区域，无论模型强不强，都有出现对抗性样本的可能。
如何产生对抗样本
我们通过什么样的方式欺骗卷积网络让它错误识别一张图？例如，把一艘船识别成一架飞机。基于人脑的理解，我们可能会认为背景变蓝，船长出机翼，从而用蓝天或者机翼来判别这是一架飞机。但事实并非如此。
我们是通过梯度下降和反向传播找到能够欺骗CNN的图像，找到了对抗样本。一般就肉眼是看不到和原图像的区别的。简单来说，保持输入图像不变，对图片的每个像素值计算梯度并更新，区别于训练分类器时，通过反向传播更新模型参数来提高对目标标签的分数。也就是说，用一张船的图片，只要往以标签为飞机的梯度方向更新图像，这只会稍稍改变图像，但CNN将其分类为飞机的概率就显著提高了。
为什么对抗样本会产生
对抗样本是输入特征维度过高和模型的线性性质导致的，不是过拟合的结果。
如果是过拟合，那么每个对抗样本的出现是偶然的运气不好，并且用不同的模型重新拟合时，应该会看到模型在训练集之外犯不同的错误。但实际上，研究人员发现许多不同的模型对同一个对抗样本会犯同样的错误。所以不是过拟合。
其实，产生对抗样本的合理解释是欠拟合，输入空间维度过高，模型过于线性的结果。进一步来说，在高维空间，每个像素值只需要非常小的改变，这些改变会通过和线性模型的参数进行点乘累计造成很明显的变化。而图片通常都有极高的维度，所以不需要担心维度不够。也就是说，只要方向正确，图像只要迈一小步，而在特征空间上是一大步，就能大程度的跨越决策层。
有人会产生疑问，深度学习的精髓不就是那些非线性激活函数吗？为什么还会有线性欠拟合的困扰？这些非线性激活函数在一定程度上是线性的，如现在流行的relu，有一半是线性的，以前流行的sigmoid函数或者tanh函数，都是希望输入值落在中间接近线性的部分而不是两边斜率接近0的部分，防止梯度消失。还有深度模型，其组成部分都是线性的，全连接网络的矩阵乘法是线性的，卷积网络的卷积计算也是计算点乘，线性的，还有序列模型用到LSTM用的是最简单的加法，更是线性的。
对抗样本的可移植性
研究者已经尝试过多种利用对抗样本的攻击，并发现可行。比如通过相似模型训练出的对抗样本，可以让亚马逊或谷歌服务器提供的图像识别服务出错，一张对抗样本经过拍照，在由手机上的图像分类对照片进行分类也会出错，而且产生这个对抗样本的模型和手机上使用的模型是不同的。
对抗样本的防御
目前，找到一个对抗样本比设计一个能防御对抗样本的模型要容易得多。
对抗训练
将对抗样本和正常样本一起训练，可以提高模型的准确度，同时也能有效降低对抗样本的攻击成功率。不过这种防御只是针对同样用来产生训练集中的对抗样本的方法。
蒸馏
蒸馏是最先由Hinton提出的，通过训练一个模型来预测另一个训练好的模型输出的概率的训练过程。防御性蒸馏只是想让最终模型输出结果更柔和一点。虽然这里的前后两个模型结构相同，第一个模型训练的是硬标签（比如狗的概率是1，猫的概率是0），而第二个模型训练的是软标签（狗0.85，猫0.15），这样后面的这个蒸馏模型对FGSM攻击更具鲁棒性。
隐藏梯度
构造对抗样本的方法一般都是用到模型的梯度，比如想要模型把飞机误认为是船，只需要将飞机的图片往提高分类为船的概率的方向推一把就行。那是不是只要把模型的梯度藏起来，攻击者就往哪个方向推这个飞机了？设想用GoogleAPI得到对飞机的分类结果是99.9%飞机，0.01%的船，那么攻击者就知道，这个飞机的图片比较容易被误分为船，相当于知道了梯度的方向，只需要在自己的模型上往船的方向生成对抗样本就行了。把分类结果改成“飞机”，不给其他可能的类别就能让模型更鲁棒了呢。很遗憾，只要攻击者自己训练一个能输出各类概率的模型，用这个模型生成的对抗样本通常能攻击成功，这也叫黑盒攻击。
其它防御方法将另外详细总结。
对抗样本之所以难以防御是因为很难去对对抗样本的生成过程建立一个理论模型。生成对抗样本的优化问题是非线性而且非凸的，我们没有掌握一个好的工具去描述这种复杂的优化问题的解，也就很难去想出理论上能解决对抗样本的方法了。从另一个角度，现在的机器学习算法有效的范围只在一个相对小的样本空间中，对比于巨大的样本空间全局，很难要求机器学习算法对空间中每个样本都输出好的结果。
参考资料
【1】https://zhuanlan.zhihu.com/p/42667844
【2】https://www.tinymind.cn/articles/1189