2017CS231n笔记_S16对抗样本和对抗训练

对抗样本：对抗样本是用心构造出来的会被分错类的样本。使用对抗样本来攻击深度卷积网络，使得它出错。对抗样本可以欺骗很多种线性模型，包括逻辑回归和支持向量机。对抗样本也可以欺骗非线性模型。对抗样本的产生是因为模型线性程度过高。

对抗样本的寻找：找到一个和梯度方向能形成很大的内积的方向，然后只要大概沿着这个方向移动一点，就能找到对抗样本，欺骗网络模型。

对抗区域：对抗样本所在的区域称为对抗区域/对抗空间。MNIST上的对抗区域维数是25。这个维数表明了由一个随机噪声找到一个对抗样本的容易程度。维数越多，越容易。如果每个方向都是对抗的，那么任何的变化都会导致分类错误。如果大部分的方向是对抗的，那么大部分时候，随机方向就会是对抗的。一般来说，不同的模型往往在同样的对抗样本上犯错。对抗空间的维数越大，那么两个模型的对抗空间就越可能重叠。如果两个模型都有一个很大的对抗空间，则很可能把某个模型的对抗样本迁移到另一个模型中去。

对抗训练：对抗训练是指在对抗样本上的训练。这样的话，模型可以逐渐抵抗对抗样本所拥有的攻击。如果过拟合了，该训练会帮助更少地过拟合；如果欠拟合了，那么该训练会造成更加欠拟合。对抗训练和虚拟对抗训练能够正则化模型。