生成对抗样本和训练经验

目前来讲，在高维空间上进行线性操作可以制作对抗样本。

对对抗样本有用的操作并不包括正则化，预训练，和模型平均，但改变到一个非线性化的如RBF网络可以提高免疫能力。

一个模型的线性化能力代表了训练的难易度，非线性化能力代表了对对抗样本的免疫能力，两者之间需要取得平衡。

BOX-constrainted L-BFGS可用于寻找对抗样本。

对抗样本人眼不能区分。

浅层softmax多回归最为脆弱。

训练对抗样本并不实用，效果甚微，因为它需要昂贵的限制性优化。

relu,lstm,maxout是偏线性化的

sigmoid相对不会太线性化

sign线虫向量攻击，快速梯度攻击对线性化网络行之有效

如果要训练防御性model，学习速率一定要小于elpsion。学习速率跨的步子越大，越不容易区分被扰动的图像。

深层网络并没有大家想象中的那么不堪一击。

目前，用混合的原样本和对抗样本同时训练会产生正则化效果，但这种效果不会强于dropout.反抗样本暴露了模型概念化决策函数的一些局限性。

训练包含权重的目标函数和FGSM，会有显著的正则化效果。在一个对比实验中，不进行对抗样本的训练进行目标函数的修改，同时加入dropout,可以减少0.94%的错误率，而进行对抗样本训练只能减少0.84%

为了拟合训练样本,我们把模型扩大，每层从240到1600节点。正常情况下这会导致过拟合，引入1.14的错误率。在训练反抗样本时，训练进程非常缓慢，验证loss基本不动，但是反抗样本loss会提升。因而训练反抗样本时，可以对反抗样本loss使用100epochs的early stopping.这样最好的错误率是0.782%

训练后对于反抗样本错误率从89.4%到17.9%，反抗训练过的模型有一定的鲁棒性，把别的模型产生的对抗样本拿过来测试，会有40.9%的错误率。

整个训练像是在进行对抗游戏，往样本加入噪声，也可以作为激活学习，启发式labeker代替了人类。

RBF网络免疫性强，但不可加入深度网络，因为优化非常难。

结论模型越容易优化越容易扰动。

线性模型需要进行对抗训练。

RBF网络具有良好的对抗性。