生成对抗样本和训练经验

目前来讲,在高维空间上进行线性操作可以制作对抗样本。

对对抗样本有用的操作并不包括正则化,预训练,和模型平均,但改变到一个非线性化的如RBF网络可以提高免疫能力。

一个模型的线性化能力代表了训练的难易度,非线性化能力代表了对对抗样本的免疫能力,两者之间需要取得平衡。

BOX-constrainted L-BFGS可用于寻找对抗样本。

对抗样本人眼不能区分。

浅层softmax多回归最为脆弱。

训练对抗样本并不实用,效果甚微,因为它需要昂贵的限制性优化。

relu,lstm,maxout是偏线性化的

sigmoid相对不会太线性化

sign线虫向量攻击,快速梯度攻击对线性化网络行之有效

如果要训练防御性model,学习速率一定要小于elpsion。学习速率跨的步子越大,越不容易区分被扰动的图像。

深层网络并没有大家想象中的那么不堪一击。

目前,用混合的原样本和对抗样本同时训练会产生正则化效果,但这种效果不会强于dropout.反抗样本暴露了模型概念化决策函数的一些局限性。

训练包含权重的目标函数和FGSM,会有显著的正则化效果。在一个对比实验中,不进行对抗样本的训练进行目标函数的修改,同时加入dropout,可以减少0.94%的错误率,而进行对抗样本训练只能减少0.84%

为了拟合训练样本,我们把模型扩大,每层从240到1600节点。正常情况下这会导致过拟合,引入1.14的错误率。在训练反抗样本时,训练进程非常缓慢,验证loss基本不动,但是反抗样本loss会提升。因而训练反抗样本时,可以对反抗样本loss使用100epochs的early stopping.这样最好的错误率是0.782%

训练后对于反抗样本错误率从89.4%到17.9%,反抗训练过的模型有一定的鲁棒性,把别的模型产生的对抗样本拿过来测试,会有40.9%的错误率。

整个训练像是在进行对抗游戏,往样本加入噪声,也可以作为激活学习,启发式labeker代替了人类。

RBF网络免疫性强,但不可加入深度网络,因为优化非常难。

结论模型越容易优化越容易扰动。

线性模型需要进行对抗训练。

RBF网络具有良好的对抗性。

你可能感兴趣的:(生成对抗样本和训练经验)