解读 intriguing properties of neural networks

题目：神经网络的隐藏属性

作者：一作： Christian Szegedy  (GooLeNet, BN)    三作： Ilya Sutskever (AlexNet二作，S2S)   六作：Ian Goodfellow(DL book, Maxout, GAN Bengio学生)  七作：Rob Fergus(Visualizing)

出处：ICLR

摘要：深度神经网络在语音、视觉识别方面取得非常好的表现，它成功的原因也使得它具有反直觉的性质，本文提出了两种反直觉性质：

　　　1）：根据对神经元的分析，深层的单个神经元与深层神经元的随机结合没有本质区别，这表明深度神经网络中存储语义信息的是网络结构而不是之前认为的单个神经元（对深度学习影响不大）

　　　2）：发现深度神经网络的非线性程度很高，这使得通过添加扰动，可以使得神经网络错分类，此外这些扰动也可以使另外的模型错分类（深刻的影响了深度学习）

 

性质1，实验没怎么看懂，就知道，寻找使某个激活函数值最大化的一系列图像，不知道怎么得出结论的

性质2，论文指出图像的微小扰动通常不会改变分类，但可以人工生成。论文通过使用L-BFGS算法最小化下式

其实并没有看懂这个公式。

实验结果表明对抗样本具有通用性，对抗样本同样可以使不同模型的神经网络分错类，甚至在不同训练集上的神经网络也会错分类

通过反馈对抗样本给训练集可能提高模型的泛化程度

 

转载于:https://www.cnblogs.com/YKang/p/10772710.html