论文阅读笔记:Intriguing properties of neural networks

论文阅读笔记:Intriguing properties of neural networks

深度学习对抗样本的开山之作

要点

  1. 以往的观点认为深度神经网络的高层特征中每一个分量描述了一种特质,但是这篇工作对该观点提出了质疑,他们认为单纯讨论某个神经元代表末一个特征是不对的,是由整个空间描述的。单个神经元并不包含语义信息
    DeepDream的结果显示最后一个全连接层的每一个神经元包含了相应类别的语义信息
    x=argmaxxIϕ(x),ei x = a r g m a x x ∈ I ⟨ ϕ ( x ) , e i ⟩
    从测试集 I I 中选出使上述内积最大的样本,ei e i 可以是自然基 (0,...,0,1,0,..,0) ( 0 , . . . , 0 , 1 , 0 , . . , 0 ) 也可以是任意一个基
    选择特定一个神经元的输出进行最大化得到的结果和随机选一部分分量进行极大化的结果差别不大
  2. 对抗样本的存在,并且具有可迁移性
    可以与hard negative mining扩展
    对抗训练MNIST测试误差<1.2%
    论文阅读笔记:Intriguing properties of neural networks_第1张图片

论文阅读笔记:Intriguing properties of neural networks_第2张图片
一个模型生成的对抗样本在另一个模型上虽然效果大打折扣,但仍不可忽视
没有做对抗训练的试验

你可能感兴趣的:(adversarial,learning)