[论文笔记]Universal adversarial perturbations(CVPR 2017)

Universal adversarial perturbations(CVPR 2017)

• 文章简介：
  本文主要是介绍了一种universal的扰动，能让大部分图片加入该噪声后就能被误分类，扰乱一个新的数据点只需要向图像添加一个普遍的扰动(不需要解决优化问题/梯度计算)。其示意图如下

• Norm:
  • 2-范数: $\xi =2000$
  • 无穷范数: $\xi =10$

  结果如下：其中的Val.是不参与universal扰动的计算的，可以看到性能相当好

• Contribution:

  • 证明了state-of-the-art模型中存在universal image-agnostic扰动
  • 提出了一种寻找universal扰动的算法
  • 发现universal扰动有一定的泛化能力：只用一个非常小的training points就能愚弄一张新图像
  • 我们证明这种扰动不仅在图像上是普遍存在的，而且在深度神经网络上也能很好地推广。因此，这种扰动在数据和网络体系结构方面具有双重普遍性。
  • 通过研究决策边界不同部分之间的几何相关性，解释和分析了深度神经网络对普遍扰动的高脆弱性。

• 目标函数

  其中$\mu$是图像的分布，$v$是我们要加的universal扰动

  更详细地说，如果当前的$v$不足够扰动$x_i$，就会再去寻找一个$\Delta v$，其要解决的优化问题为

  为了满足$||v|{|}_p\le \xi$约束，作者将$v+\Delta v_i$投影到一个半径为$\xi$的$l_p$ball上，具体为:

  下面该式返回的是$v^{\prime }$, 其实简单地说，其实就是用一个个半径为$\xi$的$l_p$ball去尽量接近$v$。[注意这个ball不是圆形球的意思]

  有趣的是，在实际操作中，$X$中数据点$m$的数量并不需要很大就足够一个对整个分布$u$有效的普遍扰动。最终算法为:

  需要进一步注意的是，算法1的目标并不是找出欺骗分布中大多数采样数据点的最小的universal扰动，而是找到一个范数足够小的universal扰动。

• Universal扰动
  • 同一网络的不同初始化得到的扰动结果不唯一，虽然有点相似
  • 不同网络得到的扰动结果也不一样

• The size of training set:

  • 如果用于计算扰动的训练集只有500张图，则可以成功攻击验证集中30%的图片
  • 如果用于计算扰动的训练集有1000张图，则可以攻击在验证集中更多的未见过的图片，甚至在这1000张图中都没有出现过那个类别的图片
  

• Cross-model universality：

  证明了本文提出的universal扰动是doubly-universal

• Adversarial trainning robust
  作者将VGG-F模型进行fine-tune，即原训练集有50%的概率被加上universal扰动，然后训练了5个epoch。训练完后，再用Algorithm 1在fine-tune后的模型上计算universal扰动，结果在验证集上的成功率从93.7%到了76.2%。为了试验多次fine-tune的用处，作者又重复了上面这个流程，从10个另外的扰动继续进行fine-tune，但是后面再进行攻击时，成功率差不多还有80%，所以有一个结论: 简单地处理无法对small universal扰动形成一定的免疫能力

• 奇异值：
  奇异值的通俗理解(转自知乎)：奇异值往往对应着矩阵中隐含的重要信息，且重要性和奇异值大小正相关。每个矩阵A都可以表示为一系列秩为1的“小矩阵”之和，而奇异值则衡量了这些“小矩阵”对于A的权重。
  
  作者计算了N矩阵与随机矩阵的奇异值:

  结果如下:

  对这个图我是这么理解的：Index表示的是奇异值的排序位数，理所因当，第1个特征值最大，后面递减。可以发现的是，在曲线的开始阶段，奇异值的变化幅度特别大，到了后面，曲线变得平稳。这就说明对于深度网络而言，他的决策边界存在一定的相关性和冗余性。

• Hypothesize：
  • 存在一个低维子空间$\mathcal{S}$包含自然图像周围区域中到决策边界的大部分法向量。

  为了验证这个假设，作者选取了前100个特征向量所张成的子空间$\mathcal{S}$，然后从中选择随机向量($\xi =2000$)，发现居然能够攻击38%的图片，从而验证了假设(因为原始空间生成的随机扰动只能攻击10%的图片)

---

如果觉得我有地方讲的不好的或者有错误的欢迎给我留言，谢谢大家阅读（点个赞*我可是会很开心的哦）~