论文那些事—NESTEROV ACCELERATED GRADIENT AND SCALEINVARIANCE FOR ADVERSARIAL ATTACKS

NESTEROV ACCELERATED GRADIENT AND SCALE INVARIANCE FOR ADVERSARIAL ATTACKS（ICRL2020,NI-FGSM,SIM）

1、摘要

在本文中，我们从将对抗性例子的生成作为一个优化过程的角度出发，提出了两种提高对抗性例子可转移性的新方法，即Nesterov迭代法快速梯度符号法(NI-FGSM)和缩放不变攻击法(SIM)。NI-FGSM的目标是将Nesterov加速梯度引入迭代攻击中，从而有效地向前看，提高对抗性样本的迁移性。

本文贡献有以下三点：

1. 将Nesterov加速梯度引入迭代的基于梯度的攻击中，从而有效地超前，提高对抗性例子的转移能力。
2. 深度学习模型具有缩放不变性，于是通过优化收缩后图像副本上的对抗性扰动来提高对抗样本的迁移性。
3. 将NI-FGSM和SIM与现有的基于梯度的攻击方法相结合，得到不错的黑盒攻击成功率。

2、NI-FGSM原理

Nesterov Accelerated Gradient (NAG) 是一种梯度下降法的变种，其本质上是动量的改进：

 

 将先前叠加得到的梯度对此进行求偏导，也就是求方向，如图红线部分就是NAG预测的梯度方向，将其平移到当前梯度上面（橙色线位置），最后在和动量部分做向量和，得到最终的梯度方向。

 会发现这种利用先前梯度预测未来梯度的方法确实有效，路径变短了。

整合进I-FGSM后变为NI-FGSM：

在计算每次迭代中的梯度之前，沿着之前累积的梯度的方向跳跃。

 3、Scale-Invariant Attack Method（SIM）

Loss-preserving Transformation：

具体来说，在同一模型上，原始图像和缩放图像的损失值是相似的。

Model Augmentation：

作者发现除了平移不变性，还存在缩放不变性，图像和缩放后的图像（像素值乘以一个系数），在同一个模型上的loss很接近。将这种特性视为一种模型增强的话，可以得到目标函数。

 说白了是使用缩放图像的平均梯度代替当前所计算的梯度，原因是由于图像缩放不变性，并且损失接近。其中表示缩放后的图像，m表示缩放后的复制次数。

对于缩放不变性文中并没有理论解释，只是做个实验证明缩放在区间[0.1,1.3]内时原图与缩放图像的损失相似。

SI-NI-FGSM算法流程：

 4、实验结果

对单独模型的攻击， * 号表示白盒攻击：

 对集成模型的攻击：

攻击经典的防御模型：

5、总结和不足

学习动量法的时候我也想到了Nesterov Accelerated Gradient，没想到两篇文章隔的挺远的，SIM确实新颖，只是依旧难以解释，都是实验结果的堆叠。