[论文笔记]UNDERSTANDING AND ENHANCING THE TRANSFERABILITY OF ADVERSARIAL EXAMPLES

研究背景

在对抗攻击中，对抗样本可迁移性是人们关注的一个点。黑盒攻击的成功率一直不高，这背后的攻击机制需要探索，并且需要改进攻击效果。

主要贡献

• 本文从两个角度分析了影响对抗样本可迁移性的因素：模型本身性质和构造对抗样本时的loss函数的局部光滑性
• 本文提出了一种提升黑盒攻击成功率的方法，variance-reduced attack。

主要方法

1、模型本身性质对于对抗样本迁移性的影响

（1）模型结构

作者主要研究了VGG、ResNet和DenseNet之间的迁移性。使用的攻击方法为FGSM/IGSM(I-FGSM)

表中数据代表攻击成功率。针对该实验，作者有两点发现：
1）大多数情况下IGSM的攻击成功率要高于FGSM，尤其是在模型结构类似情况下。但也有例外，如VGG对ResNet和DenseNet的攻击。因此，作者认为选用哪种攻击方法应该依赖于模型结构相似性。
2）两种不同结构模型的黑盒攻击成功率的迁移性并不是对称的。例如表中DenseNet121和vgg13_bn之间的数据。另外，模型结构类似的情况下迁移攻击成功率很高。

（2）模型capacity及测试分类正确率

作者探究了模型分类正确率和capacity对于迁移攻击成功率的影响。

作者以模型参数量为标准粗略地度量模型capacity指标，图中标注数据为迁移攻击成功率。可见，图中具有较强攻击性的对抗样本均是用左下角的模型生成的，即参数少并且分类正确率高的模型。作者认为，分类正确率高的模型拥有相似的决策边界，因此用分类正确率高的模型生成的对抗样本具有较强迁移性。但同时作者提出在此基础上越深的模型迁移能力越差，并附加实验佐证：

因此，作者认为不应用深层模型作为对抗攻击的源模型，但作者并未提出解释。

2、对抗攻击loss的光滑性对于迁移性的影响

（1）源模型梯度噪声

作者指出，在进行迁移攻击时，针对源模型的攻击利用的是其梯度，然而这有很大噪声。（利用A代表源模型，B代表目标模型）

带有^的向量为单位向量。可见，在A的决策边界上有很多方向错误的梯度，这时产生的对抗样本便不是B的梯度方向，也就没有攻击性。为解决这一问题，作者提出应该使A的决策边界变得平滑，即让A的梯度变得平滑（因为优化攻击以A的loss为优化函数）。

$J_{\sigma }\left(x\right)$为优化后的函数。${\psi }_{\sigma }\left(x\right)$定义如下：

$\psi \left(x\right)$为下式：

则，A的梯度重新计算为：

g(x)代表原始梯度。期望通过下式计算：

作者通过实验证明这种计算梯度的方式能使对抗样本更具迁移性。

3、方差下降攻击

根据以上分析，作者认为迁移攻击成功率不高的原因是因为梯度方向错误，因此，作者提出方差下降攻击，本质为将传统梯度攻击的梯度计算替换为作者上述G(x)。可以视为作者将对抗样本变成了对高斯噪声鲁棒的对抗样本。

作者认为这种变换减小了因决策边界局部波动导致的问题，因此，称其为方差下降攻击。
结果表明作者这种攻击方法成功率更高。

上述三个值分别为MI-FGSM,作者提出方法结合I-FGSM，作者提出方法结合MI-FGSM。

结果分析

1、超参数选择

作者探究了不同的平均数m和$\sigma$对攻击成功率的影响。首先是$\sigma$的影响。

可见，过高的$\sigma$会导致平均数之间方差过大，过小的$\sigma$则会导致平均没有效果（对原始没有改变），二者都无法消除局部波动。

对于m造成的影响则是越大的m效果越好，因为平均效果越明显。

2、对于transform的抵抗能力

作者认为，既然提出的方法是针对高斯噪声鲁棒的，那么针对随机的transform也应具有鲁棒性。作者首先引入一个量化指标：

其中c(x)代表x是否分类正确，取1为正确；T代表一种transform。上式R的意义为经过变换的对抗样本不在分类错误的比例。

作者考虑了旋转、高斯噪声、高斯模糊、JPEG压缩四种transform方法，结果看来，作者提出的方差下降攻击对这些transforms均具有很高鲁棒性。