【论文笔记】Patch-wise Attack for Fooling Deep Neural Network & Patch-wise++ Perturbation Targeted Attacks

【ECCV2020】Patch-wise Attack for Fooling Deep Neural Network & Patch-wise++新版本Patch-wise++ Perturbation for Adversarial Targeted Attacks

目前的研究方向是对抗样本、投毒攻击等等，所以大部分的论文笔记都是对抗样本方向的（gradient、patch、风格迁移、GAN等），也希望自己能够坚持写下去，研究下去，做出一定的成果。

论文链接：
Patch-wise
Patch-wise++

这两篇是电子科大的一个团队做出的成果，前者是针对于black-box的non-target攻击对抗样本，后者是白盒的target。
虽然题目中写的是patch但是对抗样本还是全部的而非patch，是patch-wise，考虑的点是不同DNN对于图像的分类的重视区域是不同的。

新颖的点：

• 基于梯度迭代攻击
• 采用了一种将溢出的gradient映射临近区域而不是直接clip掉
• 同时两篇文章都分别分析了这个迭代过程中移动step对于single-model和ensemble models的攻击效果和泛化性的影响

1. ECCV2020】Patch-wise Attack for Fooling Deep Neural Network

本文提出了一个black-box non –targeted对抗样本，同样是基于梯度的。但是目前越来越多的黑盒，都是使用的替代模型，而非攻击模型，本文选用的是预训练模型，可能是为了证明攻击的泛化性。

本文一个新颖的点： patch-wise（不是patch干扰，是考虑图像分类的patch region）分析了迭代移动step对于泛化性的影响，提出了一个放大因子的方式，保证增强element-wise的攻击能力，同时考虑到增强迭代step时的梯度溢出问题，本文采取一种project方式，将溢出允许干扰范围的梯度信息，映射到其他的patch。

从图中可以看出，本文的方法生成的干扰更均匀，作者说从【ECCV2020】Towards learning transferable universal adversarial perturbations against defenses.这篇文章中受到启发，pixel-wise的干扰可能会阻碍对抗样本泛化性，对于patch-wise的均匀的干扰会更加有效。

本文算法理解上并不是很复杂，梯度积累，在迭代过程中积累梯度的sign，超出的干扰范围部分被赋值为C吗，在再过project kernel将溢出噪声加到当前点的周围区域。

本文的实验部分就是对比近几年在FSGM的基础的一些方法，I-FSGM、TI-FSGM,DI-FGSM等，就不赘述了

2. 【axriv2021】Patch-wise++ Perturbation for Adversarial Targeted Attacks

这篇文章主体上与上面那篇文章相似，文章中的叙述内容也大体相同，值得注意的一点就是patch-wise是黑盒无目标的攻击，本篇是target攻击。
本文提出了在patch-wise考虑的迭代过程中通过放大因子增强攻击能力对于target攻击会造成underfitting的效果，因此本文引入了一个temperature提高泛化能力。

这种白盒的ensemble model可能会因为放大因子造成更新方向上的不稳定，但是在patch-wise中同样采用了ensemble models同样也使用了放大因子，效果较好，可能是因为target 的loss方向是确定的才要考虑的这个问题。 同时在ensemble models训练时，采用了logits而非softmax的值（这种方法已被证明有用）同时考虑到不同model的结果不同所造成的loss惩罚不同，差异性较大，所以引入temperture，这里可以将这个过程视为overfitting，正好克服了放大因子造成的underfitting问题。

本文 w=1/K

与patch-wise还有一点不同的是，本文算法去掉了在迭代过程中对于project term的积累（但是没有给出解释，只是说明了效果会变差，所以去掉了）。