Class-Aware Robust Adversarial Training for Object Detection论文阅读笔记

针对目标检测的类感知对抗训练

2021年的CVPR，哥伦比亚大学和中心研究院合作的工作。

摘要：

   目的通过对抗训练增强目标检测的鲁棒性，对于一张给定的图像，本文提出的方法产生一个通用的对抗性攻击来同时攻击图像中所有的目标，共同最大化每个对象各自的损失，然后将总损失再分解成类损失，按照该类的数量进行归一化。

引言：

（这里理一下之前一直都没清楚的时间线，关于对抗攻击的）：
  2014年的ICLR文章——《Intriguing properties of neural networks》，这篇文章也是good fellow的，首次提出了对抗样本这个概念，通过L-BFGS（一种拟牛顿法）解优化问题：

  得到对抗样本，使得分类模型输出错误的分类。这属于纯纯的数学解法（个人理解是对抗攻击的优化方法都是通过解数学问题得到的）。再之后，冒出了很多类似的算法，比如说Fast Signed Gradient Method (FGSM) , Deep-Fool , Projected Gradient Descent (PGD) , Carlini and Wagner Attack (C&W)等等，通过改变优化目标的公式得到不同的对抗样本，实质上还是解优化问题。
  作者这里说到：“one of the most effective defense
approaches is adversarial training ”，对抗训练也是good fellow提出，出自2018年的ICLR文章—— 《Ensemble adversarial training: Attacks and defenses.》
  本文针对的是目标检测任务，目标检测有两种——two steps 和 one step。本文针对的是速度更快、更复杂特性的单阶段目标检测。

本文的创新之处在于：
  （1）以前传统的对抗训练使用的是一张图片中出现的目标的总的损失，让这个损失函数最大化，得到攻击样本。但是这样存在两个缺陷（有可能某一类目标的损失无限大，有可能一张图片中特定类的物体体比其他类多造成不平衡）
  （2）本文提出的方法重点在于：对于一张输入图片，通过共同最大化各类目标的损失，生成一个全局对抗扰动。该方法将总损失分解为类损失，并利用相应类的对象数量对每个类损失进行归一化，以减轻特定类损失支配其他类损失的情况，而不是按照对象数量对总损失进行归一化。这样不仅可以平衡每一类，还可以模型对所有目标类检测的鲁棒性。

相关工作

  其实这篇文章是提出一种防御方法的文章，针对防御，经历了几个过程：
  首先是FGSM（Fast Gradient Sign Method），强调了梯度方向对输入图像的重要影响，

  其中，J（）是损失函数，x和y表示输入图像和真实标签，θ表示网络参数，损失函数对输入求导得到梯度，然后经过sign()函数计算梯度的方向，sign()函数是用来求数值符号的函数，比如对于大于0的输入，输出为1， 对于小于0的输入，输出为-1，对于等于0的输入，输出为0。之所以采用梯度方向而不是采用梯度值是为了控制扰动的L∞距离，这是FGSM算法的评价指标。
  在FGSM的论文里，他们也提出了使用执行FGSM方法生成的对抗性图像来训练原始模型，也就是对抗性训练，这是一种防御方法。
  在这之后，越来越多的攻击和防御方法出来了，其中最强的一阶攻击是PGD方法（Projected Gradient Descent ）。FGSM是一种一次攻击，即针对一张图加梯度也仅仅增一次梯度。但如果现在攻击的是一个复杂非线性模型的话，这样的方法可能就不一定攻击成功。而PGD是做多次迭代，每次走一小步，每次迭代都会将扰动clip到规定范围内。

  Universal attack（通用攻击），区别于per-instance attack，个人理解是对整个图像范围的像素进行攻击。（2）式代表攻击，（3）代表防御。

  下面的公式是本文的攻击方法，目标检测任务分成分类和回归两个过程，x’表示的是加过扰动之后的图像

方法

本文把这种方法应用到几个任务当中，
一、多任务对抗性训练
  不同于图像分类中的单个loss（比如说分类任务的交叉熵损失），单步的目标检测需要同时考虑到两个loss（一个是分类loss，一个是回归loss）

  如果其中一个任务的损失非常大，那么在训练过程中就会使另一个任务受到很大的影响，通过设置每个任务的正则化损失阈值，就可以使两个任务互不干扰。
二、多目标对抗性训练
  这个针对的是一张图片中有好几只狗的任务，类似于之前的多任务训练，可能图像中的某一个目标的损失过大，影响到整个训练过程，所以我们再次加入切片的思想，也就是PGD相对于FGSM的改进。


三、多任务对抗性训练
  针对的是一张图片中既有狗又有猫的情况，

实验结果

数据集：
PASCAL VOC and MS-COCO

评价指标：
AP(感兴趣类别的平均精度)和mAP(整体性能的平均精度)

结论：
  CWAT是使用class-wise的方法，更适用在一张图片中包含的类较多的数据集中。
  此外，与以往的防御方法相比，所提出的基于类的目标检测对抗训练方法不仅能平衡各目标类的影响，而且能有效均匀地提高训练模型对所有目标类的对抗鲁棒性。
  在具有挑战性的PASCAL-VOC和MS-COCO数据集上进行了大量实验，评估结果表明，所提出的防御方法能够有效提高目标检测模型的鲁棒性。