《PhysGAN: Generating Physical-World-Resilient Adversarial Examples for Autonomous Driving》学习笔记

摘要

作者在自动驾驶的场景下提出了一种生成真实世界的对抗样本的方法。作者没有使用传统的DNN分类器作为目标模型而是使用了一些自动驾驶中的导航模型，作者采用的攻击方法的效果应该没有adversarial patch那样直接，但是足以对自动驾驶产生一定的负面影响。

模型

模型由四个部分组成：一个编码器 $\epsilon$；一个生成器$g$；一个判别器$D$，和目标模型$f$

• 编码器E代表目标自动驾驶模型f的卷积层，该模型以3D张量为输入，并用于提取视频的特征（原始特征和扰动特征）。
• 生成器$g$的输入为原始视频片段$X_{orig}$经由编码器 $\epsilon$抽取出的特征，输出为对抗样本（道路标识）$S_{adv}$。
• 判别器$D$的输入为$S_{adv}$和真实的路标样本$S_{orig}$，然后就是GAN的那一套，区分真伪，鼓励生成器生成外观上和真实路标一致的样本。
• 图片里面的mapping说的好听一点就是透视图映射方法，其实就是把原视频里面每一帧上的正方形道路标志的四个角的坐标找出来，然后把生成的$S_{adv}$按照坐标贴到原视频的每一帧里面去，然后得到生成的视频$X_{adv}$。

损失函数

• 对抗损失
  
  其中$l_f$是一个距离函数m，$\beta$是一个清晰度参数。
• GAN损失
  
• 最终的目标函数
  
  

实验

评估的指标没有使用攻击成功率，而是用了自动驾驶导航角度的均方误差和最大误差来评估。

• digital scenarios
  
  
• physical-world scenarios