第一学期10篇文章阅读计划（一）：骗过探测器的对抗样本

先初步翻译了一遍，然后再细读。

骗过探测器的对抗样本

对抗性样本是在测试中经过调整的，在呈现给系统时产生错误的样本。迄今为止，对抗性的样本的构造，已经可以绕过分类器，但还不能欺骗探测器。如果存在可能欺骗探测器的对抗性样本，那么就可能用在（例如）在充满智能车辆的道路上恶意制造安全隐患。本文论证了我们所构造的样本成功欺骗两种标准探测器：快速神经网络和YOLO。这种样本的存在令人惊讶，因为攻击分类器与攻击探测器非常不同，并且探测器的结构 - 必须搜索他们自己的边界框，且不能非常准确地估计该框 – 这些就使对抗模式很可能被严重破坏。我们的研究表明：即使是需要很大的干扰，我的构造器也产生对抗样本，这些样本能够以数字序列形式增长。我们也表明了我们的构造器产生的物理对象是对抗性的。

一、介绍

所谓对抗样本，就是对输入数据进行略微修改，以使得机器学习算法对该输入给出错误的分类结果。文献中，对抗样本极其细微的波动和难以预料的性质（比如转移性）是神经网络最神秘的特点之一。有一些对抗样本给分类器，有足够的证据表明细微的调整就足够了。此外，Athalye在al中表明，可以构建一个有可视的波动模式的物理对象，它可以被标准图形分类器在大致固定的距离从不同角度持久的错误分类。有充分证据表明为一个分类器构建的对抗样本同样也能骗过其他分类器。这些攻击的成功可以看做一种警告：不要用高度非线性特征没有很强的约束；但是采取这种方式以为着人们不能采取大体上准确和有效的方法。

探测器不是分类器。分类器输入一个图像产生一个标签。与之相反，探测器就像快速卷积神经网络，识别值得标记的边框，然后为每个框生成标签。最后的标签生成步骤使用一个分类器。然而，在探测器中边框如何覆盖对象的统计十分复杂不好理解。一些像YOLO9000这样的现代探测器通过固定网格的特征预测边框和标签，导致在选框中产生相当复杂的采样模式，这意味着选框外的像素可能参与到了标签框。另一个重要的区别是探测器通常都有ROI合并或者特征匹配重置大小，这可能有效的破坏对抗样本。截至目前，已经证明了没有在探测器上成功的对抗攻击。在本文中，我们证明在快速卷积神经网络上的成功对抗攻击，也可以用在YOLO9000.

       我们同样讨论对抗样本的泛化能力。我们认为当环境（数字或物理的）改变相应的图片保持对抗性，那么对抗扰动就推广了。例如，当摄像机接近停止标志时，如果停止标志仍然是对抗性的，则停止标志的扰动会在不同的距离上推广。

如果在更多的情况下(例如探测器、背景和灯光的变化)仍然是对抗性的，这个例子可以更好地推广。如果一个对抗性的样本不能推广，那么在大多数现实世界系统中它就不是一个威胁。

       我们本文中贡献如下：

1. 我们演示了一种构造对抗样本的方法，使之能够数字的欺骗快速神经网络；通过我们的方法构造的样本是可靠的而不会被探测器漏掉或者误标。这些未经修改的样本也欺骗了YOLO9000，表明构建的样本可以跨模型进行传递。
2. 我们的对抗样本可以在物理上成功创建，他们可以在合适的情况下欺骗探测器。他们还可以通过最近针对对抗样本的强大图像处理防御机制。
3. 在实验中，我们发现对抗样本要对对象模式进行相当大的扰动，才可以欺骗探测器。物理的对抗样本比数字对抗样本需要更大的扰动才能成功。

二、背景

对抗样本之所以令人感兴趣，主要是因为所需的调整似乎非常小，而且很容易获得。大量的搜索过程会产生对抗样本；所有的搜索都寻找一个(a)“接近”一个正确标记的样本(通常在L1或L2范数中)和(b)贴错标签。打印对抗性图像，然后给它们拍照，可以保留它们的对抗性特性，这表明对抗样本可能存在于物理世界中。他们的存在可能造成很大的恶作剧。有证据表明很难构建对抗样本欺骗停止牌探测器。特别的，如果有人真的拍了实际存在的对抗性的停止牌的video，对抗样本不会对探测器有多大影响。Lu等人推测，这可能是因为在不同的尺度、旋转和朝向下观察会破坏对抗模式。这产生了一些讨论。OpenAI演示了一种搜索程序，该程序可以生成猫的图像，当在多个级别上查看[1]时，该图像被错误分类。他们产生的猫身上的毛皮有些模糊，但是同样演示了猫的对抗样本在多个级别和方向上的观察被错误分类了。然而，有些明显看得见的人工痕迹在那些图像上；很少有人认为他没有被篡改过。

       最近的研究表明，物理对象在大约固定的距离[1]的不同角度上持续被错误分类。搜索过程操作对象的纹理映射T。该过程对对象的一组查看条件Vi进行采样，然后渲染得到图像I(Vi;T)。最后，对纹理图进行调整，得到(a)接近原始图像，(b)容易误分类的图像。结果对象的对抗性特性对于从数字表示中产生物理对象时不可避免的颜色错误等具有很强的鲁棒性。

       防御：有充分的证据表明，很难判断一个样本是否对抗性的（（a）攻击证据和（b）容易错误分类）。目前为深层网络构建对抗性样本的过程似乎颠覆了网络实现的特征构造，在后期ReLU中产生了奇怪的激活模式；这可以用来建立一种防御形式。这里有一些证据表明，其他特征结构也承认对抗性攻击。然而，对抗性攻击通常会在图像中引入非自然的(如果很小)模式，而移除这些模式的图像处理方法会产生成功的防御。Guo等人发现裁剪和缩放、位深减小、JPEG压缩和解压、使用总变差标准重采样和重构以及图像绗缝都提供了相当有效的方法来去除对抗性模式[11]。

       探测器和分类器：攻击分类器是很常见的，所有的攻击我们都知道攻击分类器。然而，对于许多应用程序，分类器本身并不有用。路标就是一个很好的例子。道路标志分类器适用于主要由道路标志组成的图像(例如[29]的图像)。但是，除了作为道路标志检测器的组成部分外，道路标志分类器几乎不需要应用，因为在实践中，处理主要由道路标志组成的图像是不常见的。研究道路标志分类器(如[26])是很自然的，因为图像分类仍然很困难，特征结构的学术研究也很重要。但对路标分类器的攻击并没有特别的威胁。对路标探测器的攻击是完全不同的事情。例如，想象一下，如果一个人可以得到一个模板，用一罐喷漆，可以确保探测器将停止标志读为屈服标志(或者更糟!)。因此，重要的是要知道(a)这种样本是否存在，(b)它们的对抗性在实践中有多好的鲁棒性。

       最近，Evtimov等人已经显示了几种物理停止信号，这些信号被错误地分类为[6]。他们从框架中裁剪停止标志，然后把它们呈现给分类器。通过裁剪，他们在检测器中代理了box-prediction过程; 然而，他们的攻击并不是针对探测器的攻击。Lu等人证明了他们的构建不会欺骗标准检测器[17]，可能是因为裁剪过程不能很好地代理检测器的框选，并建议构建一个对抗性的例子来欺骗检测器可能很难。图1显示了在[6]中显示的停止标志被快速RCNN可靠地检测到。

图1.。停止牌被错误分类，然而，这停止牌被快速神经网络可靠检测。图像来自图10？

三、方法

       我们提出了一种方法，产生数字的和物理的对抗样本，这种方法对观察环境的改变具有鲁棒性。我们基于定位和重构的方法从带有移动摄像机拍摄的视频序列中产生对抗扰动。我们要求视频中的物体在3纬空间里精确对齐。我们同样能定位停止牌，因为它们是2纬图形。而且，我们能够对需牛3d面部模型经过却定位面部白哦去。此后，我们在两种数据集上演示我们的实验。

3.1 停止牌的方式？

       我们使用停止牌样本来演示我们的攻击，它扩展到从图像域注册到某个根坐标系(例如3.2节中的face)的其他对象。我们搜寻对抗样本满足：a) 看起来像是停止牌 b）欺骗快速卷积神经网络。我们选择N种不同的框架集合Ii 作为训练样本来产生样式。在一些根坐标系中，停止牌作为一种纹理映射。在训练帧中的停止符号实例上，我们在8个顶点和T的顶点之间建立(目前是手工建立的)对应关系。。我们使用这些对应关系来估计一个视图映射Mi，它将根坐标系中的纹理T映射到训练坐标系Ii中的适当模式。我们还在Mi中加入了照明强度，这是通过计算图像中停止符号上的平均强度来估计的。我们还在Mi中加入了照明强度，这是通过计算图像中停止符号上的平均强度来估计的。相对光照强度被用来缩放对抗摄动。我们用(Mi;T)表示利用映射Mi将T叠加在帧Ii上得到的图像帧；Bs(I)为对图像I应用较快的RCNN得到的停止标志选框集合;  φs(b)表示对停止牌应用快速卷积神经网络得到的选框b的分数。为了产生对抗样本，我们最小化应用快速神经网络在所有训练集上对停止牌产生选框的均值。ΦT=1Ni=1Nb∈BsIMi,Tmean∅sb  可能受T的约束，比如在L2距离接近一个正常的停止标志。我们调查了所有停止牌的最高分，然后发现最小化均值会得到稍微好的结果。

       最小化过程：首先，我们通过计算xxxx来计算∇TΦs(T) 。我们从所有N个训练帧映射出平均梯度。然而，直接使用梯度进行大的步骤常常会阻碍优化过程。相反，我们发现使用给定模式T (n) (n代表迭代次数)的梯度符号计算下降方向有助于优化过程。相反，我们发现使用给定模式T (n) (n代表迭代次数)的梯度符号计算下降方向有助于优化过程。d(n) = sign(rT Φ(T (n))):我们选择小步长表示最小有效位的更新，这就从T (n+1) = T (n) + d(n):得到最优步长。优化过程通常需要数百甚至数千步。一种终止标准是当模式欺骗检测器时停止优化验证集中90%的案例。另一个终止标准是固定的迭代次数。

为什么大的步骤是困难的:    在我们的实验中，使用无符号梯度进行大步骤会阻碍优化过程，我们认为大步骤很难进行有两个原因。首先，模式的每个实例都发生在不同的尺度上，这意味着在映射到根坐标系时，必须有一些梯度的上下采样。虽然我们以亚像素精度对图像进行注册，并采用双线性插值的方法对变换过程进行插值，但信号损失仍然是不可避免的。在第4.2节中，我们展示了一些证据，证明这种效应可能使我们的模式更健壮，而不是更弱。第二,网络的结构意味着梯度是一个不好的行为指南φs(b)在大尺度。特别是ReLU网络将其输入空间划分为大量的单元，softmax层之前的任何层的值都是单元内连续的分段线性函数。因为网络被训练出来对大部分输入空间有相对稳定的输出，梯度必须在各个单位之间摆动，因此，对于函数的长期行为可能是一个不好的操作。

限制到原来停止标志的距离: 为了减少可察觉的对抗性干扰，我们限制短距离到原来的停止标志。在成本函数中加入L2距离损失，我最小化Φ(T ) + λjjT - T (0)jj2。我们的实验表明，这个距离约束仍然不能帮助产生小的扰动，但是极大地改变了扰动的模式，如图6所示。我们通过打印图案T，裁剪打印的停止标志区域，并粘贴到一个实际的停止标志(30英寸×30英寸)来创建我们的物理对抗停止标志。

3.2 延申到人脸识别

我们将实验扩展到具有复杂几何图形和较大的类内方差的人脸，以证明我们的分析推广到其他类。在人脸设置中，我们寻找一种能够欺骗快速卷积神经网络的样本并且样本看起来像是真的人脸。我们的人脸根坐标系是由人脸变形模型生成的虚拟高质量人脸网格。对于人脸的视频序列，我们使用基于FaceWarehouse[3]数据构建的morphable人脸模型，在输入帧中重建人脸的几何形状。该模型生成了一个三维面网格F(wi，we);它是恒等参数wi和表示参数we的函数。使用FaceTracker[25]来检测人脸帧上的地标li，然后通过最小化投影的地标顶点与其在图像平面上对应的地标位置之间的距离来恢复人脸网格的参数和姿态。这种结构为我们提供了像素-网格和网格-像素密集的对应关系，这些对应关系存在于所有的脸帧和根脸坐标系(共享脸网)之间。通过将图像像素通过重心坐标投影到面网格，在所有的脸部帧中能够达到亚像素精确度的像素-像素定位(通过根坐标系)。这种对应关系用于将梯度从人脸图像坐标转移到根坐标系，然后将多个图像的梯度合并，将合并后的梯度反向传输回人脸图像坐标。

四、结果

在本节中，我们将深入描述我们所做的实验和得到的结果。

图2。修改一个单一的停止标志图像攻击更快

RCNN成功。在原始的停止标志图像(第一)中，停止标志被可靠地检测到。在第二幅图像中，在整个图像中加入了小的扰动，没有检测到停止标志。在最后一幅图中，停止符号区域被添加了小的扰动，而不是整个图像，停止符号被检测为一个花瓶。

图3。修改面部图像以攻击更快的RCNN是成功的。在原始人脸图像(第一)中，人脸被可靠地检测到。在第二幅图像中，在整个图像中加入了小的扰动，没有检测到人脸。在最后一张图像中，将稍微大一点的扰动添加到面部区域，而不是整个图像，并且没有检测到面部。

但是，让我们先简要概述一下我们的发现:

1. 在单个图像上添加小的扰动就足以愚弄给定的目标检测器。
2. 实施对抗性扰动以泛化视图条件需要对模式进行重大更改。
3. 我们成功攻击快速卷积神经网络泛化到YOLO
4. 我们以非常大的扰动成功的攻击推广到在适当情况下的物理世界对象。
5. 简单的防御没能够抵抗对抗样本的攻击。

探测器受到内部阈值的影响。快速RCNN使用非最大抑制阈值和置信阈值。对于停止标志，我们使用默认配置。对于人脸，我们发现探测器太愿意检测人脸了，我们让它对人脸的反应变差了。

图4。相反的例子停止标志，为更快的RCNN，可以推广跨视图条件。第一行的原始序列是为一个真正的停止标志捕获的测试视频序列，并且在所有帧中检测到停止标志。我们将攻击应用到一组训练视频中，以生成一个横向视图条件对抗性干扰，并将该干扰应用于测试序列中，以生成第二行攻击序列。这是一种数字攻击，停止标志不是被检测到就是被作为风筝检测到。

图5。针对更快的基于RCNN的人脸检测器[12]的正面例子，它可以在不同的视图条件下推广。第一行的原始序列图像从测试视频序列中采样，所有的人脸都被可靠地检测到。我们将我们的攻击方法应用到一组训练视频中，以生成一个横视图条件对抗式摄动，并将该摄动应用到测试序列中，以生成第二行攻击序列。这是一次数字攻击。

图6。我们用我们的攻击方法产生了三个对抗性的停止标志。第一个停止标志不使用L2距离惩罚，并使用终止准则成功攻击90%的验证图像。第二个停止标志在目标函数中使用L2距离惩罚，当90%的验证图像被攻击时终止。最后一个停止标志也采用了L2距离惩罚，但是执行了大量的固定次数的迭代。这三种模式在映射到视频时都能可靠地欺骗检测器。然而，这些模式的物理实例并不同样成功。前两个停止标志，作为物理对象，只是偶尔愚弄较快的RCNN;第三种方法更为极端，更有效。

 

4.1 攻击单一图像

我们可以很容易地调整单个图像上的模式来愚弄检测器(图2中的停止标志和图3中的面孔)，并且模式上的变化很小。虽然这没有实际意义，但它表明我们的搜索方法可以找到很小的对抗性扰动.。

4.2 泛化跨视图条件

我们真正感兴趣的是产生一个无法在任何图像中检测到的模式。这要难得多，因为我们的模式需要推广到不同的视图条件等等。在这种情况下，我们仍然可以发现对抗性的模式，但是我们的过程中发现的模式涉及到停止标志和面部的显著变化。

停车标志数据集: 我们用松下HC-V700M高清摄像头拍摄了22个摄像头靠近停车标志的视频，并从每个视频中提取了5个不同的帧。然后我们手工定位所有的停止标志，并使用我们的攻击方法为所有帧生成统一的对抗性摄动。我们使用12个视频来生成对抗性微扰(训练)，5个视频来验证5个评估(测试)视频。我们使用3.1节描述的停止准则。图4给出了一个示例视频序列及其相应的攻击视频序列。表1显示了不同情况下的停止标志检测率。我们计划发布标签数据集。

图7。我们从图6中打印出三个对抗性的停止标志，并将它们粘贴到一个真正的停止标志上。我们通过这些打印的停车标志拍摄视频，并在这些视频上运行更快的RCNN。注意，所有的对抗性微扰都可以很好地用数字表示。我们只渲染停止标志的检测结果，使数字清晰。图中的三个序列依次对应三个停止标志。在前两个序列中，停止信号检测没有问题，而在最后一个序列中，停止信号没有在视频中检测到，所以这是一个物理广告。

表1。这个表格报告了RCNN和YOLO对停止信号的多重图像数字攻击的检测率。在每个单元格中，分号前的比值表示更快的RCNN的检测率，分号后的比值表示更快的RCNN的检测率YOLO。意思树形bg表示停止标志的背景为树，对比度低，天空bg表示停止标志的背景为天空，对比度高。跟随背景的L表示扰动很大，EL表示扰动非常大。我们有三个黑暗的停车标志。在列车/val/测试分叉上，检测率在三个不同的距离(远/中/近)上计算。在多视点条件下，我们可以更快地攻击RCNN，并将对抗性扰动推广到新的视点条件。对抗性的例子也推广到YOLO，特别是当背景是树的时候。

表2。此表报告了基于RCNN的人脸检测器[12]对人脸多图像数字攻击的检测率。S100表示实验中有100张图片，S15表示有15张图片。Ft表示正面，sd表示侧面。当应用小的扰动时，对所有训练映像的攻击都会成功，但不会推广到验证和测试映像。只有在应用较大的扰动时，攻击才能推广到不同的视图条件

表3。不同情况下物理对抗停止标志和物理清洁停止标志的检出率RCNN和YOLO更快。表布局类似于表1。对于大扰动，有两个不同亮度的停止标志，对于特大扰动，有一个不同亮度的停止标志。我们报告了30 x 30英寸对抗性停止标志的检出率(adv)和20×20英寸清洁正常停车标志(清洁)。

人脸数据集：我们使用SONY a7相机从不同的距离和角度拍摄了5个静止人脸的视频，并从每个视频中提取了20个不同的帧我们使用morphable face model方法对所有的人脸进行定位，并使用我们的攻击方法生成一个统一的对抗性扰动。我们使用3个视频来生成对抗性微扰(训练)，1个视频用于验证，1个视频用于评估(测试)。同样，我们使用3.1节中描述的验证集终止标准。图5显示了一个示例视频序列及其相应的攻击视频序列。在我们的实验中，这是可以推广的面部最小的扰动。表2显示了不同情况下的人脸检测率。同时，我们计划发布已处理的数据集。综上所述，可以从多个图像中攻击停止标志和人脸，并要求它们一般化到新的相似视图条件图像。然而，它们都需要强大的扰动模式来推广。详见补充资料。

4.3 推广到物理世界

数字世界的攻击和物理世界的攻击之间有很大的差距，这意味着在数字世界中得到很好的概括的敌对扰动可能不会推广到物理世界。我们怀疑这种差距是由于各种实际问题，如传感器属性、视图条件、打印错误、光照等。在这篇论文中，我们打印停止标志并对其进行物理实验，但我们认为相似的结论也适用于面部。在图6中，我们对三个对抗性微扰模式进行了物理实验。从表3中我们的结果可以看出，速度更快的RCNN仍然可以检测到两种干扰较小的停止信号，而干扰较大的停止信号很难检测到。物理实验的框架如图7所示。视频请参考我们的补充资料。

       我们使用表1和表1中的数据进行分析表3。L1正规化逻辑回归被用来预测我们许多不同案例的成功。最重要的变量是检测器(从更快的RCNN到YOLO不强壮);那么，对抗性的例子是物理攻击还是物理攻击(数字攻击比物理攻击更有效);然后是比例尺(很难让探测器错过附近的停车标志)

4.4 推广到YOLO

针对某个分类器的对抗式示例在不同的分类器之间进行推广。为了验证RCNN是否能在检测器间推广，我们将这些图像输入YOLO中。我们将对抗性的例子分为三类: 具有小扰动的单个图像示例、具有高度干扰的多个图像的例子通过数字化查看条件，物理例子有很大的扰动。我们的实验表明，小的扰动不能推广到YOLO，而明显的扰动模式可以推广到YOLO，概率很好。示例如图8所示，检测率可以在表3和表1。

4.5 局部攻击失败
在之前的设置中，我们攻击的是图像中所有的蒙面对象，但是在物理世界中通常很难应用这样的攻击。例如，修改整个停止标志模式在实践中是无用的，而且戴上带有扰动模式的整个口罩也很困难。如果能制造出带有微扰图案的小贴纸，将会是更有效的攻击方式，当贴纸贴在停车标志的一个小区域或者人的额头上是，检测器将为失败。Evtimov等人[6]展示了一个成功攻击停止符号分类器的例子。我们试图生成对抗性的模式，约束在一个固定的物体区域，以欺骗探测器，然而，我们发现这些攻击只是偶尔成功(停止标志)或完全不成功(脸)。图9显示了一些示例。

图8。我们测试对抗性的例子是否产生于更快的RCNN推广到YOLO。在第一行中，这些对抗式示例是为具有小扰动的单个图像生成的。YOLO能轻易检测出这些停止信号。在第二行，这些对抗性的例子是由多个图像生成的，而数字干扰的图像可以在大约一半的时间内欺骗YOLO。在最后一排，纸质的对抗式停车标志在某些情况下仍然可以骗过YOLO。具体总结见表1和表3。

图9。在多视图条件设置中，针对停止标志和人脸的本地化攻击失败。我们对停止标志和面区域进行了攻击，迭代次数非常多，引入了极大的扰动，但对象仍然被检测到。详细地说，对停止标志的局部攻击有时可以通过数字技术欺骗远停止标志，但对中间和近停止标志则不行;针对面部的局部攻击无法欺骗面部检测器。第一张图片是局部干扰的停止标志，第二张图片是局部干扰的脸。

图10。我们将简单的防御[11]应用于为更快的RCNN生成的对抗性示例。上下采样是指将图像分辨率降低一半，然后向上采样到原来的分辨率。电视去噪是指对图像进行全变正则化去噪，去除高频信息，保留低频信息。

4.6 简单防御失败

最近，Guo等人的[11]研究表明，简单的图像处理可以击败大多数难以察觉的对抗性攻击。我们假设探测器应该以帧速率运行，因此排除图像绗缝。我们研究了下向采样和总变分平滑防御。我们发现这些方法可以击败对单个图像的攻击，但是不能欺骗有多个对象的图片，图10和表4列出了实验结果。我们对这一现象的假说是，微小的扰动作用于数值累积机制，而数值累积机制对变化不具有鲁棒性，而明显的扰动作用于模式识别机制，后者更具有鲁棒性，可以更好地推广。在第一行中，通过简单的图像处理就可以检测到由单个具有小扰动的图像生成的对抗样本。在第二行，从多个视图条件生成的对抗性例子在简单的防御之后仍然无法检测到。在最后一行，物理打印的对抗式停止标志仍然无法检测到简单的防御。

五、总结

我们已经演示了第一个可以欺骗检测器的对抗性例子。我们的构造产生的物理物体也会欺骗探测器。然而，我们能够构造的所有对抗性扰动都需要大的扰动。这表明探测器中的盒子预测步骤是一种自然防御形式。我们推测，在我们的构建中，更好的观看模型可能会在物理和数字结果之间产生更小的差距。我们的模式可能会揭示出对于探测器来说什么是重要的