Efficient Decision-based Black-box Adversarial Attacks on Face Recognition论文解读

       近年来，人脸识别取得了飞速的发展，广泛应用于各种场景，但现实中，系统遭到攻击往往是不确定性的，如何增加系统的对抗性，提高鲁棒性是研究的重点。当前，对抗性攻击可以针对深度神经网络模型的“弱点”进行优化，提高鲁棒性。只是目前被熟知的大多是白盒攻击，真正接近现实场景的黑盒攻击鲜被关注。Efficient Decision-based Black-box Adversarial Attacks on Face Recognition就弥补了前人的研究，很好的提出了解决方案。

文章的主要贡献：

1.提出了一个在基于决策的黑盒场景下的演化攻击方法，可以对搜索方向的局部几何进行建模，同时降低搜索空间的维度。
2.利用基于决策的黑盒攻击方法，对几种最先进的人脸识别模型（SphereFace, CosFace, ArcFace）做了鲁棒性测评，并展示了这些人脸模型的脆弱性。
3.通过对真实世界中的人脸识别系统进行攻击，验证了方法的泛性。

研究现状：

根据攻击者对受害模型背后信息的获取程度，可以将对抗攻击大致分为两类：

• 白盒攻击（White-box Attacks）：获取机器学习模型内部的所有信息和参数进行攻击，基于给定模型的梯度生成对抗样本，如Fast Gradient Sign Method（FGSM）；
• 黑盒攻击（Black-box Attacks）：神经网络结构为黑箱，仅通过模型的输入和输出，生成对抗样本；

       虽然已有研究能用带有干扰的“眼镜”来攻击，但现有对人脸识别的攻击是白盒攻击，攻击者需要知道被攻击系统的内部结构和参数。然而，大多数现实世界的人脸识别系统是“黑盒子”，当攻击者无法访问模型详细信息时，白盒攻击显然不适用。

       黑盒攻击是攻击者只能获取受害模型的输入输出信息，目前主要实现方法有基于迁移的攻击（transfer-based）和基于访问的攻击（query-based）。基于迁移的攻击能够以极少的访问次数（~10次）实现攻击，但不能保证个体级别的攻击成功。

       基于访问的攻击则依赖于模型的预测分数，以高访问量的代价(~10000次)来提升个体攻击的成功率。根据访问过程中所获信息的特点，基于访问的攻击可以细分为基于分数的攻击（score-base）和基于决策的攻击（decision-based）。

       基于分数的攻击需要获得一个连续的预测分数，但这在大多数现实场景中并不适用。比如，生活中的人脸识别系统只输出解锁/不解锁的离散决策，而不是一个相似度分数。当只能获得系统的离散决策时，基于决策的的攻击是更合适的选择。

       基于决策的攻击是直接攻击，完全依赖于模型的最终决策，只能通过输入输出，目前已经有几种方法被提出用来执行基于决策的黑盒攻击，优化方法（Optimization-based）、边界攻击（Boundary Attack）和在仅标签设置（NES-LO）中扩展NES方法。

       因此，文章提出了一种更加高效的方法—演化攻击（Evolutionary Attack ），攻击的目标是通过有限的访问生成具有最小扰动的对抗样本。

方法详解：

1.攻击设置。主要是将人脸验证问题（face verification）数学化为二分类问题，检测一张图或者是名字等是否是真正的这个人；将人脸识别问题（face recognition）数学化为多分类问题，判断一张图片是否是多个身份里面的某个人。给一张真实的照片x，攻击的目的是生成一个被模型错误分类的与x最近的假照片x'。

2.演化攻击。通过对CMA-ES（协方差矩阵适应进化策略）进行变体，得到(1+1)-CMA-ES，通过在每一次迭代中挑选更好的一个后代进入下一个迭代，通过这个方法解决黑盒优化问题。但是，直接使用此策略对攻击设置中提出的约束条件进行优化是无效的，因为x'维度较高。且基于决策的人脸图像黑盒攻击存在查询限制，原(1+1)-CMA-ES可能不可行。为了加快算法速度，设计了一个适当的分布来采样每个迭代中的随机噪声，这样可以对搜索方向的几何形状建模，也提出了一些方法降低搜索空间的维度。算法如下：
       攻击目标函数L(x∗)、原始面部图像x、输入空间的尺寸n∈N+(x∗ ∈ Rn )；搜索空间的尺寸m∈N+；随机坐标选择的坐标数k∈N+。

       输入：查询的总数T。

      在一个具有m

实验：

       人脸识别划分为两个子任务：人脸验证和人脸识别。

       不同访问数下，针对SphereFace，CosFace和ArcFace不同目标模型，优化方法生成的对抗图像在不同搜索空间维度下的平均失真（MSE），搜索空间的维度m设置为15×15×3、30×30×3、45×45×3、60×60×3和112×112×3，演化攻击在较低维度的搜索空间中收敛得更快。

       上面两个表格为在LFW数据集分别进行面部验证和面部识别的结果，SphereFace，CosFace和ArcFace不同目标模型下不同方法生成的对抗图像的平均失真（MSE），分别对应1000、5000、10000和100000访问次数。

 

       上两图分别对应的是失真曲线图。不难看出，演化方法的效率更高并且实现更小的失真，给定5000个访问下，演化方法的失真率比优化方法（Optimization）的失真率小约30倍。

       从对抗图像和原始图像上来看，ArcFace目标模型下进行面部验证的逃逸攻击和模拟攻击，最初的对抗样本图像（下图虚线右侧第一张）是随机噪声或攻击的目标图像，随着访问次数的增加，对抗图像和原始图像之间的失真逐渐减小。

        可以看到，2000个访问足以生成人眼无法察觉的对抗样本。对于NES-LO，首先使用标签预测来估计预测概率（例如，25个访问），然后通过NES近似梯度（例如，40次试验），此方法需要对一次更新进行1000次以上的访问，攻击效果最差。

验证：

       将演化攻击应用于腾讯AI Open Platform中的人脸验证API，以验证其实际适用性。该人脸验证API，允许用户上传两张面部图像，并输出相似性得分，将阈值设置为90，即如果相似性得分大于90，则预测两个图像是相同的身份，如果小于90，则预测是不同的身份。

        从LFW数据集中选择10对图像来执行模拟攻击，每对的原始两张图像来自不同的身份，为其中一张添加扰动，使得API将两张图像识别为相同的身份。将演化攻击结果与Boundary 和Optimization方法进行比较，如下图所示，演化攻击下的失真仍然比其他方法小。演化攻击生成的对抗图像在视觉上与原始图像更相似，人眼难以察觉，而其他方法生成的对抗图像失真严重，人眼可以察觉出。

        

总结：

       尽管人脸识别技术在各种应用中取得了巨大成功，但完全基于决策的黑盒攻击——演化攻击方法通过结合针对图片的降维技术和演化算法，即便对模型的结构、参数完全不清楚的情况下，也可以对识别系统实现“最佳”的攻击，且无需大量访问、不易被察觉。可以说，这个方法将真实世界人脸识别系统存在的安全漏洞极大地暴露出来。