文献阅读--Certified Adversarial Robustness via Randomized Smoothing

关键词：adversarially robust; Gaussian noise; L2-norm; randomization

1 概述

本文通过给分类器高斯噪声处理，使得新分类器对对抗攻击足够鲁棒。本文提出了“randomized smoothing” 技术并对其进行了严密的分析，进一步揭示了L2正则项和高斯噪声的联系：==我们使用该技术来训练ImageNet分类器，例如，在l2范数小于0.5(=127/255)的对抗扰动下，认证的最高准确度为49%。其中的“smoothing” 技术也是唯一在全分辨率ImageNet上有效证明鲁棒性分类的方法。本文也证明了在小型数据集上，“smoothing” 技术相比其他L2鲁棒性技术，能够实现更高的准确率。

2 背景

图像分类器虽然能够在独立同分布的测试集上实现较高的准确率，但是面对对抗性的微小扰动（可以想到对抗样本攻击），可能表现会大打折扣。
什么叫做对抗攻击：给定一个原始图像样本 $x$，给原始图像样本添加微小扰动，小到人眼无法区分扰动前后但是机器学习模型会把扰动后的样本识别错误。

2.1 研究现状

很多工作都致力于训练一个强鲁棒性、可以抵御对抗攻击的模型，但是都失败于 (Carlini & Wagner, 2017; Athalye et al.,2018; Uesato et al., 2018) 提出的 suitably powerful adversaries。
为此，展开了一系列针对可证明鲁棒性的研究，(e.g. Wong & Kolter, 2018; Raghunathan et al., 2018a) 提出了一种思想：让模型对输入样本 $x$ 附近L2范围内的所有集合都预测为一常量 $y$ ，遵循这一思想的大部分工作都只成功地在 普通神经网络 中实现，但是却不能满足于大型的、复杂的网络，例如 ImageNet。这一思想也被称为“certifiable robustness under the L2 norm（L2范数下可证明的鲁棒性）”，本文延续了这一思想。

3 挑战

Lecuyer et al. (2019) 和 Li et al. (2018)在把 randomized smoothing 技术用于对抗抵御时，虽然在 ImageNet 做了验证，并且有一定的效果，但是他们的 guarantees are loose：smoothed classifier g is provably always more robust than the guarantee indicates。

3.1 本文工作概括

在本文中，作者在 tight robustness guarantee的条件下进行 randomized smoothing，揭示了利用高斯噪声进行平滑可以导致在L2范数下可保证的鲁棒性，同样，存在目前未知的噪声分布可能会导致针对其他范数（P范数）扰动集的鲁棒性。

3.2 难点

最大的难点：如果模型 $f$ 是神经网络，计算 $f$ 在每一分类上对 叠加噪声以后的样本 每一类的概率 是不可能的。因此，不可能精确的估计 smoothed classifier $g$ ，也不可能精确的计算 $g$ 的鲁棒性半径。鲁棒性半径指的是原始样本添加某一范数值噪声后不会发生误判的上确界。