Intriguing properties of neural networks——L-BFGS attack

2014的文章Intriguing properties of neural networks引发了关于对抗样本研究的热潮。其实对抗样本的研究很早就有了，只是当时没有得到足够的重视，最早的文章应该是下面这篇，研究的是垃圾邮件过滤问题：

N. Dalvi, P. Domingos, Mausam, S. Sanghai, D. Verma, Adversarial classification, in: Int’l Conf. Knowl. Disc. and Data Mining, 2004, pp. 99–108

但是，无论如何，本文要讲的文章为近年来的研究提供了很好的参考，因此想要了解对抗样本、对抗攻击的同学可以了解一下，最开始的对抗攻击模型是怎么建立的。废话不多说，直接上模型：
$$\begin{gathered} min||x-x^{\ast }|{|}_2^2 \\ s.t.C(x^{\ast })=l \\ {x}^{\ast }\in [0,1{]}^n\text{\hspace{1em}(1)} \end{gathered}$$
其中，$x$表示未经修改的一个$n$维样本，$x^{\ast }$表示修改后的样本，$C$表示要攻击的分类器，$l$表示攻击者想要得分类结果。以$||x-x^{\ast }|{|}_2^2$为目标函数是为了修改后的样本与原始的样本差别很小，约束条件$x^{\ast }\in [0,1{]}^n$则是为了保证修改后的样本不超出样本空间，否则就样本就没有意义了。

该优化问题中的$C(x^{\ast })=l$使得该问题不太好求解，因此退而求其次，求解下面的问题：
$$\begin{gathered} minc\cdot ||x-x^{\ast }|{|}_2^2+Los{s}_F(x^{\ast },l) \\ s.t.x^{\ast }\in [0,1{]}^n\text{\hspace{1em}(2)} \end{gathered}$$
其中$Los{s}_F$表示被攻击分类器的损失函数，当$Los{s}_F$为凸函数时，优化问题（1）和（2）等价（当然，这个情况对于神经网络而言基本上不存在）。一般我们常用的是交叉熵损失函数， $Los{s}_F(x^{\ast },l)=-log(p_l)$，$p_l$是分类器认为样本$x^{\ast }$属于类别$l$的概率。

惩罚系数$c$能够控制$||x-x^{\ast }|{|}_2^2$的大小，我们为$c$设定不同的值，然后使用优化方法L-BFGS 求解优化问题（2），最终要保证$C(x^{\ast })=l$的同时，使$||x-x^{\ast }|{|}_2^2$尽可能小。