对抗样本与生成式对抗网络

最近一个月，人工智能领域听的最多的名词之一，莫过于对抗样本和对抗性网络，从最开始Yann LeCun在Quora上直播时表示生成对抗性网络近期人工智能最值得期待的算法之一，到近日生成对抗性网络的发明者Ian Goodfellow在Quora上直播讲述自己的学习经历和研究，而对比起LeCun, Ian Goodfellow的知名度可能没有那么高，但是Goodfellow是Yoshua Bengio的学生，前Google科学家，现在被Elon Musk招到OpenAI做科学家。

那到底什么是对抗样本？

深度学习对抗样本(Adversarial Examples)的概念最早是Christian Szegedy 等人在ICLR2014发表的论文中提出来的，即在数据集中通过故意添加细微的干扰所形成输入样本，受干扰之后的输入导致模型以高置信度给出了一个错误的输出。在他们的论文中，他们发现包括卷积神经网络（Convolutional Neural Network, CNN）在内的深度学习模型对于对抗样本都具有极高的脆弱性。他们的研究提到，很多情况下，在训练集的不同子集上训练得到的具有不同结构的模型都会对相同的对抗样本实现误分，这意味着对抗样本成为了训练算法的一个盲点。Anh Nguyen等人在CVPR2015上发表的论文中，他们发现面对一些人类完全无法识别的样本（论文中称为Fooling Examples），可是深度学习模型会以高置信度将它们进行分类。这些研究的提出，迅速抓住了公众的注意力，有人将其当做是深度学习的深度缺陷，可是kdnuggets上的一篇文章(Deep Learning’s Deep Flaws)’s Deep Flaws指出，事实上深度学习对于对抗样本的脆弱性并不是深度学习所独有的，在很多的机器学习模型中普遍存在，因此进一步研究有利于抵抗对抗样本的算法实际上有利于整个机器学习领域的进步。

如图1示例，原始图像以60%的置信度判断为“熊猫”，但是加入了微小的干扰，在人眼完全看不出差别的情况下却以99%的执行度归为了长臂猿 

图1

而造成对抗样本的原因是什么呢？一个推断性的解释是深度神经网络的高度非线性特征，以及纯粹的监督学习模型中不充分的模型平均和不充分的正则化所导致的过拟合。Ian Goodfellow 在ICLR2015年的论文中，通过在一个线性模型加入对抗干扰，发现只要线性模型的输入拥有足够的维度（事实上大部分情况下，模型输入的维度都比较大，因为维度过小的输入会导致模型的准确率过低），线性模型也对对抗样本表现出明显的脆弱性，这也驳斥了关于对抗样本是因为模型的高度非线性的解释。相反深度学习的对抗样本是由于模型的线性特征。

而生成对抗网络又是什么呢？

简单来说，对抗网络有两部分组成，一个是生成器(generator)，一个是辨别器(discriminator),生成器好比一个小偷，而辨别器好比一个警察，小偷的目的是想方设法的欺骗欺骗警察(生成对抗样本)，而警察的目的就是想方设法的去不受欺骗，小偷和警察都在不断的优化自己去达到目的，同时彼此都在对方的“监督”下而提升。

这种对抗训练过程与传统神经网络存在一个重要区别。一个神经网络需要有一个成本函数，评估网络性能如何。这个函数构成了神经网络学习内容以及学习情况的基础。传统神经网络需要一个人类科学家精心打造的成本函数。但是，对于生成式模型这样复杂的过程来说，构建一个好的成本函数绝非易事。这就是对抗性网络的闪光之处。对抗网络可以学习自己的成本函数——自己那套复杂的对错规则——无须精心设计和建构一个成本函数。

总所周知，机器学习中，无监督学习一直备受关注，而发展却并不迅速，而生成对抗性网络正是通过深度学习本身的缺陷，利用“欺骗”和“反欺骗”的博弈，实现模型内部的监督学习。

生成对抗性网络本质还是很复杂，如需要详细了解，可以查阅参考资料的内容。

参考资料：

[1]Karparthy博客 Breaking Linear Classifiers on ImageNet

[2]Christian等人在ICLR2014最先提出adversarial examples的论文Intriguing properties of neural networks

[3]Ian Goodfellow对对抗样本解释的论文Explaining and Harnessing Adversarial Examples

[4]最近Bengio他们组发文表示就算是从相机自然采集的图像，也会有这种特性Adversarial examples in the physical world

[5]Anh Nguyen等人在CVPR2015上首次提出Fooling Examples的论文Deep Neural Networks are Easily Fooled: High Confidence Predictions for Unrecognizable Images

[6]Yann LeCun在Quora上直播内容

[7]Ian Goodfellow在Quora上直播

----------------------------------------------------------------------------------------------------------

P.S. 我司组织了一个计算机视觉的开发者交流微信群，目标是汇集【计算机视觉，图像处理，3D图像，视频处理，深度学习，机器学习】的开发者，一起分享开发经验，共同探讨技术，有兴趣入群的可以加我微信（WeChat: LaurenLuoYun），请注明“姓名-公司/学校-技术方向-加群”(纯交流的无需添加“加群”)，谢谢。