[论文笔记]TOWARDS DEEP NEURAL NETWORK ARCHITECTURES ROBUST TO ADVERSARIAL EXAMPLES 论文笔记

一、前言

本文主要是为了探索对抗样本的特性和神经网络的拓扑结构。设计实验：通过加入噪声来破坏对抗样本、利用去噪自编码进行预处理。发现去噪自编码能够去除大量的对抗噪声，但是如果把去噪自编码和原来的深度网络堆叠起来，新的深度网络同样会收到对抗样本的攻击。因此本文借助 收缩自编码（CAE） 的思想，提出 深度收缩网（DCN），这是一个端到端的网络，其损失函数中包含光滑惩罚项，实验证明该网络可提高神经网络对对抗样本的鲁棒性。

二、注入噪声

（1）高斯加性噪声：只加在输入层（L1）或者输入层和隐层同时加入（L*）

随着高斯加性噪声标准差的增加，对抗样本的分类错误率逐渐降低，但是干净样本的错误分类率逐渐增加，因此在恢复的对抗样本和错误分类的干净样本之间应该有一定的权衡。

（2）高斯模糊噪声：只加在输入层

可以看出加入高斯模糊噪声后的卷积神经网在恢复对抗样本上更有效。

三、去噪自编码(DAE)

训练一个三个隐层（784-256-128-256-784）的去噪自编码，输出为对抗样本，输出为去噪后的样本，也可以堆叠多个去噪自编码。

表中的列label代表训练DAE的对抗样本所来自的模型，行label代表测试DAE的对抗样本所来自的模型，表中的值代表测试集上恢复的对抗样本在行label模型的分类错误率。可以看出所训练的去噪自编码在不同模型上具有迁移性，各种情况下都能恢复至少90%的对抗样本。

虽然去噪自编码在去除对抗噪声方面十分有效，但是如果将去噪自编码与原来的网络堆叠在一起，构成新的网络，它也可以产生新的对抗样本来攻击模型：

四、深度收缩网（DCN）

（1）收缩自编码（CAE）
考虑如下自编码：

其损失函数为：

收缩自编码的损失函数是在上述损失函数的基础上引入惩罚项：

该惩罚项的作用是使得输入的微小变化不会给隐层激活值带来太大改变。
（2）深度收缩网（DCN）
DCN是CAE的推广形式。
DCN的损失函数为：

其中$t^{(i)}$为输入$x^{(i)}$的真实标签，$y^{(i)}$为输入$x^{(i)}$的预测标签。

上述惩罚项会带来很大的计算代价，因此对其近似处理：

虽然近似后的损失函数并不能保证是原损失函数的全局最优并且限制了神经网络的能力，但是确是保持输入在传播过程中不变性的一种有效计算方法。

参考文献：
Shixiang Gu，Luca Rigazio，TOWARDS DEEP NEURAL NETWORK ARCHITECTURES ROBUST TO ADVERSARIAL EXAMPLES，2015.