【Paper Notes】Distillation as a Defense to Adversarial Perturbations against Deep Neural Networks

模型的对抗鲁棒性是深度学习中的一个很关键的问题。但是当前的深度模型往往对攻击很脆弱，通常只需要修改图像中的几个像素，就可以引导模型得出错误的分类结果。

 

攻击示例（来源原始论文）

 为了提高模型的鲁棒性，对恶意的模型攻击进行防御，这篇论文提出用模型蒸馏提高模型鲁棒性的方法，据论文描述，通过蒸馏方法，可以将梯度降低,攻击成功需要修改的特征数目提升到800%。

具体的方法：

1. 在温度T下，训练一个网络F

2. 以网络F输出结果为软标签，在温度T下，蒸馏出相同架构的模型F'

为什么有效？

1. 使用比较大的温度 T，在训练的时候可以有效的降低模型在图像像素上的梯度，这样模型就不会对输入很敏感。

2. 蒸馏的时候不仅学到了分类信息，同时也会学到类别之间的相似性，因此可以缓解过拟合提升模型的鲁棒性。

思考：

1. 增加温度T训练模型，其实并没有解决模型的输入敏感问题，如果推理时使用T=1，那么在像素上的梯度依然很大。

2. 蒸馏可以学到模型之间的相似性，增强泛化性，但是对攻击鲁棒性的提升可能并不明显。