机器学习笔记五—机器学习攻击与防御

系列文章目录

1. 机器学习笔记一—机器学习基本知识
2. 机器学习笔记二—梯度下降和反向传播
3. 机器学习笔记三—卷积神经网络与循环神经网络
4. 机器学习笔记四—机器学习可解释性
5. 机器学习笔记五—机器学习攻击与防御
6. 机器学习笔记六—模型压缩

---

---

前言

   这一节稍微叙述一些模型的攻击和防御的相关知识

一、模型攻击（Attack）、防御（Defence）的意义

   当我们将深度学习模型真正应用于实际生活中的时候可能会面临很多的安全问题，一些不法分子可能会对模型进行攻击，使得模型得到的结果是他们想要的结果，所以我们要去研究模型的攻击和防御方法

二、模型攻击（Attack）

1、白盒攻击

1、模型攻击

   我们输入原始图片的时候模型会给出一个正确的答案，但是当我们输入一个加入人为制造的杂讯的图片的时候，虽然人眼还是可以辨识出图像是猫，但是机器确不能辨识，它会给出一个完全不同的答案

2、白盒攻击

   我们事先知道我们所要攻击的模型，知道它是什么样的模型，了解该模型的参数

3、攻击方法

1、攻击图片和原图片差异

   设原图片为x，攻击后的图片为x^’，那么我们有很多种方法定义定义两者之间的差异，这里举两个例子

2、具体做法

   进行攻击的方法有很多，这里只举一个简单的例子
   首先我们根据我们的需要定义一个损失函数，例如如果我们想要使得一张照片被模型识别后，模型给出一个我们想要的答案，那么我们可以将损失函数L(x^’)定义为为我们想要的结果和模型给出的结果间的距离或者负的模型给出的结果和正确结果的距离，然后我们根据定义的损失函数通过梯度下降的方法，更新输入x^’得到x^*

   但是与此同时我们还希望我们更改的不要太多以免被发现，这时我们可以进一步更新计算方法

   我们可以设置一个阈值，当x⁰和x^t的距离大于$ϵ$时更新x^t,更新的方法，我们可以采取穷举法，首先穷举和x⁰距离在$ϵ$范围内的所有值，然后分别计算x^t和这些值的距离，选择和x^t距离最小的值赋予x^t
   这里是一些具体的攻击方法的例子

3、FGSM

   FGSM的攻击方法非常简单，它求梯度对于想x_i的导，如果
导数大于零这赋予1，如果导数小于零则赋予负一，然后更新x⁰

2、黑盒攻击（Attack）

1、黑盒攻击

   我们事先不知道我们所要攻击的模型，不知道它是什么样的模型，不了解该模型的参数

2、攻击方法

1、了解被攻击模型数据集

   我们可以自己用被攻击模型A所使用的数据集训练一个模型B，然后攻击我们自己所训练的模型B，并将攻击我们所训练模型B的结果作为我们攻击A的数据

2、不了解被攻击模型数据集

   如果我们没有得到被攻击模型所使用的数据集，那么我们可以将自己的数据集大量丢入被攻击模型，根据被攻击模型结果训练我们自己的模型，然后对自己的模型进行攻击得到攻击后的数据集

3、特殊攻击

1、普遍性对抗攻击

   一个特殊的杂讯可以让被攻击模型识别图像的时候大部分都出错

2、对抗性重编程

   通过一个杂讯可以改变模型的作用，例如可以讲一个分类模型变为为一个数方块模型，当输入不同数目的方块时模型会给出对应的种类（分类种类和方块数量一一对应）

3、真实世界的攻击

   在加入杂讯的时候我们可以使得杂讯集中在某一部分，例如眼部，然后形成一个眼睛的样子，当这些杂讯出现的时候人脸辨识就会辨识出其他的样子，然后研究人员真的在现实世界中做出了这个眼镜

   在研究人员带上这个眼镜的时候，影像辨识系统果然出现了错误

三、模型防御（Defence）

1、防御类型

1. 被动防御

   在训练模型的时候不考虑防御，在模型之外加入防御，例如可以在模型前边加入过滤器，过滤器的构成有很多方法，例如图片平滑化或者对原图片进行缩放加边

2. 主动防御
      在训练模型的过程中就考虑到模型防御的问题，设计更加完善的模型或者自己攻击模型，得到有毒数据，然后将这些有毒数据标记正确的标签加入到数据集中重新训练模型

总结

   对于模型的攻击和防御做了一点总结