李宏毅《机器学习》课程笔记（作业六：对抗攻击）

为了将机器学习在实际生活中应用上，需要考虑一些恶意攻击。

无目标攻击：攻击的时候，固定模型参数，希望调整输入数据，使得效果越差越好

有目标攻击：不仅跟原来的答案越远越好，而且要跟希望的错误答案越接近越好

限制是我们输入的攻击的数据跟正常的数据非常接近。

那么怎么找输入数据呢？还是用梯度下降。考虑距离限制以后需要一个修改版的梯度下降，每次做了梯度下降以后判断是否符合距离条件，如果不符合等比例缩小就可以了。

FGSM是一种很简单的方法，直接对输入数据x做梯度下降，然后对每一个维度取梯度的signal作为梯度，然后一步到位，直接作为我们要寻找的x。

上面所说的都是白盒攻击，就是说神经网络知道了以后我们再利用这个参数去找到一个可以攻击的输入数据。但是如果这些参数不知道呢？

如果我们知道一个神经网络的训练数据，我们可以用这个训练数据自己训练一个神经网络，再攻击这个新的神经网络，最后再去攻击原来的神经网络。

甚至通讯的攻击都可以实现。

被动防御和主动防御。被动防御是不修改模型，只加入一个过滤器来过滤掉不正常的输入。过滤器可以是个简单的平滑化。也可以是加入一点padding。

主动防御是自己改变模型。我们找出来漏洞。然后补上漏洞。