motivation
想在脱离实验室，实际环境中使用
要做到：
强：要对噪音robust
对付来自人类的恶意：要对恶意的骗过机器的数据robust
侦测带有恶意的东西：垃圾邮件，恶意软件检测，网络侵入等
攻击
例子
在图片上加上特制的噪声，网络会得到不同的答案
如何找出特制的噪声
通常训练过程，最小化y‘和y_true间的距离
训练时：x是不变的，获得theta
攻击时，网络是不变的，固定theta，获得x’
没有目标的攻击：加上x‘,希望y’跟y_true越小越好
有目标的攻击：加上x‘,希望y’跟y_true越小越好,同时跟一个错误答案越近越好
额外的限制：x’和x越接近越好，不能被人发现
限制
如何定义distance
图中的例子表示，在使用l-infinity时，值越大，人眼的分辨更明显些
how to Attack
想法：像训练神经网络一样，但是不是最小化时的参数theta，而是x’
做法：gradient Descent，但是加上限制
。判断xt是否符合限制，如果不符合，那么要修正xt
修正方法：穷举x0附近的所有xt，用符合限制的xt来取代
修正算法的图形化表示如下图，如果xt跑出圈圈范围外了，就把它抓回来。
实例
使用一个猫，让它输出海星
分析两张图片的不同，很小，要乘以50倍才能看出
把猫变成键盘
是否是因为网络很弱呢？
随机加噪声，但是对结果的影响不大，加的噪声逐渐增大以后会有影响
到底是因为什么呢？
x0随机移动，多数时候，在该点附近，网络判断为tiger cat的confidence很高
对于在高维空间中的一个点，有某些神奇的方向会出现这种现象：只要稍微推一点，预测为某个不相干的东西的confidence就会很高。但是整个网络在其他方向上比较长，在某个特定的方向比较窄。
攻击方法
不同方法主要区别在不同的限制和不同的优化方法。
FGSM（Fast Gradient Sign Method）
FGSM一种非常简单的方法。只更新一次，一次攻击成功
具体的做法是先求gradient，然后更新x0，它并不在意gradient的值，只在乎方向。
它的原理等于给了一个非常大的learning rate，所以一次update就能跑出范围，然后把它拉回对应的角。
它还有一种进阶的方法，可以多次更新。
白盒和黑盒
在之前的攻击中，我们都知道theta，去寻找最有的x’。
为了攻击，需要知道网络的参数theta，这种就是白盒攻击。
如果我们不知道网络，就安全了吗？
并不是的，因为可以进行黑箱攻击。
黑盒攻击
如果你能够得到目标网络的训练数据
可以训练一个proxy network网络
然后利用proxy network网络得到攻击数据，再来攻击原网络，往往能够成功
所以应该保护好训练资料，但是即便没有训练资料，也有可能进行攻击。
只要丢大量的数据过去，获得输出的结果，也能进行黑箱攻击。
下表中表示黑箱攻击时，系统辨识的正确率。列表示用的proxy，行表示实际用的模型。数据越低，说明攻击效果越好。
衍生研究
Universal Adversarial Attack
之前提到的攻击，对于每个图片x，会有不同的噪声x‘进行攻击，有人提出了通用的噪声，可以让所有图片的辨识结果都出错。
这个也可以做黑箱。
Adversarial Reprogramming
有一个辨识鱼的网络，可以将它改造成数方块的网络，根据方块的不同进行输出。
加一噪声，就能变成别的网络
真实世界的攻击
有人做实验，把攻击的图像打印出来，然后用图片放在摄像头上进行攻击。证明这种攻击时可以在现实生活中做到的。
可以对人脸识别上进行攻击，把噪声变成眼镜，带着眼镜就可以实现攻击。
结果表示，可以被辨识成其他人。
在现实生活中需要做的以下几点。
- 要保证多角度都是成功的
- 噪声不要有非常大的变化（比如只有1像素与其他不同），要以色块方式呈现，这样方便摄像头能看清
- 不要用打印机打不出来的颜色
在交通符号上加噪声。
其他方向的攻击
语音
文字
防御
有人说现在网络之所以会被攻击，是因为overfit，其实不然。通过regularization，dropout或者esemble时不能解决
两种类型
被动防御
不处理网络另外加一个防护罩，可以视为一种特殊的异常检测。
主动防御
主动攻击是在训练模型是就加上防御的思想。
被动防御
filter的一个例子：可以直接对图像进行平滑化。这种方法能够成功的原因，是改变了某个方向上突变的样子，但是不会改变图片的原意。
feature Squeeze
squeezer指的是不同的filter
比较这些输出，如果区别很大就有问题。
Randomization at Inference Phase
稍微做些改变，看输出是否会有变化
在model前面加盾牌的方法，如果filter被泄漏，仍然可能被攻击
主动防御
精神：训练network时把漏洞找出来，补好
给定训练资料，然后用训练集来训练模型
如何找漏洞呢？
训练T轮，找出每一个输入对应的的attack，然后把可以被attack成功的数据找出来，再把这些数据加上正确的label，当作新的资料，进行训练。
训练T轮是因为训练时参数会变，所以要找出新的漏洞，再补起来
如果你用A方法来找漏洞，但是被B方法攻击，可能仍然防不住
假设你的找漏洞的方法被泄漏出去，别人就可以不用这种方法，换一种方法攻击。
