对抗学习 学习笔记

师兄整理的列表：

https://github.com/Guo-Yunzhe/Adversarial_Learning_Paper

https://gitee.com/guoyunzhe/Adversarial_Learning_Survey

FGSM生成对抗样本的试写：

https://github.com/Guo-Yunzhe/adversarial_machine_learning

已看完：

* Intriguing Properties of Neural Networks,2013 （对抗样本在NN）

【https://www.cnblogs.com/lainey/p/8552422.html】

深度学习笔记 （bp，卷积层，池化层，全连接层，激活函数层，softmax层的前向反向实现）（看完文字）

【https://blog.csdn.net/l691899397/article/category/6366964】 

* Explaining and Harnessing Adversarial Examples （如何生成对抗样本？FGSM）

【https://zhuanlan.zhihu.com/p/32784766 https://zhuanlan.zhihu.com/p/33875223 文章总结】【https://blog.csdn.net/u014038273/article/details/78773515 FGSM小结】

* Visualizing and Understanding Convolutional Networks.CVPR2014 （CNN可视化）

【https://blog.csdn.net/tina_ttl/article/details/52048765】

* Adversarial Machine Learning, 2011（2011年的一个综述，对攻击机器学习的方法/目的作的一个分类/防御者弱点分析/攻击者限制）

* Adversarial Machine Learning at Scale, ICLR 2017（对抗学习在大尺度数据集上的应用，增加鲁棒性，标签泄露）

【https://blog.csdn.net/kearney1995/article/details/79789899】

* Adversarial examples in the physical world（上一篇的姊妹篇，比较的生成对抗样本的方法类型差不多，有更详细的表述。物理世界中的对抗样本，有打印重照、亮度对比度等调整）

【https://blog.csdn.net/u010710787/article/details/78916762】

* Practical Black-Box Attacks against Machine Learning（黑箱攻击，gradient masking）

【很有意思的一篇文章，重点是如何黑箱低成本（少查询）地推断模型决策边界？那么就是通过反复加减对抗样本制作时用的梯度，不断询问目标模型这些样本的分类，从而使得虽然替代模型本身准确率不高，但梯度cost gradient sign matrix与其相关性高，做对抗样本时轻松搞死原模型。而防御方法对这种黑盒攻击反而更没有什么用，因为原本模型里的梯度只是被遮蔽mask了而不是消失。看完之后我有些怀疑，像这样逐像素分类的所谓神经网络，是不是思路上就错了，像这样的多项式算法，根本不可能达到正常生物/人类的高度？】

* Distillation as a Defense to Adversarial Perturbations Against Deep Neural Networks （蒸馏模型的防御方法）

【https://zhuanlan.zhihu.com/p/31177892】

* Ensemble Adversarial Training: Attacks and Defenses（防御for梯度隐藏）

【之前的对抗学习实际是得到退化的局部最小值，使数据点附近的梯度更不平滑（无意义梯度），是gradient masking；R+FGSM：如果在制作对抗样本的时候加入一点随机梯度，即可绕过这种防御，而且表现比迭代两步更好，说明此时随机步都比按梯度走好；作者提出联合对抗学习，用已公布的模型做对抗样本一起训练模型，有效降低黑盒攻击成功率；更多样性的对抗样本会导致更高的白盒攻击成功率；在某对抗比赛中，有些降噪技术（random padding/resizing/perturbing）可以帮助提高防御力；认为对抗样本组成椎体而非子空间，用正交向量发现一般的模型里数据点附近要么超高维（即：很多方向都有对抗样本存在）的对抗空间要么几乎找不到，而对抗训练减少了这些空间的维度；测试联合对抗训练后的本地黑盒攻击，若模型允许返回完整的预测确信度，则可用R+FGSM攻破，否则不能】

进度中：

Towards the Science of Security and Privacy in Machine Learning （survey of 对抗学习）

【ml：三大类ml模型，三种收集数据的用途，划分为训练与推理（使用）期，

cnn的可解释性：

1 Architecture of Convolutional Neural Networks (CNNs) demystified

2 Network Dissection: Quantifying Interpretability of Deep Visual Representations 【https://blog.csdn.net/isMarvellous/article/details/75900055】

3 resnet & inception

【https://blog.csdn.net/zouxy09/article/details/8781543/ 初始cnn】

【https://blog.csdn.net/xbinworld/article/details/45619685 后续cnn】

Obfuscated Gradients Give a False Sense of Security: Circumventing Defenses （攻破基于梯度混淆的防御器）

【http://www.sohu.com/a/220704830_129720】

【https://cn.technode.com/post/nodebang/iclr-goodfellow/】

The Limitations of Deep Learning in Adversarial Settings （另一种生成对抗样本的方法，基于增大目标概率？）（似乎会讲到mnist的对抗例通常被误分为4/8）

【https://blog.csdn.net/kearney1995/article/details/79712596】

Generative adversarial nets （GAN）

【https://blog.csdn.net/wspba/article/details/54582391】

搁置中：

github使用方式 【https://www.liaoxuefeng.com/wiki/0013739516305929606dd18361248578c67b8067c8c017b000】

了解生成学习网络 GAN 【https://github.com/zhangqianhui/AdversarialNetsPapers】

两大佬的一个blog，科普安全与ai【http://www.cleverhans.io】

文章简记：

名词（未看完）：

1. manifold learning 流形学习 ：非线性的降维，参数化parameterization，高维坐标转低维，比如三维里的球降维成球心坐标+半径长度
2. optimizer 优化器：L-BFGS  条件约束优化算法 （2014年那篇文章里用的复杂的生成对抗例的办法） 【https://blog.csdn.net/csyanbin/article/details/53460627 优化器算法】【https://blog.csdn.net/xierhacker/article/details/53174558 优化器api】
3. line-search and trust region 线搜索与信赖域
4. dropout /label smoothing(LSR) /weight decay： 训练神经网络时防过拟合的方法
5. 隐马尔可夫：通过显序列算隐序列
6. generalization ability 泛化：不要过拟合
7. 神经网络：非线性积累
8. NP完全问题：NP=P?
9. regularizer 正则化/norm 范数 :【https://blog.csdn.net/Michael__Corleone/article/details/75213123】
   加入规则进行约束（惩罚项(penalty term)）【https://blog.csdn.net/zouxy09/article/details/24971995】
10. normalization 归一化：L1 norm是绝对值相加，又称曼哈顿距离; L2 norm是欧几里德距离之和
11. 集成学习 Ensemble learning： bagging and boosting（boost是加分类器权重！）
12. 交叉验证 cross-validation：循环样本集训练与验证（？）
13. 决策树 【https://blog.csdn.net/HerosOfEarth/article/details/52347820 举例形象有3与4.5的python实现】【https://www.cnblogs.com/fionacai/p/5894142.html 与随机森林 差异清晰】【https://zhuanlan.zhihu.com/p/36335867 西瓜书笔记】
14. 随机森林： bagging + 决策树
15. lipschitz常数/连续：各点导数存在且有界
16. 激活函数 activate：往神经网络加入非线性内容，使多层有意义
17. permutation invariant 置换不变（的MNIST task）：模型不承担特征之间的任何空间关系。比如卷积就假定了邻域关系 【https://stats.stackexchange.com/questions/120089/what-does-permutation-invariant-mean-in-the-context-of-neural-networks-doing-i】
18. data-augmentation scheme 数据扩充方法（模拟图像在真实环境下可能有的改变） 【https://www.cnblogs.com/zhonghuasong/p/7256498.html】
19. active learning 主动学习：降低训练时间和成本。主动找较难案例（uncertainty&diversity，熵&与已知样本差异大）询问标签来学习【https://www.leiphone.com/news/201707/mTyG0mVjpVag5mmn.html】
20. RBF（radical basis function neutural network）：限定核函数为高斯分布，画圈圈型的局部激活函数（样例撑起权重）的三层神经网络 【https://www.zhihu.com/question/44328472】
21. 机器学习数据集 （MNIST手写数字分类，CIFAR-10物体分类）【https://zhuanlan.zhihu.com/p/25138563】
22. Maxout, NIN （CNN中卷积计算的扩展）【https://blog.csdn.net/xbinworld/article/details/61210499】
23. High entropy 最大熵 （交叉熵损失）【https://blog.csdn.net/v_july_v/article/details/40508465】
24. Distillation 蒸馏模型：将训练好的复杂模型推广能力“知识”迁移到一个结构更为简单的网络中/压缩网络，实际是有泛化效果，把a-b类更相近、a-c类离更远这种关系也提炼出来（未看原论文） 【Distilling the Knowledge in a Neural Network】【https://www.zhihu.com/question/50519680/answer/136406661】【https://www.leiphone.com/news/201804/upBV7Zpd1jnsB9lf.html 解决分布式SGD瓶颈】
25. Batch Normalization（BN）：防止协变量位移（covariance shift）、梯度扩散（未看原论文） 【Batch Normalization: Accelerating Deep Network Training by ReducingInternal Covariate Shift】【https://www.zhihu.com/question/38102762 好用原因】【https://blog.csdn.net/whitesilence/article/details/75667002 计算解释】
26. statistical hypothesis testing 假设检验，chi-square test 卡方检验，Testing Statistical Hypotheses.Springer Texts in Statistics
    
27. 雅可比矩阵：对矩阵变换求导
28. hypothesis space/version space 假设空间与版本空间：【https://www.cnblogs.com/HongjianChen/p/8383816.html】
29. 凸优化（连链接里的都还没看）【https://blog.csdn.net/xbinworld/article/details/79113218】
30. Rademacher complexity :似乎与28有关 【https://blog.csdn.net/u010185894/article/details/61916875】【https://blog.csdn.net/pearl30/article/details/74905593】
    

范数延伸：

损失函数：https://blog.csdn.net/weixin_37933986/article/details/68488339

核范数：https://blog.csdn.net/zouxy09/article/details/24972869

奇异值分解svd：https://www.cnblogs.com/donaldlee2008/p/5237100.html

主成分分析pca：http://www.cnblogs.com/zhangchaoyang/articles/2222048.html

向量范数、矩阵范数：https://blog.csdn.net/left_la/article/details/9159949

卷积网络：

1. 全连接网络&卷积网络 【https://blog.csdn.net/julialove102123/article/details/79033969 两者对比】【https://blog.csdn.net/l691899397/article/details/52267166 全连接的数学推导 前向】【https://blog.csdn.net/qq_15807167/article/details/64940985 python&TensorFlow实现各种加成下的全连接网络】
2. 卷积核，sobel算子，滤波，翻转乘积【http://www.cnblogs.com/freeblues/p/5738987.html】
3. 卷积的zero-padding（周边补0以增加输出图大小）/stride（每次移动卷积核的步长）
4. 逆卷积(Deconvolution)/转置卷积(Transposed Convolution)：就是反向乘转置的展开了的卷积核 【https://blog.csdn.net/kekong0713/article/details/68941498】
   

隐私保护：

K-anonymity k-匿名：https://blog.csdn.net/mrs_wu/article/details/79658281

Diferential privacy 差分隐私（通常是加Laplace噪声来randomization） ： https://www.zhihu.com/question/47492648/answer/194047182    

UCB，多臂赌博机：https://blog.csdn.net/scythe666/article/details/74857425

对抗样本openai介绍译文：

【https://www.leiphone.com/news/201702/Jpb0uiOt9RTwcB8E.html】

对抗样例学习进度：

√√√ 对抗样例是什么

√√× 生成对抗样例的方法

√√× 进行黑箱攻击的办法（实际攻击时会遇到的问题）

××× 在物体分类外的攻击（可以攻击哪些神经网络应用）

××× 隐私攻击（偷模型参数）

××× 从不明显攻击到明显贴标签/同时欺骗机器和人类？