CloudLeak: Large-Scale Deep Learning Models一种黑盒的攻击方法

	background	state of the art(已有的对比项)	solution/contribution(系统还是算法贡献)	evaluation	conclusion/future work
CloudLeak: Large-Scale Deep Learning Models CloudLeak：通过对抗性示例窃取的大规模深度学习模型	通过查询的方法可以发生信息泄露（泄露模型或者训练数据member inference attack）       假设（黑盒）：no prior knowledge about training data,architecture or parameter of victim model,但是可以观察到分类标签和confidence scores	减少了窃取目标模型需要询问的次数     我们的方法可以窃取具有高精度，少量查询和低成本的大型深度学习模型，而先前的工作却失败了     目前的大部分的DNN查询和模型提取攻击使仍然不切实际的限制： 1 窃取攻击的对象是小型机器学习模型，复杂DNN上无法评估攻击性能 2 询问的数目要和模型参数个数成比例，但是针对ResNet, VGGNet，包含百万个参数。查询成本高	窃取针对Micro，Face++,IBM,Google托管的流行MLaaspingtai 的模型的 黑盒攻击方法（从云平台中提取大型DNN模型）	当前的limitation:   1 对抗查询方法的进一步改进   2 对抗示例要扩展到multi-label case（攻击者需要首先制作具有多目标标签的对抗示例，然后生成综合数据集以训练替代模型。）   3 扩展到其他域。 由于对抗性示例广泛存在于各个领域（例如音频和文本）中，因此所提出的攻击可以轻松地扩展到所有基于DNN的MLaaS平台。	1  adversarial attack method ：提出了针对local substitute models的对抗攻击方法FeatureFool. 这个方法采用internal representation[内部表征，通过下文猜测是内部特征]来产生malicious samples的子集。然后用恶意samples来对victim model查询，从而学习到victim model的决策边界与stolen model的距离。     2 black-box model theft attack ：针对大规模DNN模型设计了黑盒模型盗窃攻击。攻击通过对训练好的模型进行对抗主动学习和迁移学习，来加速模型窃取过程。   3 evaluate： 评估了由Microsoft，Face ++，IBM，Google和Clarifai托管的一组流行商业平台上的攻击框架。发现需要查询的量少了很多

 

 

 

key idea:

 

1 对抗样本生成： 提出了一个 margin-based adversarial AL 算法 Feature Fool   用来收集 victim 模型的信息，从而生成 malicious sample 。然后用 malicious sample 对 victim 模型查询）得到 synthetic dataset 。

 

2 迁移学习： 使用有对抗性示例的迁移学习 。用得到的synthetic dataset，对预训练模型进行微调。从而加快模型的生成速率。

 

3 Evaluate

 

 

一些问题说明：

 

1. 对抗攻击为了什么？如何窃取模型的参数？

对抗样本定义：Adversarial examples are inputs to machine learning models that an attacker has intentionally designed to cause the model to make a mistake;
1）对抗样本和对应的合法样本应该差距越小越好；

2）对抗样本应该使得模型分类错，且错的那一类的概率越高越好。

使用对抗的方法构造的数据集大约位于分类器的决策边界上

对抗的方法构造的数据集大约位于分类器的决策边界上。更少的train data就能找到分类器的超平面。

 

2 恶意样例生成的其他算法

 

3 黑盒模型窃取的其他算法

黑盒模型窃取的其他算法

Stealing ` machine learning models via prediction apis

Copycat cnn: Stealing knowledge by persuading confession with random non-labeled data

Practical black-box attacks against machine learning

1   F. Tramer attack [6], ` “Stealing ` machine learning models via prediction apis  25th USENIX Security Symposium 2016

攻击类型： 窃取ML模型的黑盒攻击.

针对的云平台： BigML, Amazon Machine Learning

攻击的模型：逻辑回归和决策树这种简单机器学习模型

攻击方法： 1. 基于求解方程式的攻击：针对逻辑回归（二分类与多分类等）。

       2. 决策树路径查找攻击：新的寻路攻击。

limitation: 只针对简单ML模型。且攻击方法迁移性不够

 

2   Correia-Silva attack [14]  Copycat cnn: Stealing knowledge by persuading confession with random non-labeled data  CoRR, vol. abs/1806.05476, 2018.通过说服CNN模型通过随机的非标签数据来输出它的knowledge

攻击类型： 窃取ML模型的黑盒攻击.

攻击的模型：CNN

攻击方法： 1. 使用随机数据查询（没有生成对抗样例，查询的数据集来自相同问题域的图像组成 or 随机自然图像）

       2. 迁移学习

 limitation: 实验使用的类别中总共的类的个数很少，针对CNN的，query次数相对多。

 

3   Papernot attack [21]  Practical black-box attacks against machine learning,” in AsiaCCS, 2017

攻击类型： 窃取ML模型的黑盒攻击.

针对的云平台： Amazon, Google。 数据集：MNIST Dataset, GTSRD Dataset

攻击的模型：DNN

攻击方法： 1. 对抗样例生成算法：FGSM , Papernot( 用雅克比矩阵 替代梯度 )

       2. 迁移学习

 

 

提到的一些Methods

 

Black-box attack：黑盒攻击：对模型不了解，对训练集不了解或了解很少

 

内在表征（internal representation）: 是指学习者在头脑中拥有的认知结构或者心智结构

 

迁移学习：我们在所需的训练样本子集上微调了VGG19模型[28]，并使用DeepID进一步提取了高级图像表示。 在本文中，我们将此新模型称为VGG DeepID。 我们的转移学习方案还通过使用训练有素的模型（例如AlexNet，VGG19，VGG DeepID，VGGFace和ResNet50）进一步加快了模型窃取过程并提供了性能提升

 

Adversarial Attacks in Deep Learning：对原始图像添加略微扰动。本文章是基于黑盒的。1）利用生成的malicious features制作视觉上难以察觉的对抗图像。（仅使用图像特征生成对抗示例） 2）求解模型参数，以最小化目标类别的置信度得分。

 

active learning; 迭代的选择信息例子给用户让用户标记。利用对抗性实例算法。因为是要查询victim model的边界，所以增加位于分类边界上的有用实例的多样性。与以前的模型提取攻击相比，通过使用黑盒访问，对手可以通过使用具有更少查询的本地替代分类器来成功复制受害者分类器的功能。