【论文阅读】Membership Inference Attacks Against Machine Learning Models

Machine Learning as a Service简单介绍

机器学习即服务（Machine Learning as a Service，MLaaS），即将机器学习算法部署到云平台上，用户可以上传自己的数据集，利用MLaaS上的算法等资源训练一个model，然后用这个模型预测。比如超市可以训练一个模型预测用户的购物喜好。 这里需要注意的是，大多数MLaaS平台，学习算法、训练过程、超参数的设定以及最终训练好的模型都不会对用户暴露，即MLaaS对用户是黑盒的，用户最终只能使用平台训练好的模型的预测输出。

什么是Membership Inference Attacks（MIA）

MIA攻击过程：判断一条数据是否用于训练指定的模型（target model），其涉及到用户信息的隐私信息。比如一个医疗机构利用用户数据训练一个模型，该模型用于判断哪些体检指标与患癌症相关，用于预测病人患癌症的概率。攻击者知道某一病人的数据，并利用MIA预测该用户数据用于训练了该模型，那么攻击者便能大胆猜测——该用户得了癌症，之后就可能向该用户推送一些医疗保险之类的。
MIA能够攻击成功的一个重要因素是，模型对于其训练数据集的预测分布与对其没有见过的数据集的预测分布是不同的，其中可能的原因是模型对其训练数据集过拟合了（神经网络很多参数是冗余的，会记住训练数据集额外的一些信息）。
MIA可以根据攻击者所知道的额外的信息多少分为白盒（white-box）和黑盒（black-box）：

• 白盒：攻击者知道目标模型model structure、训练的细节、用到的learning algorithm等等；以及训练数据集或者其分布等等；
• 黑盒：攻击者只能以black-box的形式访问目标模型，即query目标模型时，仅能得到目标模型的输出（prediction vector），模型的结构以及训练过程等信息一无所知；

攻击实现过程

Dataset

Shadow training

Train attack model