联邦学习 | 无处不在的隐私泄露！

相信看过上一篇内容的同学已经对联邦学习的背景和算法思想有了概念，总结起来就是：数据不动模型动。但是，本地数据不出端就能防止隐私信息泄露吗？那可不一定！

比如说，可以进行人机对话的GPT2模型，竟然被“诱导”说出来某些网友的姓名、电话号码和地址！

接下来给大家介绍两种窃取数据隐私的攻击方法。

图片数据攻击效果[1]

可以看到，经过500次迭代之后，图片都几乎被还原了！除了图片数据集，文字数据也可以被还原：

文字数据集攻击效果[1]

所以说，不要以为数据不出端，你的隐私信息就稳了！

除了模型逆向攻击，还有一种窃取隐私信息的方法叫做成员推理攻击。

成员推理攻击是用来判断某个样本是否属于目标模型的训练数据集，从而得知该样本的一些集体属性。

比如说，某医院根据一批患者的症状训练了一个机器模型，并且把这个模型公开给了大家用；而我手里有某个人的生理特征，那么我可以利用成员推理攻击来推测这个人的数据是否被用于训练医院发布的模型，从而知道他是否去医药看过这个病。

一种比较经典的成员推理攻击是这样的：被攻击的目标是一批隐私训练数据集和利用这批训练集训练出来的模型。攻击者会通过白盒窃取或者黑盒探测的方式得到和目标模型的结构、参数都相似的影子模型，然后生成和目标数据集分布相似的仿真数据集，最后用影子模型和仿真数据集训练一个分类模型，这个分类模型可以根据某样本经过目标模型的输出来判断它是否属于目标训练数据集。

当然，在真实场景中，影子模型和仿真数据集的逼真程度都不是很高，所以成员推理攻击大多时候是作为一个测试方法，评估模型训练过程的隐私泄露程度。

其实当一个AI模型具备了分类预测、生成语句的能力的时候，已经表明它存储了很多知识，这些知识又不可避免地包括了一些训练样本的个体信息。如何让AI模型学习到通用知识又不保留个体信息，是我们要解决的一个问题！

参考：

[1]Deep Leakage from Gradients ：

https://arxiv.org/pdf/1906.08935.pdf

MindSpore官方资料

官方QQ群 : 486831414

官网：https://www.mindspore.cn/

Gitee : https : //gitee.com/mindspore/mindspore

GitHub : https://github.com/mindspore-ai/mindspore

论坛：https://bbs.huaweicloud.com/forum/forum-1076-1.html