Releasing Graph Neural Networks with Differential Privacy Guarantees

Releasing Graph Neural Networks with Differential Privacy Guarantees

1 ：动机

针对图片分类成员推理攻击的防御方法-教师集成学生模型PATE，在graph中不适用，分割成不相交的子集训练私有的教师模型时，会破坏其结构信息损失精度。
本文提出了一种针对于图的特殊学生GNN模型释放方式，不需要分割数据集PrivGnn。使用公开数据集训练学生模型，部分隐私标签数据训练教师模型。同时通过Renyi differential privacy来提供隐私保障。

2：对手知识

a labeled private graph（训练教师模型）
an unlabeled public graph（教师模型的知识迁移以隐私保护的方式迁移到学生模型中）

两种生成机制：
①random subsampling using Poisson sampling
②noisy labeling mechanism to obtain pseudo-labels for public nodes

3:流程

步骤一：Private data selection
对完整隐私图进行分割后，计算查询节点与随机的多个隐私子图，利用distance function(欧式距离或余弦距离)，采用KNN选择距离隐私子图训练教师模型。这里的查询节点是利用主动学习的方式（聚类等）从众多的公开节点中选择的。

步骤而二：Retrieval of noisy pseudo-labels (教师模型属于归纳式模型)
对对应的公开节点查询对应子图训练的教师模型，并在最后输出的posterior中添加拉布拉斯噪声，输出最终的伪标签y(u)~.

步骤三：Student model (transductive) training
使用伪标签的查询节点和其他的公开节点一起训练学生模型，训练时这些数据都可以看到属于直推式模型。并且，在第二步中输出伪标签添加了噪声，因此保障了教师模型的隐私，即隐私训练图

4：实验

Baselines：无隐私保护的直推式归纳式GCN分类模型（B1,B2）
有隐私保护的PATE的变种（基于图划分的PateG(GCN),PateM(MLP)）
①Privacy-utility Tradeoff 在同样λ噪声下的性能较好，其隐私预算更少
②KNN训练教师模型中，K的影响，稀疏图小k,稠密图k越大越好
③公开数据集中用于查询教师模型的查询点数的影响，没有太大的区别可忽略
④子采样率的影响（没明白子采样用于那的，主要是差分那块理论分析还不是很明白）

5：总结

本文利用教师学生的知识蒸馏模型和差分隐私的方式，在隐私图中通过knn采样训练教师模型，利用公开数据查询对应教师模型，在其输出中添加噪声生成伪标签训练学生模型，最终释放保障了隐私的学生模型。

6：

属于使用图像分类中的方法适应性扩展至graph node 分类任务中。由于对差分隐私还不是很明白，为什么没有具体的防御成员推理攻击效果的对比呢