论文笔记：GRNN: Generative Regression Neural Network - A Data Leakage Attack for Federated Learning

论文名字	GRNN: Generative Regression Neural Network - A Data Leakage Attack for Federated Learning
来源	未发布
年份	2021.5.2
作者	Hanchi Ren, Jingjing Deng, Xianghua Xie
核心点	利用梯度信息对联邦学习中的客户端原始数据进行攻击，反推出原始数据。
阅读日期	2021.5.14
影响因子
页数	17
引用数
引用
内容总结
文章主要解决的问题及解决方案： 在联邦学习中，可以从共享的梯度中恢复客户端的原始数据（敏感信息）。文中给出的是一种基于对抗生成网络（GAN）的方法达到上述目的。（一种攻击方法）   文章相比之前的工作创新之处： 1、相较于DLG精度有所提升（但因为是用GAN网络，攻击速度就比较慢） 2、指出DLG中利用的梯度仅是最后一层网络的梯度。（但文中方法不确定是不是用全部的梯度） 3、提出新的loss function用于模型训练。（我认为这是其相较于DLG精度上有提升的主要原因）   文章的主要工作： 1、提出一种基于GAN网络的攻击模型，用于反推联邦学习中客户端的原始数据（文中主要是对图像数据进行实验），该方法的主要思想是建立GAN网络生成随机数据，最小化真实梯度和虚拟梯度，从而完成原始数据的推断。（主要思想与DLG一样，创新点在于其loss function的定义）。 2、loss function的定义： 其中，WD(Wasserstein Distance) loss是用于度量两个梯度向量的距离（欧式距离），MSE是均方差，TV(total variation) loss是对生成的虚拟图像（假图像）数据施加的平滑度约束（是一个平滑正则项）。 3、GRNN模型特点：①对需要攻击的模型的收敛性没有要求，即可以直接用第一个epoch训练后的梯度进行攻击。②需要对激活函数做一定修改，因为需要“反向训练”，即利用梯度对虚拟输入求偏导，所以激活函数需要是二阶可微的函数，文中将ReLU改为sigmoid函数。 4、文中给出度量指标：①MSE；②PSNR（峰值信噪比）；③inference accuracy或Re-identification Accuracy（推断准确性）（与 Top-1、Top-5有关）。 其中，（我觉得255是图像像素相关）。另外，但未找到inference accuracy的定义（我的猜测是利用模型预测值是否与label一致进行判断，用上Top-1、Top-5等，选前k的最好的概率进行比较）。 5、实验细节：数据集：MNIST、CIFAR-100、LFW；模型：LeNet、ResNet-18。   文章内容：     实验结果：   附录：     参考文献：