【论文阅读】A Novel Attribute Reconstruction Attack in Federated Learning

本文提出了一种 属性重构攻击（Attribute Reconstruction Attack，ARA），利用构建样本产生的更新梯度和受害者模型更新的梯度的cos相似度，在联邦学习场景下具有较大的研究价值。

不同于先前的 模型反演攻击（Model Inversion Attack，MIA），ARA是给定无关属性$X_{others}$和标签$Y$，对某单一目标属性$X_s$进行推断，而MIA是在某一类大致相似的提前下，确定某一类的所有输入属性$X_{others}+X_s$，假设场景不同。
除此以外，在联邦学习场景下，还有一种类似的攻击叫做Deep Leakage from Gradients (DLG)，其利用了更新的梯度推断某一批次的输入和标签，但是仅限于“该批次足够小，甚至是单样本的批次”的联邦学习场景，但是实际中，每一个参与者理应是经过几轮的本地训练后再进行一次参数聚合，这种 epoch-averaged gradients 的情况下，DLG变得不太可能，因为DLG主要是根据极少量的数据或者单条数据的梯度进行攻击的。

其整体的算法如下：

注意这里的 $X$ 代表多条数据的输入属性，而非单条，对应的是受害模型需要训练多轮epoch的训练数据。

这篇文章主要有两个贡献：
（1）利用 Gumbel-softmax 将离散变量转化成可微的自变量，即进行了重参数化（re-parameterization）：

，使得基于梯度下降的优化算法（12行的式子）成为可能。

用原文的话说就是：

Gumbel-softmax 采样，见：
https://blog.csdn.net/weixin_42468475/article/details/123014858

（2）利用 cos 相似度计算 虚构样本和真实样本的梯度，并优化其最大值：

所以本文的idea时，保证虚构样本的梯度和真实样本的梯度足够相似，就可以保证虚构样本接近于真实样本。