iDLG Improved Deep Leakage from Gradients

iDLG: Improved Deep Leakage from Gradients

人们普遍认为，在分布式学习系统中，如协作学习和联合学习等，共享梯度不会泄露私人训练数据。最近，Zhu等人[1]提出了一种方法，显示了从公开共享的梯度中获得私人训练数据的可能性。在他们的Deep Leakage from Gradient（DLG）方法中，他们在共享梯度的监督下合成了假数据和相应的标签。然而，DLG在收敛和持续发现ground-truth标签方面存在困难。在本文中，我们发现共享梯度肯定会泄露ground-truth的标签。我们提出了一种简单而可靠的方法来从梯度中提取准确的数据。特别是，相对于DLG来说，我们的方法肯定能提取出真实的标签，因此我们将其命名为改进的DLG（iDLG）。我们的方法对任何用交叉熵损失训练的可微分模型都是有效的，而且是在one-hot标签上。我们从数学上说明了我们的方法如何从梯度中提取ground-truth标签，并从经验上证明了它比DLG的优势。

1 Introduction

DLG的主要思想是通过将假梯度与共享梯度相匹配来生成假数据和相应的标签。具体来说，他们以随机初始化的假数据和标签开始。从那里，他们在分布式设置中的当前共享模型上计算假梯度。通过最小化假梯度和共享真实梯度之间的差异，他们同时迭代更新假数据和标签。尽管DLG是有效的，但我们发现它不能可靠地提取地面真实标签或生成高质量的假数据。

在本文中，我们提出了一种简单但绝对有效的方法，从共享梯度中提取基础真实标签。通过推导，我们证明分类（交叉熵）损失的梯度与正确标签激活（在输出层）有关，位于（-1，0），而其他标签的梯度位于（0，1）。因此，正确标签和错误标签的梯度的符号是相反的。当输出（logits）的梯度无法获得时，我们表明最后一层权重的梯度（在输出层和它前面的层之间）也遵循这一规则。

有了这个规则，我们可以根据共享梯度来识别ground-truth标签。换句话说，通过共享用交叉熵损失训练的神经网络（NN）的梯度，肯定会泄露出ground-truth标签。这使我们能够始终提取ground-truth标签，并大大简化了DLG[1]的目标，以提取高质量的数据。因此，我们将我们的方法命名为改进的DLG（iDLG）。我们工作的主要贡献包括。

• 通过揭示标签和梯度标志之间的关系，我们提出了一个分析程序，从共享的梯度中提取ground-truth标签，准确率达到100%，这有利于以更好的保真度提取数据。
• 我们通过比较三个数据集上提取的标签的准确性和提取的数据的保真度，实证证明了iDLG比DLG[1]的优势。

本文的其余部分组织如下。第2节介绍了从共享梯度和拟议的iDLG方法中提取ground-truth标签的分析程序。第3节通过实验评估展示了iDLG相对于DLG的优势，第4节通过讨论总结了本文。

2 Methodology

Zhu等人[1]最近的工作提出了一种方法（DLG），从共享梯度中窃取分布式学习中参与者所保护的专有数据。在他们的方法中，他们试图通过梯度匹配目标生成假数据和相应的标签。然而，在实践中，人们发现他们的方法经常产生错误的标签。在这项工作中，我们提出了一种分析方法，从共享梯度中提取真实的标签，然后我们可以根据正确的标签更有效地提取数据。因此，我们将我们的方法命名为改进的梯度深度泄漏（iDLG）。在这一节中，我们首先介绍了提取ground-truth标签的程序。然后，我们展示了基于提取的标签的iDLG方法。

2.1 Extracting Ground-truth Labels

让我们考虑一下分类情况，NN模型一般是用one-hot标签的交叉熵损失来训练的，它被定义为

y = [y1, y2, …] 是输出（logit），yi表示对第i类的预测得分（置信度）。那么，每个输出的损失梯度为

然而，我们可能无法获得关于输出y的梯度，因为它们不包括在共享梯度∇W中，后者是关于模型W的权重的导数。我们发现梯度向量$\nabla W_L^i$关于连接到输出层第i个Logit的权重$W_L^i$可以写成

当使用非负的激活函数时，例如ReLU和Sigmoid，$\nabla W_L^i$和$g_i$的符号是相同的。因此，我们可以简单地识别出其对应的$\nabla W_L^i$为负值的ground-truth标签。有了这个规则，我们就很容易从共享梯度∇W中识别出私有训练数据x的ground-truth标签c。请注意，这个规则与模型的结构和参数无关。换句话说，在任何训练阶段，从任何随机初始化的参数来看，这对任何网络都是成立的。

2.2 Improved DLG (iDLG)

基于提取的ground-truth标签，我们提出了改进的DLG（iDLG），它更稳定，更有效地进行优化。该算法在算法1中进行了说明。iDLG程序从可微调的学习模型F(x;W)开始，模型参数为W，梯度∇W根据私人训练数据（x，c）计算。第一步是从共享梯度∇W中提取ground-truth标签c’，如公式（4）所示。