【联邦学习论文笔记1】Label Inference Attacks Against Vertical Federated Learning

本文记录不是全文翻译，仅记录博主个人需要的部分。

0 Abstract

1. 联邦学习分类：水平联邦学习(HFL)——特征空间相同，样本空间不同，如两个区域银行的协作；垂直联邦学习(VFL）——样本空间相同，特征空间不同，如一个银行和一个电商的协作。
2. VFL典型应用场景：少数参与者(通常是两个)协同训练一个机器学习(ML)模型，该模型的特征分布在参与者之间，但标签只属于其中一个参与者，因此保护其中一个参与者拥有的标签的隐私应该是VFL提供的基本保障，因为这些标签可能是高度敏感的。
3. 本文出发点：发现模型的底层模型结构和梯度更新会被恶意参与者利用，标签能被推断，甚至可以推断出数据集之外的标签。本文提出针对VFL的标签推断攻击方法，讨论可能的防御措施。

1 Introduction

• 为解决数据孤岛出现联邦学习，联邦学习分为HFL与VFL，虽然数据不离开参与者本地机器，但是存在间接泄露信息的风险，如研究发现HFL存在梯度数据泄露，成员推断攻击，属性推断攻击，后门攻击。
• VFL的隐私泄露未充分研究，相比于VFL中对抗性参与者推断隐私信息更具挑战性，HFL中的敌对参与者控制着一个完整的局部模型，并且可以访问该模型所有参数的梯度，这可能被滥用来推断私人信息。然而，在VFL中，对抗性参与者只能控制联邦模型的一部分，而联邦模型不能独立运行，只能访问这个不完整模型的梯度。本文发现由恶意参与者控制的底层模型可能自然具有推断其他参与者私有标签的能力。
• 本文的主要贡献：
  1. 评估VFL的隐私风险。揭示和阐明了VFL新标签泄漏问题。
  2. 针对VFL，我们提出了三种类型的标签推断攻击，包括 直接标签推断攻击、带有模型补全的 被动标签推断攻击 和带有恶意本地优化器的 主动标签推断攻击。这些攻击涵盖了多个实际的VFL设置。
  3. 我们使用真实世界的数据集在两参与者和多参与者设置下对各种任务进行攻击评估，并取得了出色的攻击性能。此外，我们分享了关于主动标签推断攻击的底层工作机制的见解，并提供了易于理解的证明。我们还评估了针对我们的攻击的四种可能的防御措施，包括梯度压缩、噪声梯度、保护隐私的深度学习和离散的深度学习，发现它们是无效的，这促使未来研究更好的防御措施。

2 Background

• 流行的VFL框架分为两类：有/无模型分离。在这两种体系结构中，都有一个保存标签的可信第三方服务器，以及具有垂直分区数据的参与者。VFL的每次训练迭代可分为两步。第一步是联邦前向传播。所有参与者使用自己的本地数据和底层模型进行本地前向传播，然后向服务器提交本地输出。汇总所有参与者的输出，计算最终预测，然后计算相应的损失值。第二步是联邦向后传播。服务器反向传播并根据每个参与者的输出计算损失的梯度。梯度被发送回每个参与者。然后每个参与者继续联邦向后传播并更新其底层模型。
• 不分离的VFL：每个参与者运行一个底层模型，服务器不运行任何模型。每个参与者的底层模型给出一个输出;然后，服务器简单地汇总所有输出以获得最终输出。
• 模型分离的VFL借鉴split learning：整个ML模型被分成一个顶层模型和一些位于特定中间层(即cut layer)的底层模型。图示，每个参与者都运行一个底层模型，该模型学习其本地数据的隐藏表示。服务器运行一个顶级模型聚合来自每个参与者的隐藏表示，然后计算最终输出。反向传播通过共享切割层的梯度来完成。模型分裂的VFL中，参与者无法访问DNN的最后一层。因此，服务器上的标签更加安全。
  
• 训练过程结束后，每个参与者仍然保留输入特征和训练后的底层模型。因此，在推断时，VFL要求所有参与者都参与进来。

3 Label Inference Attacks

首先分享了为什么VFL容易受到标签推断攻击的见解，然后基于这些见解设计了三种标签推断攻击

3.1 可能存在的隐私泄露

发现当前的VFL设计存在标签推断攻击的固有漏洞。在下文中，我们分享了我们对VFL中可能导致标签泄漏的两个组成部分的发现:来自训练过的底部模型的泄漏和来自梯度的泄漏。

• Leakage from the Trained Bottom Model：具有/不具有模型分割的VFL要求每个参与者在本地训练一个底层模型，将输入特征嵌入到一个潜在空间，这避免了原始特征直接发送到服务器。此外，该底层模型在训练和推理阶段都处于潜在的对抗性参与者的完全控制范围内。虽然这种设计保护了功能的隐私不受参与者的影响，但它也允许对手推断私有的标签。其根本原因在于采用VFL优化了底层模型，为标签预测提供了更直观的特征表示。恶意底层模型的表达能力取决于它训练得有多好，以及它离最终预测层有多近。我们将引入两种利用训练好的底部模型的表达能力的标签推断攻击。
• Leakage from the Gradients：在VFL中，每个参与者都可以收到发送到服务器的输出的损失梯度。由于loss是通过测量预测标签和地面真实标签之间的误差来计算的，其梯度包含了关于标签的隐藏信息。可以进一步推断，给定层越接近最终预测层，其梯度包含更多关于标签的信息。因此，对手可能不依赖于训练好的底层模型的表达能力，而只是基于接收到的梯度来执行标签推断攻击。本文在不分割模型的情况下，通过分析接收梯度的符号，提出了一种标签推断攻击方法。

3.2 威胁模型

• 模型如上图所示，K方完成任务，一方拥有标签，控制运行主模型的server，adversary是剩余K-1中的一个，目标是推断隐私标签。注意，对手的目标是推断出任何感兴趣样本的标签，而不仅仅是训练数据集中的标签。
• 每轮训练，每个参与者从server接受梯度，更新各自的bottom model。对手可以选择性地利用接收到的梯度在训练阶段进行攻击。此外，一旦训练过程结束，每个参与者都会得到一个训练好的底部模型。在少量辅助标记样本的帮助下，对手可以根据训练好的底部模型进一步训练模型进行标签推理。最后，为了推断出感兴趣的样本的标签，对手还需要有经过训练的底部模型所需的样本特征。

3.3 基于模型不全的被动标签推断

对手可以使用额外的分类层微调底层模型，以便使用少量辅助标记数据进行标签推断。

• Model Completion：添加的层称为inference head，得到少量的辅助标记数据是容易的（如买卖），以半监督的方式微调完整的模型。本文选择MixMatch和MixText分别实现cv和nlp领域数据的实验。

3.4 基于恶意本地优化器的主动标签推断攻击

• 欺骗联邦模型使得其底层模型的表达能力更强。使用恶意优化器，加速自身bottom model的梯度下降，从而在每次迭代中提交更好的特征，使得主模型更多依赖攻击者的底部模型。
• 攻击者可以利用增大学习率的方法实现攻击，但是过大的学习率会使得结果在局部最小点震荡→使用自适用优化器。
  

3.5 Direct Label Inference Attack

• 只考虑没有模型分离的VFL，在此设置下，攻击者能够接收到最终预测层的梯度。可以通过分析从服务器接收到的梯度的迹象，直接推断出标签。直接标签推理攻击适用于用于分类任务的主流损失函数，包括交叉熵损失、加权交叉熵损失和负对数似然损失。
  攻击的缺点是它只能推断训练示例的标签，因为在推断时没有梯度可用。但是，为了推断任意样本的标签，攻击方可以将训练样本中获得的标签作为辅助标记数据，进一步进行所设计的被动标签推断攻击。

4 实验设置

4.1 数据集和模型架构

数据集：6个数据集来评估:CIFAR-10, CIFAR-100 [22]， CINIC-10 [11]， Yahoo Answers [39]， Criteo[23]和乳腺组织病理学图像数据集(BHI)[32]。
图片对半切分、句子哈希后对半分、文本分段

针对以上数据集，假设对手有40、400、40、100、100和70个辅助label

5 攻击验证

5.1 攻击表现

联邦模型取得的效果：
CIFAR-10、CINIC-10、Y ahoo Answers和Criteo的top-1准确率分别为0.8280、0.769、0.7167、0.7132;
0.7511→CIFAR-100上top-5 ;
0.8340→F1score(BHI)
评估的标签推断攻击效果：如图2所示，效果主动＞被动
比较直接使用半监督完成攻击过程，bottom model相同，随机初始化模型，即最大不同是模型是否预训练，结果如下：

对于相同的10个标记样本，被动标签推断攻击获得了良好的top-1推断精度0.6554。
训练后的底层模型具有较强的推理能力。先进的半监督学习算法进一步增强了攻击者完整模型的推理能力。

• 直接标签推断攻击的性能：每个数据集上都达到了top-1的1.0000的精度，因为直接标签推断攻击是基于确定性的数学推导。
• 对原始VFL的影响：为了达到隐身性，对VFL的攻击不应明显降低其原有任务的性能。直接/被动标签推断攻击在训练阶段不进行攻击，因此联邦模型在原始任务上的性能不会下降。主动可能会影响，原因是控制了训练过程。为了评估主动标签推断攻击的开销，比较有/没有主动标签推断攻击的原始任务在测试数据集上的性能。如图4所示，主动标签推断攻击对原始任务的性能影响非常小。

5.2 Sensitivity Evaluation

研究各种可能影响被动和主动攻击性能的因素。

• 攻击者特征量的影响：利用所有的标签来直接训练带有攻击者特征的推理模型，从而获得上限。
  
  图中结果可以得到三个结论：首先，一般来说，对手的特征越多，攻击性能越好。第二，主动标签推断攻击稳定地优于被动标签推断攻击，即使对手只有少量的特征。第三，被动或主动攻击的攻击性能被限制在由对手特征数量决定的上限内。
• 辅助标记数据的数量：表3所示，不需要太多的辅助数据，因为增速变慢。
  
• 多参与方实验：每个参与方对于标签推断的指示性可能都会降低，如图3所示，当参与者多达8人时，主动标签推断攻击的F1得分仍在0.70以上。当有10个参与者时，F1得分下降到0.60左右，VFL在实践中通常只有几个参与者。最常见的情况是两个参与者的VFL[7]。大量参与者加入VFL的情况是罕见的。且实际情况中，参与方数据集可能会重叠，这将导致推断结果的提高。

5.3为什么主动攻击有效？

可视化工具：GradCAM可以突出图像中的重要区域，用于预测类。如果对手在训练阶段使用恶意的局部优化器来更新底层模型，顶层模型最终会更加关注对手的局部数据。

6 防御

6.1 可能的防御方法

在VFL的训练过程中，发送给攻击者的唯一信息就是来自服务器的梯度。在梯度上可以应用防御策略，防止服务器向对手泄露信息。

• Noisy Gradients：VFL中，服务器可以在梯度算法中加入拉普拉斯噪声后再发送给参与者。
• Gradient Compression. 关键思想是只共享最大绝对值的梯度比例。
• Privacy-preserving Deep Learning. 包括三种防御策略:差分隐私、梯度压缩和随机选择。在每次迭代中，服务器会做如下步骤来保护梯度:(1)随机选择一个梯度值，产生噪声，并将噪声加到梯度值上;(2)如果加入噪声后的梯度值大于阈值τ，则保持该值，否则设为0;(3)循环前两步，直到收集到梯度值的θu分数。θu和τ都是用来平衡模型性能和防御性能的超参数。
• DiscreteSGD：signSGD提出了降低HFL中工作人员之间的通信成本，防止梯度导致的隐私泄露。在HFL中，服务器到参与者的共享梯度包含了所有模型参数的更新，而在VFL中共享梯度只包含了的输出损耗。VFL对共享梯度的变化更为敏感，初步实验表明，直接将signsgd应用于VFL很可能会使VFL模型不能收敛于原始任务。
  通过保留共享梯度的部分幅度信息来评估自定义版本的signSGD，我们将其命名为DiscreteSGD，作为一种可能的防御。

6.2四种防御方式结果

主动标签攻击：
小尺度的噪声并不能降低标签泄漏的风险。大规模噪声可以成功地降低标签推断攻击，但代价是显著降低联邦模型在原始任务上的性能。
梯度压缩可以成功地缓解标签推断攻击，但代价是显著降低联邦模型在原始任务上的性能。
离散化方法在优于上述三种防御方法，这表明梯度离散化可能是一种更有前途的对抗标签推断攻击的防御方法。
Defense Against the Direct Label Inference Attack.
除离散化标签推理外，所有的评估防御方法都可以减轻直接标签推断攻击。因为直接标签推断攻击依赖于梯度的符号。

7 未来工作

8相关工作

介绍了HFL相关攻击方式和其他FL攻击以及相关的防御措施。