学习笔记 | Threats to Federated Learning-A Survey

摘要

文章意图让研究者意识到联邦学习中隐私保护的重要性，并对攻击进行分类：

1. poisoning attacks投毒攻击

2. inference attacks推断攻击

引言

联邦学习的分类

1. horizontally federated learning (HFL)：数据有相同的特征但用户不同。数据集往往很小，所以一个数据被反复训练的概率是很低的，它计算能力有限、技术能力较低。

2. vertically federated learning (VFL)：数据有部分重叠，但特征空间不同。

3. federated transfer learning(FTL)：数据空间和特征空间都重叠不大。

威胁模型

Insider v.s. Outsider

内部攻击包括那些由FL服务器和FL系统中的参与者发起的攻击。内部攻击包括窃听者在参与者和FL服务器之间的通信信道上发起的攻击，以及用户在最终的FL模型作为服务部署时发起的攻击。

内部攻击更强，包含：

1. Single attack

2. Byzantine attack：任意攻击，并调整它们的输出以具有与正确的模型更新相似的分布，这使得它们难以检测。

3. Sybil attack：以模拟多个虚拟参与者帐户，或者选择以前被攻击了的参与者来对FL发动更强大的攻击。

Semi-honest v.s. Malicious

半诚实：攻击者正面诚实但是好奇，不偏离FL协议，只观察汇总起来的或平均梯度，而不观察其他诚实参与者的训练数据或梯度。

邪恶：学习诚实的参与者的私有状态，并通过修改、re-play或删除消息随意地偏离FL协议。

Training Phase v.s. Inference Phase

培训阶段：学习、影响、毁坏FL模型。

探索性阶段：不干预模型，但让他输出错误结果或者收集模型的信息。

 

投毒攻击

随机攻击降低模型的精度；目的性攻击引导模型输出攻击者指定的目标标签。

数据中毒

干净的标签不能改变任何训练数据的标签；污染的标签（label-flflipping attack一个类的诚实标签被翻转到另一个类，而数据的特性保持不变。）在训练集中引入一些数据样本，来扰乱分类。

模型中毒

在将它们发送到服务器或将隐藏的后门插入到全局模型之前，毒害本地模型更新。模型中毒在FL设置中包含数据中毒，因为数据中毒攻击最终会改变在给定迭代中发送到模型的更新子集。

推断攻击

模型更新可能无意识地泄露关于参与者培训数据的特征的额外信息。

攻击者还可以保存FL模型参数的快照，并通过利用连续快照之间的差异进行属性推断，即等于来自所有参与者的聚合更新减去攻击者自身。

攻击者可以利用共享梯度推断标签，并恢复原始训练样本，这些不需要任何关于训练集的先验知识。

推断类的代表

GAN

该算法的假设前提在FL中可能不太实用。 GAN攻击不太适合H2C场景，因为它需要大量的计算资源。

推断成员

推断给定数据是否在训练集中。

推断特定样本是否属于一方的私人培训数据（如果目标更新是单方）或任何一方的私人培训数据（如果目标更新是汇总）例如自然语言文本上训练的深度学习模型嵌入层的非零梯度揭示了在FL模型训练中参与者使用的训练中出现的单词。

在被动情况下，攻击者只需观察更新的模型参数并执行推理，而不改变本地或全局协作训练过程中的任何内容。 然而，在主动情况下，攻击者可以篡改FL模型训练协议，并对其他参与者执行更强大的攻击。 具体来说，攻击者共享恶意更新，并强制FL模型共享更多关于攻击者感兴趣的参与者的本地数据的信息。 这种攻击称为梯度上升攻击，利用SGD优化在损失梯度的相反方向更新模型参数的信息。

推断属性

对手可以发起被动和主动属性推理攻击来推断其他参与者的训练数据的属性，这与FL模型类别的特征无关。属性推理攻击假设对手有用他想要推断的属性正确标记的辅助训练数据。

推断输入数据和标签

Deep Leakage from Gradient(DLG)可以在几次迭代中获得训练输入和标签。

未来方向

1. Curse of Dimensionality：共享模型更新带来很多隐患，或许可以以黑匣子的方式共享不太敏感的信息或只共享模型的预测结果。

2. Threats to VFL：目前的威胁大多仍然集中在HFL上。在VFL中，可能只有一方拥有给定学习任务的标签。目前尚不清楚是否所有参与者都有相同的攻击FL模型的能力，以及对HFL的威胁是否能在VFL上起作用。

3. FL with Heterogeneous Architectures：把FL模型扩展到各种各样的结构。

4. Decentralized Federated Learning：在这一模式中，每一方都可以以循环的方式当选为服务器。

5. Weakness of Current Defense。

6. Optimizing Defense Mechanism Deployment：Game theoretic research博弈论优化。

名词解析

1. data silos：数据孤岛。数据属于私人所有，对外处于隐藏状态。

2. centralized approach：集中式方法。数据储存在中央服务器。

3. communication bandwidth：通信带宽，描述网络或线路理论上传输数据的最高速率。

4. IID data：独立同分布数据。

5. ring all-reduce：ring allreduce算法的通信成本是恒定的，与系统中gpu的数量无关，完全由系统中gpu之间最慢的连接决定。环中的gpu都被安排在一个逻辑环中。每个GPU应该有一个左邻和一个右邻;它只会向它的右邻居发送数据，并从它的左邻居接收数据。该算法分两个步骤进行:首先是scatter-reduce，然后是allgather。在scatter-reduce步骤中，GPU将交换数据，使每个GPU可得到最终结果的一个块。在allgather步骤中，gpu将交换这些块，以便所有gpu得到完整的最终结果。