对联邦学习的威胁、攻击和防御：问题、分类和观点

对联邦学习的威胁、攻击和防御：问题、分类和观点

FL的挑战（Federal Learning)

异构化的挑战

随着worker的多元化和复杂性，我们加强了对相互信任、效率、质量趋同的关注，需要在储存、计算和通信能力上应对设备的异构性，非i.i.d数据，以及不同本地应用环境下的模型等情况。

通信的挑战

降低通信成本是FL的主要瓶颈，因为worker和Server进行多次交互，且常常连接不稳定。

安全与隐私威胁的挑战

恶意的worker可能会试图窃取诚实的worker的隐私信息，或恶意的worker可以发起联合攻击，损害全局模型的性能。

如下图所示，FL执行的多阶段框架可以分为三个阶段，包括数据和行为审计、训练和预测。该模型在FL执行的每个阶段都面临不同的安全和隐私威胁。

数据和行为审计阶段

受到污染的数据和恶意行为是影响模型性能的主要因素，如果将数据和行为审计阶段的风险降到最低，则中毒攻击的概率就会降低。

威胁模型

在FL中，每个worker的数据是可用但是不可见的，使得worker对自己的数据拥有绝对的控制权，这使得Server很难对所有本地worker的数据质量和历史行为进行审核。

因此，一个恶意的worker可以修改训练数据，或在数据收集、传输和处理过程中，可能出现未标记、有噪声或不完整等数据质量问题，这些问题可能会对基于数据的决策产生重大影响。

攻击

数据和行为审计阶段是保证FL可信度的第一道防线。在这个阶段，attacker可以通过社会工程、渗透攻击、后门攻击和APT攻击对数据和系统造成破坏。内部worker还可以直接破坏核心数据和系统。数据收集和传输阶段的无意错误，以及环境因素，也会对后续的数据分析产生一定影响。

防御

确保FL可信度的一种方法是审计worker的数据质量。高置信度的数据可以有效减少中毒攻击的发生，提高模型的有效性。其他方法是评估worker和Server的历史行为，应提出基于系统日志的可信度度量和可信度验证方法。

此外，在训练过程中也应该动态评估worker的可信度，一般来说，恶意的worker的行为通常与最受信任的worker不同，通过审计上传到Server的行为，可以剔除不受信任的worker。

训练阶段

恶意的worker可以操纵自己的数据、模型和参数，从而损害全局模型的性能。在模型更新的上传和下载过程中，模型可能会被通信通道中的attacker窃听，导致模型更新被篡改或窃取，因此有必要对模型更新之间的传输进行保护。

隐私推理攻击（Privacy inference attacks）

隐私泄露的原因

嵌入层泄露

深度学习模型在学习具有稀疏离散输入空间的非数字数据时，会首先将词汇表V中的单词转换成one-hot向量，嵌入层的参数可以表示成矩阵${W}_{emb}\in {\mathbb{R}}^{|V\times d|}$,其中$|V|$表示词汇的数量，d 表示嵌入层的维度。

对于特定的文本，嵌入层的梯度更新仅取决于文中出现的单词，其他单词对应的更新梯度为0，这样attacker可以直接推断出worker在FL中训练期间使用了哪些单词。

FC层的泄露

全连接层（FC）层通常是深度学习模型中不可或缺的部分，主要功能是将分布式特征映射到样本标签空间。常规分类任务中，深度学习模型一般以FC层结束，在softmax使用后，通过交叉熵计算损失。根据正确的标签，梯度的符号是负的，否则是正的，因此可以通过共享梯度推出标签值。此外，无论在神经网络的位置，全连接层的输入总是可以用梯度计算出来。

梯度模型的泄露

使用梯度可以确定是否使用了准确的样本进行训练，还原样本的属性，甚至完全恢复原始训练数据。

威胁模型

Server-side攻击

可以假定一个诚实或者恶意的Server，Server知道的信息包括全局模型的结构，权重和worker在每次迭代的梯度，通常认为attacker拥有无限的计算资源。

窃听攻击

位于Server和worker之间的通信信道可能被attacker发起窃听攻击，每次通信中，attacker可能窃取或篡改一些有意义的信息，比如模型权重或梯度。

Worker-side攻击

可以假设K个worker$(K\ge 2)$。

当K=2时，其中一个worker是attacker，其目标是窃取另一个worker的训练数据信息，这种情况下，attacker可以访问目标worker的模型结构、权重和梯度，就像服务端对手一样。

当K>2时，存在既不是attacker也不是victim的worker，这种情况对手无法准确获取目标受害者的梯度，这样增加了攻击难度。

攻击

根据不同的推断目标，隐私推断攻击可以归纳为成员推断攻击、类代表推断攻击、属性推断攻击和数据重构攻击。

成员推断攻击

目标是确定是否使用了准确的样本来训练网络。attacker可以进行被动攻击和主动攻击，被动攻击一般只窃听更新的模型参数来进行推断，而主动攻击可以篡改训练数据，欺骗其他worker暴露隐私。一种方式是attacker共享恶意的更新，诱导FL全局模型透露出更多关于其他worker的本地数据信息。

类代表性推断攻击

目的是获取目标标签的原始样本。深度学习中有一种内部的主动推理攻击，叫做生成对抗网络攻击，实验表明，任何使用这种方法的恶意worker都可以从其他worker那里推断出隐私，然而实验中所有worker都是相似的，并且attacker知道victim的数据标签。

属性推断攻击

目标是推断其他worker训练数据的特征。被动攻击attacker只能观察模型更新，训练目标属性的0-1属性分类器来进行推断，主动攻击可以欺骗FL模型，更好分离有目标属性和没有目标属性的数据，从而窃取更多信息。

数据重构攻击

目的是精确的重构训练样本或训练期间使用的标签。

防御

压缩梯度

梯度的可压缩性和稀疏性被认为是减少通信和计算开销的方法之一。这种方法可以转移到FL隐私保护，因为它们减少了隐私推断的信息员，可以成功地防止深度泄露。

密码学梯度

FL经常使用同态加密和安全多方计算。同态加密不会改变原始数据信息，可以保证模型收敛过程中不存在性能损失。

同态加密算法：
$$\begin{gathered} A^{\prime }=e_k(A) \\ {B}^{\prime }=e_k(B) \\ {C}^{\prime }=A^{\prime }+B^{\prime } \\ 则C=d(C^{\prime })且C=A+B \end{gathered}$$
但是它也消耗计算和通信，这点限制了它的应用。

中毒攻击（Poisoning attacks）

这种攻击发生在对抗FL的训练阶段。一方面，attacker可以削弱全局模型在没有标签的任务上的性能，另一方面，可以在全局模型注入后门。一般来说中毒攻击分为数据中毒和模型中毒两种，以及针对性的攻击（后门攻击）和无针对性的攻击（拜占庭攻击）。

威胁模型

attacker可以操纵一些worker参与FL的训练过程，并修改模型更新。修改内容有数据特征、标签、模型参数或梯度。

攻击

数据中毒和模型中毒攻击

数据中毒攻击主要改变训练数据集，通过添加噪声或翻转标签改变数据。

模型中毒攻击目的是任意操纵模型更新，导致全局模型偏离正常模型，导致模型性能下降或在最终的全局模型中留下后门。

拜占庭式和后门式攻击

拜占庭攻击的目标式导致全局模型的失败。

后门攻击目的是使模型在某一特定任务中失败，而正常任务不受影响，可以说后门攻击是一种有针对性的中毒攻击。

后门攻击者改变特定的特征，只有特定的样本才能触发后门任务，所以只有知道如何触发后门任务的attacker才能发起攻击。

防御

中毒攻击有两种防御方法，即鲁棒性聚合和差分隐私。

鲁棒性聚合

Server可以使用验证数据集独立验证全局模型的性能，还可以通过检查恶意worker的更新是否与其他worker的更新在统计上有差异。

• Trim-mean：这是独立选择模型的各个参数，剔除最大值和最小值，计算出平均值作为参数的聚合值。
• Median：在参数中独立选取中值作为聚合结果的全局模型。
• Krum：在m个局部模型中选取最接近（余弦相似度）其他局部模型的一个局部模型作为全局模型。

差分隐私

在全局模型中加入具有较小标准差的高斯噪声以减轻威胁。

预测阶段

不管worker是否参与训练，他们最终都会部署到Server，在这个阶段，规避攻击和隐私推断攻击频繁发生。规避攻击通常不会改变目标模型，而是欺骗模型产生错误预测。隐私推断攻击可以重构模型和原始数据的特征。这些攻击的有效性取决于attacker知道的信息量。

规避攻击（Evasion attacks）

目的使通过构造特定样本来欺骗目标模型。通常，添加到输入样本中的细微噪声无法被检测到，导致模型给不出正确的分类结果。比如在一张猫的照片中添加了一些噪音，这种攻击使得原本应当识别为猫的机器将其识别为了狗。

威胁模型

攻击可以分为白盒和黑盒攻击。在白盒攻击下，attacker对目标模型有完整的了解，包括神经网络结构、模型参数和输出。相比之下，在黑盒攻击下，attacker不知道这些信息，可以根据目标模型的查询结果来实现攻击。

攻击

主要研究方向使设计对抗性例子，突破模型的鲁棒性。

在计算机视觉中

图像数据是连续的，像素值的微小变化就会引起图像数据的扰动，而这种扰动很难被人类检测出来。

白盒攻击主要基于优化、梯度、分类超平面等。对于基于优化的方法，如何找到最小可能的攻击干扰是一个优化问题。对于梯度方法，核心思想是在梯度方向上对输入样本进行修改。对于基于分类超平面的方法，目的是找到欺骗深度网络的最小干扰。

在自然语言处理中

文本数据是离散的，因此沿梯度方向进行干扰是一项挑战。文本数据的对抗性例子可以是字符、单词和句子级别的。

防御

经验主义防御（ Empirical defense）

图像预处理和特征变换可以防御规避攻击，但是这些方法在attacker知道防御方法的情况下几乎无效。通过隐藏信息来提高模型安全性的手段有模型融合、梯度掩码和随机化。为了提高模型的鲁棒性，防御者生成attacker的样本，并将其与原始样本混合来训练模型，但可能会导致过拟合使得泛化性能下降。

认证防御（ Certifed defense）

随机平滑是未来鲁棒对抗研究的一个很有前景的方向。

隐私推理攻击（Privacy inference attacks）

威胁模型

在模型预测阶段，attacker可能不知道模型的参数，只拥有查询模型的权限，使得攻防方法难以使用。

攻击

模型反演

主要是利用机器学习系统提供的一些API来获取模型的初步信息，就可以对模型进行分析，获得原始数据的相关信息。

成员推理

目的是测试一个特定的样本是否属于训练数据集。

模型提取

对手通过重复查询获取到模型的相关信息，模拟出目标模型的决策边界，从而获取模型的参数。

防御

可以通过模型结构防御（如降低模型对训练样本的敏感性和模型的过拟合）、信息混淆防御（如混淆模型的输出）和查询控制防御（如控制查询频率）。

结论

联邦学习（FL）作为一种解决数据竖井问题的方法，存在引发数据隐私和模型鲁棒性的危险。我们根据FL工作的多个阶段（数据和行为审计阶段、训练阶段和预测极端）提供了FL的分类。最后，我们得出结论FL在隐私增强技术中是有前景的，但仍然面临分布式特性带来的安全和隐私问题，我们应当考虑FL执行所有阶段中存在的威胁。