【论文阅读】Resisting Distributed Backdoor Attacks in Federated Learning: A Dynamic Norm Clipping Approach

个人阅读笔记，如有错误欢迎指出

会议：2021 IEEE International Conference on Big DataResisting Distributed Backdoor Attacks in Federated Learning: A Dynamic Norm Clipping Approach | IEEE Conference Publication | IEEE Xplore

问题：

        固定的范数裁剪防御对联邦学习来说仍然难以抵御分布式的后门攻击，攻击者能够通过 robust training 绕过防御。

创新：

        使用动态范数裁剪策略

方法：

        固定阈值范数裁剪方法分析：

        防御原理：

        攻击者进行攻击时，为了放大攻击效果，需要进行权重缩放操作：​，被称为重缩放因子，下图为对攻击效果的影响：当足够大时，攻击的效果才明显，当为1时，攻击几乎没有效果，这主要是因为，由于大多数本地更新都是由良性群体处理的，为了使分布式后门攻击有效，攻击者必须以相对较大的幅度扩大其对全局模型的影响。

        在聚合之前限制局部更新的范数来进行范数裁剪防御，其中为范围边界，以保证客户端上传的梯度的l2范数被约束在阈值之内

        当过小时，能够限制广泛的恶意更新，但它会导致收敛缓慢，或收敛到次优。的值最好取到与局部更新的平均范数相同的阶数。

        将裁减范围设定在与平均范数同阶的固定值时，仍存在问题，攻击者能够通过全局模型估计裁剪的范围值，随后用对抗性的训练生成攻击模型，攻击效果如下

        固定阈值在一定程度上可以有效地抵御发起攻击后最初几轮的后门攻击。然而，在随后的几轮中，与良性局部更新的平均范数相比，固定阈值似乎“太大”。然后，全局模型更容易受到恶意更新的感染，因为其L2范数相对较大，这带来了后几轮攻击成功率的显著提高

        失败原因：范数裁剪方案失败的主要原因是其在训练过程中的固定阈值，无法捕捉全局模型收敛过程中良性局部更新的动态性质。随着训练过程的继续，良性局部更新的平均L2范数变小，如下图。随着训练的进行，良性模型的范数基本都小于阈值MMMM。

动态范数裁剪策略算法：

        初始时，边界初始化为与范数相同的阶数。

        随后，聚合器收集各个客户端的更新模型。

        然后，计算范数小于边界的模型数与预设的百分比值比较，若百分比数大于则对边界进行缩小。根据经验，当τ设置为0.35时，防御性能最好。

        最后，根据新的边界值对模型进行裁剪。

        防御策略分析：即使攻击者仍然估计范围值并使用对抗训练生成模型，根据上述，成功的攻击需要其L2范数显著大于良性模型的L2范数，而动态裁剪有效使得边界与平均范数的阶数相同，显著削弱了攻击的影响。

实验：

        实验设置：

        以攻击成功率ASR以及主任务成功率CIA进行评估，并与其他防御方法进行比较。

        防御效果： ASR较低且CIA较高

        与其他防御效果相比：抵御分布式后门攻击方面，此防御在推动全局模型收敛和降低攻击成功率方面优于现有防御。

        不同的值的效果比较：如果τ<0.3，则高ASR得到控制，但其伴随着低CIA。当τ∈[0.3，0.5]时，保证高CIA和低ASR。然而，当τ＞0.5时，随着τ的增大，ASR有增加的趋势。ε=0.49是一种极端情况，如表IV所示。

总结：

        在聚合前对客户端梯度通过动态范数剪裁进行防御

        与安全聚合协议不兼容