Heterogeneity-Aware Federated Learning with Adaptive Client Selection and Gradient Compression

参考链接：INFOCOM 2023 | 异构感知的联邦学习框架设计

被 CCF 推荐 A 类国际会议 IEEE International Conference on Computer Communications (INFOCOM 2023) 录用

摘要：

存在问题：有限的通信资源、动态的网络条件和异构的客户端

提出：异构感知的FL框架，称为FedCG，其中包括自适应客户端选择和梯度压缩

内容：参数服务器（PS）根据统计异构性选择一个具有代表性梯度信息的客户端子集，并将全局模型发送给它们。在本地训练后，这些选定的客户端将与其能力匹配的压缩梯度上传到PS进行聚合，从而显著减轻了通信负载并缓解了掉队者效应。

（1）理论上分析了客户端选择和梯度压缩对收敛性能的影响。

（2）根据导出的收敛率，开发了一种基于迭代的算法，使用次模最大化（submodular maximization）和线性规划（linear programming）来联合优化客户端选择和压缩比决策。

实验结果证明，与现有方法相比，FedCG可以提供高达5.3倍的加速。

次模最大化（submodular maximization）是一种优化问题，通常用于机器学习、数据挖掘和图论等领域。它的目标是在满足特定约束条件的情况下，最大化一个次模函数的值。次模函数是一种特殊的函数，它的值取决于变量的选择，并且满足一些特殊的性质，如单调性和凸性。

在次模最大化问题中，通常需要考虑多个变量之间的相互作用，以便最大化次模函数的值。解决这个问题的方法包括贪心算法、分治算法、粒子群算法等。

内容：

为了同时解决通信效率，网络动态和客户端异构的挑战，我们提出了一种异构感知的FL框架，称为FedCG（Federated Learning with Client selection and Gradient compression）。

在每一轮中，PS选择一组具有代表性梯度信息的客户端子集，然后将全局模型发送给选定的客户端。在本地训练后，这些客户端采用梯度压缩进一步提高通信效率。FedCG根据选定客户端的异构和时变的通信能力，自适应地分配不同的压缩比。每个客户端可以上传与其能力匹配的压缩梯度。最后，PS聚合模型更新以获得最新的全局模型。

优势：

一方面，我们选择一个代表性的客户端子集（如何选择出来的？次模最大化——>产生的效率呢？），使得它们的聚合模型更新接近所有客户端的聚合。通过鼓励客户端选择的多样性，FedCG可以有效减少冗余通信并促进公平性，减少non-IID数据引入的偏差。

另一方面，不同的压缩比（怎么实现的呢？）将适应动态的网络条件和异构的能力，有助于缓解掉队者效应，加速训练过程。

更重要的是，我们强调客户端选择和梯度压缩的决策是紧密耦合的，并展示了联合优化的必要性。（可参考学习）压缩比应该根据选定客户端的异构能力进行调整，相应地，客户端选择也与梯度压缩的程度紧密相关。选择过度压缩的客户端将阻碍收敛。因此，现有客户端选择和梯度压缩方案的简单组合无法充分解决FL的关键挑战，并可能降低训练性能。

系统模型：（也是基于FedAvg方法）（基本没变，这样提出的方法体现在什么地方呢？）

FedCG训练过程：

 

 

 

FedCG的核心思想是客户端选择和压缩比决策紧密耦合，我们不能通过独立决定客户端子集和压缩比来达到最优状态。这种耦合性使得联合优化变得必要，但同时优化两者通常很困难。如果我们固定一个决策，然后优化另一个决策，问题会被大大简化。为此，我们提出了一种迭代算法，从初始化开始，通过固定单点迭代，交替优化每轮的客户端子集和压缩比，从而优化整体目标。

如Alg. 2所示，在每次迭代中，我们首先应用4.2节中的次模最大化方法，从候选客户端中选择一个代表性子集，从而最小化近似误差（第4行）。通过解决4.3节中的线性规划问题确定这些客户端的压缩比（第5行）。如果得到的解能够减小压缩误差，则更新当前的客户端子集和压缩比（第6-8行）。然后，我们找到子集中压缩比最小的客户端，并将其从下一次迭代的候选客户端中移除（第9-10行）。该设计防止梯度过度压缩的客户端参与FL并影响模型精度。

 

 

 

将所提出的框架与四个基准方法进行比较：

• FedAvg 随机选择客户端，并在PS和客户端之间交换完整的模型更新。

• OptRate 采用量化技术减少通信开销，每轮为所选客户端决定相同压缩比，以寻求资源开销和模型精度之间的平衡。

• FlexCom 实现了灵活的压缩控制，允许客户端根据通信能力的异构性将梯度压缩到不同的水平。

• AdaSample 优化客户端采样概率，以应对系统和数据异构性，最小化FL的完成时间。