Fair Resource Allocation In Federated Learning

background

单纯的最小化网络中的总损失可能会不成比例地对某些设备有利或不利(例如，平均精度可能很高，但是某些单个设备的精度很低的情况)
q-Fair 联邦学习(q-FFL)：新的优化目标(实现更公平的精度分配，更系统的分配模型的性能)
最小化了由q参数化的总加权损耗，使具有更高损耗的设备有更高的相对权重(推测设备的性能)
该论文q-FFL最终实现了：

• 在公平性方面，保持相同的总体平均性能的同时，将设备的精度差异平均减少45%(即：解决了我付出了这么多，你也付出了这么多，最后为什么我跟你的工资差异那么大的问题)
• 在效率方面：更快

q-FedAvG： 方法

motivation：权衡网络的总性能和公平性
即：你是要更精确呢，还是更公平呢，怎么权衡？—在设备间实现更均匀的精度分布，显著减少方差，同时保证平均精度

---

在无线通信等领域，资源公平分配被定义为在许多用户之间分配稀缺的共享资源(例如通信时间或功率等)，那我作为一个服务提供商，希望保证总体吞吐量的同时保证所有用户的服务质量

---

机器学习的公平性

定义为：某些特定属性的保护

联邦学习的公平性

论文中定义为：联邦学习中跨设备的准确性分布的一致性
并且，论文中的方法可以实现根据期望的公共度来调整
论文中还考虑了联邦优化的问题(减少通讯和容忍异构性等)

联邦学习中的公平性标准

如果一个模型$w$比$w^{\ast }$在m个设备上的性能分配{$a_1$…$a_m$}更加均匀，那么$w$就比$w^{\ast }$更加公平
我们使用性能分布的方差来衡量公平性(精度相似未必实现相同的性能)

---

q-FFL中的目标：（需要解决的目标）
$$mi{n}_w{f}_q(w)=\sum _{k=1}^m\frac{p_k}{q+1}{F}_k^{q+1}(w)$$

其中，q是用来调节公平性的。

• q=0，表示不激励超过经典联邦学习目标的公平性
• q很大，可以降低为经典的极大极小公平性(性能最差(消耗最大)的设备作为主导目标

如何达到可变的公平水平：调整q

---

那么怎么去解决这个目标呢：q-FedAvG
该方法的利用与参考：小批量SGD和联邦学习平均法(FedAvG)
改进：仔细选择了步长和子问题

关系：步长与函数梯度的Lipschitz常数成反比，Lipschitz常数会随着q的变化而变化
method：利用Lipschitz常数来估计q-FFL目标簇中的局部Lipschitz常数，通过调整步长(网格搜索)来推断q-FFL目标的局部Lipschitz常数。

在下面的引理中，我们形式化了q=0和q>0的Lipschitz常数L之间的关系：
引理：如果非负函数$f(\cdot )$具有常数L的Lipschitz梯度，那么对于任意$q\ge 0$和任意点$w$:
$$L_q(w)=Lf(w{)}^q+qf(w{)}^{q-1}||▽f(w)|{|}^2$$是点$w$处$\frac{1}{q+1}{f}^{q+1}(\cdot )$梯度的局部Lopschitz常数的上界

第一种方法：q-FedSGD

另一种方法：提高通讯效率:q-FedAvG