Collaborative Fairness in Federated Learning论文阅读笔记

论文地址：https://arxiv.org/abs/2008.12161

1.介绍

大多数现有的分布式或FL框架忽略了参与的一个重要方面：协作公平性。特别是，所有参与者都可以收到相同或类似的模型，而不管他们的贡献如何。为了解决这个问题，本文研究了FL中的协作公平性，并提出了一个新的协作公平联合学习（CFFL）框架，该框架利用声誉强制参与者收敛到不同的模型，从而在不影响预测性能的情况下实现公平性。

在基准数据集上的大量实验表明，CFFL实现了高公平性，提供了与分布式框架相当的精度，并且优于标准框架。就效用而言，CFFL中贡献最大的参与者的准确性与分布式框架相当，并且高于标准框架。

2.方法

为了使任何提议的解决方案或框架切实可行，必须实现公平性，参与者将获得与其贡献相称的模型，而不是相同的FL模型。

CFFL通过声誉机制实现协作公平性，该机制评估参与者在学习过程中的贡献，并迭代更新其各自的声誉。

给出collaborative fairness 的定义：

在联邦系统中，与低贡献参与者相比，高贡献参与者应获得性能更好的本地模型。从数学上讲，公平性可以通过参与者贡献与其各自最终模型精度之间的相关系数来量化。在我们的CFFL中，我们修改FL，允许参与者根据其声誉仅下载分配的聚合更新。

给出 largest values” criterion 定义：

将所有的梯度按照绝对值从大到小排序，从最大的开始upload

给出公平性的衡量标准：

3. 具体算法过程：

Server 根据每个通信回合中每个参与者上传的梯度的质量进行更新

上传速率–θu：表示上传梯度的参数比例，即。E如果θu=1，则上传所有参数的梯度；如果θu=0.1,仅上传10%的梯度参数。

在每一轮通信中，每个参与者都将剪切梯度的θu部分上传到服务器，服务器根据这些上传的梯度在验证集上的性能更新信誉，并确定分配给每个参与者的聚合更新的数量。我们采用梯度剪裁来减少异常示例/异常值噪声的影响

对于θu =1的参与者：

对于θu不等于1的参与者  （Server端的 一个辅助模型 wg，初始化模型，用于聚合梯度和计算声誉)

然后服务器端 normalize这些vaccj，并通过下面的式子计算 每轮第j个参与方的reputation 

X 就是normalized vaccj，sinh（α）作为惩罚函数引入，α表示惩罚因子，用于根据参与者上传的梯度信息量来区分参与者之间的声誉。

最后再根据unbalanced data 和unbalanced class number得出最终每个参与方j得到的梯度：

4.实验部分

Baseline:  standalone framework 和 distributed framework(FedAVG 和 DSSGD）

并且考虑两种异构情况：

Imbalanced data size

Imbalanced class number

数据集MNIST和 Adult

 公平度比较：可以看出 CFFL的公平性最高

最大精度比较 ： CFFL的比FedAVG稍差，但是比基准都要好

并且对单个参与方本地的performance进行比较，CFFL始终比任何参与者的独立模型提供更好的准确性，并且仍然具有收敛性。