论文笔记——Fair Resource Allocation in Federated Learning

论文笔记——Fair Resource Allocation in Federated Learning

原文论文链接——http://www.360doc.com/content/20/0501/14/10240337_909607047.shtml

联邦学习领域一些新出论文，参考www.360doc.com/content/20/0501/14/10240337_909607047.shtml

介绍了几篇论文，可以参考学习

联邦学习的一大发展是FedAVG算法提出后，该算法提出后，相当于是一个比较具体的算法，后面相继出现了一些针对该算法的在通信效率以及loss和准确度、收敛性方面一些缺点不足进行改进的论文。

由于联邦学习是一个针对大量不同客户端参与共同训练的一个环境提出的。参与训练的各个客户端在计算资源、本地数据等方面都具有异构性，且每次中心服务器都是选择一定批量的客户端参与训练，并不是每次都是所有客户端参与训练。因此，可能会导致不公平性，即一些具有良好资源的客户端可能会经常大概率的被选择，而一些较差的客户端可能被选择的概率较小。

此篇论文针对此现象提出了一种优化方法，确保各个客户端能有较公平的概率参与训练。本文提出了一种解决联邦学习中公平问题的优化目标算法 q-FFL（q-Fair Federated Learning）。q-FFL 通过引入 q 参数化的权重，实现了对不同设备损耗的重新加权计算，使得损耗较高的设备具有较高的相对权重，从而减小准确度分布方差，实现准确度更公平的分布。q-FFL 无需手工调整公平性约束，它构建的是一个灵活的框架，在该框架中可以根据所需的公平性自动调整目标。此外，本文提出了一种轻量级且可扩展的分布式 q-FFL 解决方法：q-FedAvg，该方法考虑了联邦学习架构的重要特征，例如通信效率和设备的低参与性等。

论文思路如下：

 

实验

论文中使用了凸模型和非凸模型，在 TensorFlow 中实现所有代码，用一个服务器和 m 个设备模拟一个联邦学习网络。