【联邦/元学习】个性化联邦学习论文笔记：《Improving federated learning personalization via model agnostic meta learning》

论文：《Improving federated learning personalization via model agnostic meta learning》

Citation：Y. Jiang, J. Konecny, K. Rush, and S. Kannan, “Improving federated learning personalization via model agnostic meta learning,” arXiv preprint arXiv:1909.12488, 2019.

原文链接：https://arxiv.org/abs/1909.12488

0、摘要

联邦学习 FL：在不复制原始数据的情况下，基于去中心化数据存储学习高质量的全局模型。
动机：针对不同的设备（客户端），存在数据异构性。
目的：为每一个客户端，设计一个个性化全局模型。

提出方法：基于元学习模型（MAML：快速优化、基于梯度、适应于异构分布）
1）流行的联邦学习算法（联邦学习 FedAvg）可以解释为一种元学习算法；
2）微调可以得到精度更高的全局模型，同时也更容易进行个性化；但仅对全局模型优化会产生较弱的个性化结果。

1、介绍

使用联邦学习的原因：大规模数据集导致了隐私风险，联邦算法可以保护每个客户端的数据隐私。

存在问题：在面对non-iid和不平衡数据时，不同设备具有数据异构性。为了设计每一个客户端的个性化模型，将全局模型（trained global model）作为初始模型，将局部适应模型（locally adapted model）作为个性化模型。

现有个性化联邦学习的缺点：直接采用收敛的初始模型，并通过梯度下降进行个性化评估。此时，训练和个性化过程是分离的。

使用元学习的原因：在异类任务上给出少量自适应例子后，能够优化自适应后的性能。元学习的2个阶段：meta-training 和 meta-testing。
meta-training阶段，学习敏感的初始模型，对一系列任务进行快速适应；
meta-testing阶段，将初始模型适应于特定的任务。

需要同时解决的目标：
（MAML关注1，FL关注2、3）
1）改进的个性化模型：针对绝大多数客户
2）可靠的初始模型：一些客户没有足够的数据来进行个性化
3）快速收敛：在少量训练回合中达到高质量的模型

贡献：
1）指出FL和MAML算法之间的联系，根据现有的MAML算法来解释FL；
2）提出一种新的FedAvg的改进方案（包括训练和微调），以优化以上3个目标；
3）从经验上证明FedAvg已经是一种元学习算法，针对个性化性能进行优化，而不是针对全局模型的质量。此外，还表明，微调阶段可以实现更好和更稳定的个性化性能；
4）观察到，具有相同精度的不同全局模型，可以显示出非常不同的个性化能力。

2、将FedAvg解释为元学习算法

 

3、Personalized FedAvg

定义：在Algorithm 1中的联邦平均算法，本地跑次，按本地数据量的比例对更新进行加权

定义：在Algorithm 1中的Reptile算法，在FL设定下跑轮本地更新

提出个性化联邦平均算法：