论文阅读：Personalized Federated Learning with Moreau Envelopes

论文名字	Personalized Federated Learning with Moreau Envelopes
来源
年份	2021.3.3
作者	Canh T. Dinh, Nguyen H. Tran, Tuan Dung Nguyen
核心点	个性化联邦学习算法，pFedMe
阅读日期	2021.5.25
影响因子
页数	23
引用数
引用
内容总结
文章主要解决的问题及解决方案： 主要针对联邦学习中客户端不平衡（non-iid）数据的问题，提出一种个性化联邦学习，使得不同客户端可以根据自己数据集的特点进行个性化训练，同时是在联邦学习框架下进行的。   文章相比之前的工作创新之处： 文中主要与Per-FedAvg和FedAvg算法相比 1、收敛速度比两者要快 2、在Per-FedAvg中，优化器智能进行one-step的梯度更新（也就是在一次训练中只更新一次），而文中算法可以进行multi-step（多次更新）。 3、式（5）是Per-FedAvg的个性模型更新（即本地客户端的模型更新公式）；式（3）是文中算法的个性模型更新。Per-FedAvg算法智能对fi的一阶导是进行优化，而文中方法可以直接对fi进行优化。（fi是损失函数） 4、Per-FedAvg（等几种基于MAML的算法）都是要求计算Hessian矩阵的（二阶导），而文中方法只需要一阶导。   文章的主要工作： 1、文中算法只要利用Moreau envelope的一些数学特性进行改进。 2、算法伪代码： 3、其主要提出一种双层结构，内层结构用上面的公式（3）求得，外层结构是梯度下降方法（即下式），其中用公式（6）近似求得。 整体公式如下：       实验结果：   附录：   参考文献：