第37篇Personalized Federated Learning: A Meta-Learning Approach(perfedavg联邦学习+元学习)2020个性化联邦学习使用Hessian

第一部分:解决的问题

联邦学习(FL)在多用户协同训练模型时,因数据隐私和通信限制,用户仅与中央服务器交互 。传统 FL 方法得到的全局模型无法适应各用户的异质数据,导致在用户本地数据集上性能不佳

因此这篇论文旨在解决联邦学习中模型缺乏个性化的问题

第二部分:idea

基于模型无关元学习(MAML)框架,提出个性化联邦学习问题的新公式。通过寻找一个初始共享模型,让用户基于自身数据执行少量梯度下降步骤就能快速适应,既保留 FL 架构优势,又实现模型个性化。

第三部分:效果

在 MNIST 和 CIFAR - 10 数据集上进行多类分类实验,对比 FedAvg 和两种 Per-FedAvg 近似算法(Per-FedAvg (FO) 和 Per-FedAvg (HF))。结果表明,Per-FedAvg (HF) 在不同参数设置和数据异质性情况下,均优于 FedAvg,能实现更个性化的解决方案


第四部分:具体算法讲解

(1)算法1

你可能感兴趣的:(联邦学习,学习)