扫读 | Towards Personalized Federated Learning

arxiv:2103.00710 传送门

  1. 综述个性化联邦学习(Personalized FL,PFL)的进展。讨论了PFL目前的发展阻碍,并将PFL分为基于数据的和基于模型的方法。展望PFL的发展轨迹、PFL的benchmarking、可信赖的PFL方法
  2. PFL的发展阻碍
    • 有限的FL框架
    • 隐私保护约束。现有很多方法不满足隐私保护的需求,有的允许本地数据或元数据的共享,有的假设可以用能代表整体分布的代理数据集
  3. PFL方法
    • 基于数据的方法
      • 目标是平滑掉统计上的异构性
      • 数据增强,通常需要共享一些数据
      • 客户节点选择,用本地更新的梯度,跟在服务器上代理数据集上的梯度进行比较
    • 基于模型的方法
      • 单模型PFL方法
        • 学习模型的一个可用的初始化版本,或者学习更理想的任务特定的本地表示
        • 元学习
        • 参数解耦,比如把embedding层作为私密参数,或者把特征提取层作为隐私层,只联邦学习其他的层
      • 多模型PFL方法
        • 节点聚类,每类节点维持一个模型。这种方法需要更多的计算和通讯消耗
      • N-模型PFL方法
        • 多任务学习,通常假设任务之间存在联系
        • 模型插值,每个节点训练自己的模型,用一个惩罚项来约束它跟平均的结果尽量相同,保持整体的相似性
        • 迁移学习
        • 参数解耦,把模型分为base层和personalized层,只共享base层(跟拆分特征提取层和分类层有何区别?)
    • 未来发展方向
      • 客户端的数据分布分析
      • 聚合处理:如匹配平均
      • 空间适应性:处理如新节点、掉线、stragglers的能力
      • 时间适应性:处理非静态数据的能力
        扫读 | Towards Personalized Federated Learning_第1张图片

你可能感兴趣的:(联邦学习)