【文献阅读】关于异构联邦学习的调查(综述)

参考文献:A Survey on Heterogeneous Federated Learning

1 联邦学习中的异构问题

  1. 数据异构

    1. 特征空间
    2. 标签空间
    3. ID空间
  2. 统计异构

    一个数据集中的数据可能是non-iid的

    解决方法:个性化:1)先训练一个全局模型,然后每个参与方根据自己的数据集对全局模型进行微调 2)直接为所有参与方训练个性化的模型(聚类)

  3. 系统异构

    系统级的异构可影响FL训练过程,如不同的硬件、网络连接、供能,导致不同的计算、通信、存储能力

【文献阅读】关于异构联邦学习的调查(综述)_第1张图片

2 Hetero-FTL(异构联邦迁移学习)与VFL的区别

VFL只能对重叠样本进行推理,Hetero-FTL可以通过迁移学习对不重叠的样本进行推理

VFL:在推理阶段,主动方将user ID发送给所有参与方,然后每个参与方将自己的特征输入到 模型中并联合地预测接到过。如果用户ID不存在,则不能直接进行模型推理。因此,由于缺乏足够的关联训练数据和对齐的难度,VFL模型的可行性随着参与方数量的增加而显著降低。

Hetero-FTL:与VFL收集不同参与方的不同特征来训练一个更精确的模型相比,Hetero-FTL致力于将其他参与方的异构数据空间中的知识迁移到本地模型,以提高本地模型的表现。因此,Hetero-FTL降低了VFL中ID对齐的需求。当推理数据在双方之间不对齐时,Hetero-FTL中的参与方可以利用训练好的局部模型进行推理。由于该模型是通过从其他各方转移知识来训练的,因此该模型可以获得比仅在本地数据上训练的模型获得更高的性能。

3 FL中的数据隐私攻击

  1. 模型反演攻击

    目的是从中间梯度或模型推理结果中重构模型参数

  2. 数据重建攻击

    重构数据提供者提供的原始数据

  3. 成员推理攻击

    目的是推理某个样本是否在训练集中

你可能感兴趣的:(文献阅读,python,深度学习)