【文献阅读】关于异构联邦学习的调查（综述）

参考文献：A Survey on Heterogeneous Federated Learning

1 联邦学习中的异构问题

1. 数据异构

   1. 特征空间
   2. 标签空间
   3. ID空间

2. 统计异构

   一个数据集中的数据可能是non-iid的

   解决方法：个性化：1）先训练一个全局模型，然后每个参与方根据自己的数据集对全局模型进行微调 2）直接为所有参与方训练个性化的模型（聚类）

3. 系统异构

   系统级的异构可影响FL训练过程，如不同的硬件、网络连接、供能，导致不同的计算、通信、存储能力

2 Hetero-FTL（异构联邦迁移学习）与VFL的区别

VFL只能对重叠样本进行推理，Hetero-FTL可以通过迁移学习对不重叠的样本进行推理

VFL：在推理阶段，主动方将user ID发送给所有参与方，然后每个参与方将自己的特征输入到 模型中并联合地预测接到过。如果用户ID不存在，则不能直接进行模型推理。因此，由于缺乏足够的关联训练数据和对齐的难度，VFL模型的可行性随着参与方数量的增加而显著降低。

Hetero-FTL：与VFL收集不同参与方的不同特征来训练一个更精确的模型相比，Hetero-FTL致力于将其他参与方的异构数据空间中的知识迁移到本地模型，以提高本地模型的表现。因此，Hetero-FTL降低了VFL中ID对齐的需求。当推理数据在双方之间不对齐时，Hetero-FTL中的参与方可以利用训练好的局部模型进行推理。由于该模型是通过从其他各方转移知识来训练的，因此该模型可以获得比仅在本地数据上训练的模型获得更高的性能。

3 FL中的数据隐私攻击

1. 模型反演攻击

   目的是从中间梯度或模型推理结果中重构模型参数

2. 数据重建攻击

   重构数据提供者提供的原始数据

3. 成员推理攻击

   目的是推理某个样本是否在训练集中