面向时空异构数据的联邦学习

作者分享链接：【ICLR 2023】面向时空异构数据的联邦学习_哔哩哔哩_bilibili

论文原文链接：https://arxiv.org/abs/2205.10920

报告简介：联邦学习作为面向隐私保护的分布式学习范式，提出以数据不动模型动的方式在端侧协同训练神经网络模型。然而，端侧异构分布的数据给联邦学习带来了严峻挑战。虽然最近涌现出的一系列研究在一定程度上缓解了该问题，但大部分工作只关注空间上的数据分布差异，忽略了会伴随着联邦学习进程而出现的时空异构数据。本次报告将针对联邦学习与推理系统所面临的真实挑战，提出涵盖时空异构数据的联邦学习理论框架；探索联邦学习在部署场景的分布偏移问题，提出数据分布偏移鲁棒的自适应个性化联邦学习算法。

联邦学习所面临的挑战：

1、通信开销：限制与不可靠网络

2、数据异质：非独立同分布数据的高度异构性（文章中主要关注点）

3、系统异构性：硬件、功率等

4、隐私泄漏

联邦学习中的数据异质：易产生客户端漂移问题

由于异构的存在，每个客户端都会去优化到自己的最优点，会存在大量的梯度朝相反方向移动，资源被浪费

以前大部分工作只考虑静态异构数据上的联邦学习

现在：确定了现有工作在测试时间分布变化下的缺陷，并提出联合测试时间头部合奏加调优 (FedTHE+)，它使 FL 模型更加个性化，对各种测试时间分布变化具有鲁棒性。

对比实验部分展示：

传统的会增加一些正则化项

针对解决：端侧异构分布的数据

传统的方案只关注空间上的数据分布差异，忽略联邦学习进程出现的时空异构数据

创新点：

1. 提出涵盖时空异构数据的联邦学习理论框架
2. 面对部署时出现的分布偏移问题，提出数据分布偏移的自适应个性化算法

传统的方法：在进行梯度优化时，添加一个正则化项；这种方式面对本地上的深度学习需要 更多的考虑

首先：非独立同分布数据易导致泛化能力差、分类器偏颇和特征不一致

其次：客户端分布问题

最后，通过调整异构客户端分布程度的不同（t-sne可视化），发现具有非独立同分布的客户端对分类器具有较小程度的余弦相似度

 问题建模：

 鲁棒性评估的架构：