联邦学习介绍

原文链接

引出

为解决安卓系统更新的问题。谷歌提出，可以在用户的手机上部署神经网络训练，只需要将训练好的模型参数上传，而不需要上传用户数据，一定程度上保证了个人数据的私密。这就是联邦学习（federated learning）的核心理念。

概念

联邦学习是一种分布式机器学习，以并行计算为基础。
联邦学习的目标：解决数据的协作和隐私保护问题。
联邦学习的分布并不是独立同分布的，因为用户与用户之间存在差异性，数据量可能也不是一个数量级的。所以不符合独立同分布的概率分布。

联邦学习和传统的分布式学习的区别

（1）用户对自己的设备和数据有绝对的控制权，用户可以随时停止计算和参与通信。而在传统的分布式学习中worker node完全由server控制。
（2）参与联邦学习的设备往往是不稳定的，计算能力也不尽相同。
（3）联邦学习的通信代价大，通信量多。（我们要减少通信次数）
（4）参与联邦学习的数据并非独立同分布，不利于算法设计，因为每个用户的数据是不一样的。
（5）联邦学习的节点负载不平衡，每个用户的数据量不一样，不好分配权重，建模复杂。计算时间不一样。