2、联邦学习介绍（federated learning）

一、概述

（1）问题引出

在神经网络中，如果一个网络的训练数据越多，其训练效果往往会越好。那么如果说一个公司有数据，另一个公司也有数据，两家公司的数据共享出来一起使用岂不是更爽？但是，用户数据能够被随意的使用和转发吗？答案是否定的。那么有什么办法可以使得两家公司不泄露用户的情况下，利用到用户数据呢？

2016年，为解决安卓系统更新的问题。谷歌提出，可以在用户的手机上部署神经网络训练，只需要将训练好的模型参数上传，而不需要上传用户数据，一定程度上保证了个人数据的私密。这就是联邦学习（federated learning）的核心理念。

（2）不同使用场景

1. 各个参与者的业务类型相似，数据特征重叠多，样本重叠少。例如：不同地区的两家银行。多家银行就都可以上传自己的模型参数，然后对参数进行更新，完成模型效果的提升。这就是 横向联邦学习 ，又被称之为特征对齐的联邦学习。

2. 如果参与者的数据中，样本重叠多，特征重叠少，例如：同一地区的银行和电商，就需要先将样本对其，其中由于不能直接进行信息匹配，可以借助加密算法，让参与者在不泄露信息的情况下，找出相同的样本后联合他们进行特征，构建一个大表，进行模型训练。这被称之为： 纵向联邦学习 ，又被叫做样本对齐的联邦学习。

3. 再者，如果样本重叠不多，特征重叠也不多，希望利用数据提升模型能力，就需要将参与者的模型和数据迁移到同一空间中运算，被称之为 联邦迁移学习。

（3）联邦学习的概念

联邦学习是一种分布式机器学习，以并行计算为基础。
联邦学习的目标：解决数据的协作和隐私保护问题。
联邦学习的分布并不是独立同分布的，因为用户与用户之间存在差异性，数据量可能也不是一个数量级的。所以不符合独立同分布的概率分布。

二、算法介绍

16.jpg

这里的数据计算由worker node来进行。服务器会下发parameters来使worker node有一个初始参数。worker node将自己的数据计算后将梯度发送给服务器。由服务器来进行梯度下降。在数据的传输过程中，空间复杂度为：参数的数量。

worker node的工作内容：

• receive parameters from sever；
• using paramters and local data to compute gradients
• send gradients to server

server的工作内容：

• receive gradients from every worker node;
• compute sum(g1, g2, g3, ……gm);
• updating model parameters，直接使用梯度下降的方法;
• send parameters to every worker node;

联邦学习和传统的分布式学习的区别：

（1）用户对自己的设备和数据有绝对的控制权，用户可以随时停止计算和参与通信。而在传统的分布式学习中worker node完全由server控制。
（2）参与联邦学习的设备往往是不稳定的，计算能力也不尽相同。
（3）联邦学习的通信代价大，通信量多。（我们要减少通信次数）
（4）参与联邦学习的数据并非独立同分布，不利于算法设计，因为每个用户的数据是不一样的。
（5）联邦学习的节点负载不平衡，每个用户的数据量不一样，不好分配权重，建模复杂。计算时间不一样。

有什么研究方向：

（1）降低通信次数：其核心要点就是，worker node多计算少通信。

这里介绍一种新的算法和上述算法有些差别。叫做federated averaging algorithm

worker node的工作内容：

• receive parameters from sever；
• using paramters and local data to compute gradients;
• local update parameters; 循环几次
• send new_parameters to server；

server的工作内容：

• receive new_parameters from every worker node;
• compute W = sum(p1, p2, p3, ……pm);
• parameters = 1/m ( W )可以做加权平均，也可以是直接平均;
• send parameters to every worker node;

优点：可以在相同的通信次数下，FedAvg比原算法(Grad Desent)的收敛速度更快。
缺点：让移动设备计算相同的数据量，FedAvg比原先的Grad Desent梯度下降慢，收敛更慢。

总结：以牺牲worker node的计算量来换取通信量的减少。但是由于联邦学习的通信代价大而计算代价小，所以其有一定的作用。

（2）隐私保护

虽然data仍然还保存在手机中，我们将gradient和parameters进行传输，真的做到了数据保护吗。
我们简单的来看一下梯度下降的算法：

• loss = 1/2 (y^ - y) ^2

• gradient = ( xi*W - yi ) xi
  所以gradient就是对x进行了一个简单的变换，x的信息基本上都包含在了gradient里面了。所以可以将原始数据反推出来。
  那么下面是不是可以做到呢？

  
  
  17.jpg

那么怎么进行隐私保护呢？

• 加噪声，不是什么好方法。加的少，没作用，加的多，数据遭到破坏，测试准确度下降。
• 现在仍没有什么较好的方法。

（3）增强联邦学习的鲁棒性（让模型抵抗拜占庭错误，和恶意攻击。）

拜占庭错误：
就是在worker node中出现了一个叛徒，可能他的数据和标签都是动过手脚的，他的异常导致整个神经网络的崩溃。
attack1：data poisoning attack；毒药攻击，给数据做一些手脚
attack2：model poisoning attack；模型攻击，针对分布式学习。直接做法就是样本和标签错对。
这些攻击可以使得模型收敛变慢，可以让准确度下降，甚至可以留下一个bug。

defense1：server check validation accuracy。让server对上传的数据在测试集上进行准确度的检验，从而判断是不是一个好数据。（这不是一个好的判断方法，因为联邦学习中的数据不具有独立同分布的性质，并且server是不允许看到用户数据的）
defense2：server check gradient statistic。（因为独立同分的数据都相近，所以梯度也不会差的太多，比较不同节点上传的梯度差异，如果个别梯度的差异过大，就认为这个节点叛变了。但是数据不是独立同分布，也不是特别好）
defense3：byzantine-tolerant aggregation；使用更稳定的方法整合梯度；

三、代码实现

基于pytorch的分布式包的单机多核CPU实现横向的联邦学习：https://www.jianshu.com/p/fed7d8f5208d