Federated learning联合学习（1）-基础知识

摘抄
Federated learning (aka collaborative learning) is a machine learning technique that trains an algorithm across multiple decentralized edge devices or servers holding local data samples, without exchanging their data samples.

不同于：

• 传统centralized ML techniques 所有数据上传到一个sever.
• 经典的decentralized approaches假设local数据是 identically distributed.

设定

1. 训练数据不能远离其来源。这种约束的原因可能包括隐私问题，监管障碍和实际工程限制（网络连接昂贵，速度慢或不可靠，或数据量太大了）。
2. 有助于无法收集数据的情况。

联合平均

Process：

-一个general的原则就是用本地数据训练本地模型并且以一定的频率与其他本地模型交换parameters来产生一个global model. （server可有可无）
-Sever向每个node发送训练特定类型的模型。
-Node每次在本地进行少次迭代。
-组合模型的一种方法是取每个参数的平均值，加权相应节点上可用的训练数据量。

隐私

• 这是因为有时可以从模型中推断出有关训练数据的信息。这个问题并非联合学习所独有 - 任何时候你分享训练模型的预测，就开启了这种可能性。但是，有必要在联合学习的背景下详细考虑，原因有二：首先，保护隐私是联合学习的主要目标之一; 第二，通过在（可能不值得信任的）参与者之间分配训练，联合学习开辟了新的攻击媒介。​
• 对这种攻击的保护通常是差分隐私。
• 在联合学习设定中，服务器和节点相互信任是合理的，这种类型的攻击是比较值得考虑的问题。但是，如果服务器或节点不值得信任，则可能存在其他类型的攻击。

个性化

如果全局模型具有适当灵活的体系结构并且在许多良好的训练数据上进行训练，那么它可能比在单个节点上训练的任何本地模型更好，因为它能够捕获许多特性并推广到新模式。但有时在实践中，用户的目标（本地性能）可能与服务器的（全局性能）冲突。研究个性化的目标就是解决这种倾向情况。

以上来自：
中文笔记-联合学习：数据分散及隐私保护式分布式机器学习
原文-Federated learning: distributed machine learning with data locality and privacy
Wikipedia Federated learning