Federated Learning 的一些基本知识和分类

definition of federated learning

定义有N个用户

每个人所含有的私有数据为

传统的深度学习算法将每个用户的数据收集在一起得到总的数据集

再进行训练一个模型

Federated Learning的训练方法是每一个用户利用自己的数据进行模型训练

不同用户之间不进行数据共享。这时定义总数据集模型的正确率与分用户模型的正确率之差为δ-accuracy loss

一些保护隐私数据的方法

Secure Multi-party Computation ：框架设计使模型只能得到输入这个模型的数据。完全杜绝了不同用户下相互传递信息的情况。
Differential Privacy：对数据进行加密，但再root端还是有可能对数据进行泄露。
Homomorphic Encryption：同样采用加密方法，通过机器学习方法进行加密。数据和模型都不会被传数，同时也不能通过对接收数据进行猜测来还原用户数据

Federated Learning 的三种分类方式：

定义 Xi为不同用户模型所需要的特征空间，Yi为不同用户数据的标记空间，Ii为不同用户的数据ID空间。
Horizontal Federated Learning：用户据有不同的用户群体，但面对相同的目标任务。即

比如有两个不同的银行，他们面对的用户群体可能存在差异比如一个银行面对的是世界顶级富豪，另外一个银行面对的是大多数正常家庭，他们具有不同的数据，但都是银行所以需要提取的特征空间是一致的。

Vertical Federated Learning：具有相同的用户群体，但模型目标不一致。即

比如一家银行和一个电商公司，他们面对相同的客户群，但是需要的模型功能，面对的任务都不同。

Federated Transfer Learning：最困难的一种，模型目标、用户群体都不同。真正体现迁移学习的难度与作用。

本文相关知识和图片来自：香港科技大学迁移学习大牛 Q Yang 2019年的文章：Federated Machine Learning: Concept and Applications