联邦学习FATE

本人研究的是FATE v1.0版本
责编：Adam（投稿请联系[email protected]）

FATE涉及的损失函数

使用泰勒二阶展开近似值作为损失函数的缘故：横向联邦学习中，host放从头到尾模型都是加密的。加密的时候，不支持exp的计算，故用泰勒二阶展开近似值。

使用二阶展开近似值，而不追求更高阶，更高精度的缘故：更高阶，计算效率越低，它们选择在0点附近二阶展开，精度还可以。

Homogeneous LR: 横向联邦学习逻辑回归模型案例

特征相同，样本不同，扩充样本的联邦学习

Party A: Guest 发起者
Party B: Hosts
Party C: 仲裁者 Arbiter
将数据集拆分成多个batch进行训练，一个迭代训练一遍所有的batch数据集，训练N次迭代。目前我测试的案例中，N=10。

本人总结架构图

Heterogeneous LR: 纵向联邦学习逻辑回归模型案例

样本相同，特征不同，扩充特征的联邦学习

Party A: Guest 发起者
Party B: Host
Party C: 仲裁者 Arbiter
将数据集拆分成多个batch进行训练，一个迭代训练一遍所有的batch数据集，训练N次迭代。目前我测试的案例中，N=10。

fore_gradient的引入

本人总结架构图

注意：我这儿损失函数中的正则化没有画出来，他们这个版本防止party和host方强相关系特征的唯一处理方式就是正则化，后续有待优化…

Heterogeneous LR with Neural Network: 带神经网络的纵向联邦学习逻辑回归模型案例

利用DNN进行提取Representative的特征，从而达到特征降维的作用，然后进行纵向联邦学习
用fore_gradient更新神经网络权重【本人目前还是不明白为何用fore_gradient】感觉像是bug。他们的回复是：

To do: 后续再研究联邦迁移学习

敬请期待…

总结

联邦学习主要从不同公司的数据维度和特征维度的短缺问题，通过撕裂训练，和一个中台的桥接作用，间接的实现了数据共享和特征共享的效果。也就是官方说的打破数据孤岛，同时也保护了用户隐私.

参考文献

FATE Github源码
微信公众号：FATEZS001 通过这个公众号，加入他们的微信社群，问一些自己想要问的问题