联邦学习FATE

联邦学习FATE

  • FATE涉及的损失函数
  • Homogeneous LR: 横向联邦学习逻辑回归模型案例
  • Heterogeneous LR: 纵向联邦学习逻辑回归模型案例
  • Heterogeneous LR with Neural Network: 带神经网络的纵向联邦学习逻辑回归模型案例
  • To do: 后续再研究联邦迁移学习
  • 总结
  • 参考文献

本人研究的是FATE v1.0版本
责编:Adam(投稿请联系[email protected]

FATE涉及的损失函数

联邦学习FATE_第1张图片

使用泰勒二阶展开近似值作为损失函数的缘故:横向联邦学习中,host放从头到尾模型都是加密的。加密的时候,不支持exp的计算,故用泰勒二阶展开近似值。

使用二阶展开近似值,而不追求更高阶,更高精度的缘故:更高阶,计算效率越低,它们选择在0点附近二阶展开,精度还可以。

Homogeneous LR: 横向联邦学习逻辑回归模型案例

特征相同,样本不同,扩充样本的联邦学习
联邦学习FATE_第2张图片

Party A: Guest 发起者
Party B: Hosts
Party C: 仲裁者 Arbiter
将数据集拆分成多个batch进行训练,一个迭代训练一遍所有的batch数据集,训练N次迭代。目前我测试的案例中,N=10。
联邦学习FATE_第3张图片

本人总结架构图
联邦学习FATE_第4张图片

Heterogeneous LR: 纵向联邦学习逻辑回归模型案例

样本相同,特征不同,扩充特征的联邦学习
联邦学习FATE_第5张图片

Party A: Guest 发起者
Party B: Host
Party C: 仲裁者 Arbiter
将数据集拆分成多个batch进行训练,一个迭代训练一遍所有的batch数据集,训练N次迭代。目前我测试的案例中,N=10。
联邦学习FATE_第6张图片

fore_gradient的引入
联邦学习FATE_第7张图片

本人总结架构图
联邦学习FATE_第8张图片

注意:我这儿损失函数中的正则化没有画出来,他们这个版本防止party和host方强相关系特征的唯一处理方式就是正则化,后续有待优化…

Heterogeneous LR with Neural Network: 带神经网络的纵向联邦学习逻辑回归模型案例

利用DNN进行提取Representative的特征,从而达到特征降维的作用,然后进行纵向联邦学习联邦学习FATE_第9张图片
用fore_gradient更新神经网络权重【本人目前还是不明白为何用fore_gradient】感觉像是bug。他们的回复是:
联邦学习FATE_第10张图片

To do: 后续再研究联邦迁移学习

联邦学习FATE_第11张图片
敬请期待…

总结

联邦学习主要从不同公司的数据维度和特征维度的短缺问题,通过撕裂训练,和一个中台的桥接作用,间接的实现了数据共享和特征共享的效果。也就是官方说的打破数据孤岛,同时也保护了用户隐私.

参考文献

FATE Github源码
微信公众号:FATEZS001 通过这个公众号,加入他们的微信社群,问一些自己想要问的问题

你可能感兴趣的:(AI,机器学习)