FATE实战:联邦学习开源框架避坑指南

引言:作者根据自身实操经验,总结出FATE使用及研究过程中的几个细节问题,如果你也正在研究联邦学习,或使用FATE,这些“坑”可以通过这篇特邀分享解决。

安装部署

  • 裸机安装storage­service­cxx无法启动

1.相关issue在此,点击可查看

2.解决办法点击查看,下载重新编译替换即可

  • kubefate安装,使用nfs时mysql起不来

不同party,mysql挂载目录需要不同,相关pr点击查看

  • kubefate离线安装,Python pod起不来

如果是无外网环境安装,需去掉python­module.yaml中从github拉example目录的逻辑

使用

  • 数据上传

同个namespace/name下的数据upload,修改partition后重新上传不会被覆盖,需要修改

namespace/name名称重新上传

  • 集群测试

运行toy example时,最好10000/10000,9999/9999,10000/9999都跑下确定没有问题

  • spark on fate需要修改的地方

 

 

 

preview

preview

preview

preview

 

  • spark on fate可以将spark部署在k8s上,使用python:1.1­release作为基础镜像

本文由FATE社区特邀作者张超-腾讯高级工程师输出贡献。

原创内容发布于FATE社区,未经许可,禁止转载。

你可能感兴趣的:(FATE实战:联邦学习开源框架避坑指南)