Fate1.6.0联邦学习下载网站:https://github.com/WeBankFinTech/FATE
FATE官方网站:https://fate.fedai.org
FATE单机部署指南——服务器配置:
数量 | 1 |
---|---|
配置 | 8 core / 16G memory / 500G hard disk |
操作系统 | Version: CentOS Linux release 7 |
用户 | User: app owner:apps |
单机版提供2种部署方式,可以根据实际情况选择:
docker镜像安装FATE(推荐)
主机中安装FATE
本篇主要讲述docker镜像安装FATE
建议使用docker镜像,这样可以大大降低遇到问题的可能性。
在虚拟机的CentOS系统的docker镜像里用python命令上传数据和配置文件并在fateboard(镜像自动配置)上展示出来
主机需要能够访问外部网络,从公共网络中拉取安装包和docker镜像。
主机最好是Linux系统的CentOS或Ubuntu版本,Windows系统的电脑建议配置虚拟机+镜像,再进行部署操作
配置:VMware16+CentOS7.4
链接提供虚拟机、镜像以及Fate1.6.0框架,有需要的伙伴自取
链接:https://pan.baidu.com/s/1jcox1dXrnYF2M0Ss1eQNcw 提取码:8bve
网络设置注意:设置如图才可以在CentOS镜像系统中连接网络,其他的步骤都按照正常安装流程就行
参考链接
yum list installed|grep docker #检查是否安装过 docker
yum -y remove docker-ce.x86_64 #使用命令卸载,卸载完成
uname-r #检查centOs的内核版本 docker要求centOs的内核版本在3.10 以上
sudo yum remove docker \ docker-client \ docker-client-latest \ docker-common \ docker-latest \ docker-latest-logrotate \ docker-logrotate \ docker-selinux \ docker-engine-selinux \ docker-engine #移除旧版本
sudo yum install -y yum-utils device-mapper-persistent-data lvm2 #安装必要的系统工具
sudo yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo #添加软件源信息
sudo yum makecache fast #更新yum 缓存
sudo yum -y install docker-ce #安装docker-ce
sudo systemctl start docker #启动 docker 后台服务
docker run hello-world #运行hello-world 镜像
执行之前,请检查8080是否已被占用。 如果要再次执行,请使用docker命令删除以前的容器和镜像。
请按照以下步骤操作:
注意,请用实际的版本号替换下文中的${version},参考fate.env文件中的FATE版本!(此处版本为1.6.0,下文直接替换成1.6.0)
#获取安装包
wget https://webank-ai-1251170195.cos.ap-guangzhou.myqcloud.com/docker_standalone_fate_1.6.0.tar.gz
tar -xzvf docker_standalone_fate_1.6.0.tar.gz
#执行部署
cd docker_standalone_fate_1.6.0
bash install_standalone_docker.sh
CONTAINER_ID=
docker ps -aqf "name=fate"
docker exec -t -i ${CONTAINER_ID} bash
bash ./python/federatedml/test/run_test.sh
如果成功,屏幕显示类似下方的语句:
there are 0 failed test
CONTAINER_ID=
docker ps -aqf "name=fate"
docker exec -t -i ${CONTAINER_ID} bash
python ./examples/toy_example/run_toy_example.py 10000 10000 0
如果成功,屏幕显示类似下方的语句:
success to calculate secure_sum, it is 2000.0
为方便使用FATE,我们提供了便捷的交互工具FATE-Client以及测试工具FATE-Test.
请在环境内使用以下指令安装:
pip install fate-client
pip install fate-test
自己编写配置文件,需要在fate镜像中安装vim编辑器,下方是配置步骤
参考链接
直接输入命令换源
mv /etc/apt/sources.list /etc/apt/sources.list.bak
echo “deb http://mirrors.163.com/debian/ jessie main non-free contrib” >> /etc/apt/sources.list
echo “deb http://mirrors.163.com/debian/ jessie-proposed-updates main non-free contrib” >>/etc/apt/sources.list
echo “deb-src http://mirrors.163.com/debian/ jessie main non-free contrib” >>/etc/apt/sources.list
echo “deb-src http://mirrors.163.com/debian/ jessie-proposed-updates main non-free contrib” >>/etc/apt/sources.list
更新安装命令
apt-get update
更新依赖
apt-get install -y libtinfo5 --allow-remove-essential
安装vim
apt-get install -y vim
python /fate/python/fate_flow/fate_flow_client.py -f upload -c /fate/examples/dsl/v1/homo_logistic_regression/upload_data_host.json
python /fate/python/fate_flow/fate_flow_client.py -f upload -c /fate/examples/dsl/v1/homo_logistic_regression/upload_data_guest.json
python /fate/python/fate_flow/fate_flow_client.py -f upload -c /fate/examples/dsl/v1/homo_logistic_regression/upload_data_test.json
python /fate/python/fate_flow/fate_flow_client.py -f submit_job -c /fate/examples/dsl/v1/homo_logistic_regression/test_homolr_train_eval_job_conf.json -d /fate/examples/dsl/v1/homo_logistic_regression/test_homolr_train_eval_job_dsl.json
python /fate/python/fate_flow/fate_flow_client.py -f submit_job -c /fate/examples/dsl/v1/homo_logistic_regression/test_homolr_train_job_conf.json -d /fate/examples/dsl/v1/homo_logistic_regression/test_homolr_train_job_dsl.json
查看上传结果,在浏览器访问Http://hostip:8080
其他模块也可以逐一点进去查看,都能够看到很多评估训练的指标
感谢大家的关注和支持,希望我写的文章能够帮助大家!
如有不足,也希望大家能够多多指正!
感谢大佬,参考网址如下:
[1]https://blog.csdn.net/weixin_47383664/article/details/117910171?spm=1001.2014.3001.5502
[2]https://blog.csdn.net/weixin_39477597/article/details/87715899