2023年3月版联邦学习(fate)从主机安装到实现联邦学习

联邦学习(fate)从主机安装到实现联邦学习

  • 一、单机部署
    • 1.1虚拟机配置
    • 1.2安装python
    • 1.3端口检查
    • 1.4获取安装包,并解压
    • 1.5安装
    • 1.6启动
    • 1.7测试
    • 1.8安装FATE-Client、FATE-Test、FATE-Flow、jupyter notebook
      • 1.8.1FATE-Client、FATE-Test
      • 1.8.2FATE-Flow
      • 1.8.3FATE中的Jupyter Notebook
  • 二、用FATE从零实现横向逻辑回归
    • 2.1 数据集获取
    • 2.2 横向联邦数据集切分
    • 2.3 上传数据-修改文件
    • 2.4 上传数据-跳转目录
    • 2.5 模型训练与评估
      • 2.5.1 修改conf和dsl文件参数
      • 2.5.2 修改结束之后,在命令行输入以下命令(submit_ job)执行模型训练

一、单机部署

单机版提供3种部署方式,这里选择在主机中安装FATE(官方建议使用Docker镜像,但不熟悉Docker的人容易找不到FATE路径)

1.1虚拟机配置

使用虚拟机VMware进行实验,实验过程中随时拍摄快照,节约重装时间。

项目 Value
虚拟机配置 内存4G + 硬盘150G
操作系统 centos 7

1.2安装python

  • 这里不重复写了,请参考(Ubuntu安装python)(CentOS安装python)
  • 或者安装anconda–linux版本

1.3端口检查

检查端口8080、9360、9380是否被占用

netstat -apln|grep 8080
netstat -apln|grep 9360
netstat -apln|grep 9380

1.4获取安装包,并解压

sudo wget https://webank-ai-1251170195.cos.ap-guangzhou.myqcloud.com/fate/1.8.0/release/standalone_fate_install_1.8.0_release.tar.gz --no-check-certificate
tar -xzvf standalone_fate_install_1.8.0_release.tar.gz

1.5安装

  • 进入解压后的目录并使用init.sh进行安装
  • 该脚本将自动完成:
    安装必要的操作系统依赖包
    安装python36环境
    安装pypi依赖包
    安装jdk环境
    配置FATE环境变量脚本
    配置fateflow
    配置fateboard
    安装fate client
cd standalone_fate_install_1.8.0_release
bash init.sh init

1.6启动

bash init.sh status
bash init.sh start

加载环境变量

source bin/init_env.sh	

1.7测试

部署成功后,通过网页访问 localhost:8080 可以进入FATE Board页面,账号密码默认为:admin

返回终端,开始测试

  • Toy测试
flow test toy -gid 10000 -hid 10000
  1. 如果成功,屏幕显示类似下方的语句:
    success to calculate secure_sum, it is 2000.0(我的显示的为1999.999999999)

  2. 之后进入FATE Broad,点击右上角JOBS,看到任务栏出现两项任务,并且状态为success则说明成功。

  • 单元测试
fate_test unittest federatedml --yes

如果成功,屏幕显示类似下方的语句:

there are 0 failed test

1.8安装FATE-Client、FATE-Test、FATE-Flow、jupyter notebook

1.8.1FATE-Client、FATE-Test

  • 为方便使用FATE,安装便捷的交互工具FATE-Client以及测试工具FATE-Test.
  • 请在环境内使用以下指令安装:
python -m pip install fate-client
python -m pip install fate-test

1.8.2FATE-Flow

  • 安装FATE-Client的过程会安装好FATE-Flow,这个工具是联邦学习端到端流水线的多方联邦任务安全调度平台,是执行任务的核心
  • 初始化
flow init --ip 127.0.0.1 --port 9380

1.8.3FATE中的Jupyter Notebook

参考:在Juypter Notebook中构建联邦学习任务

上边如果安装anaconda的则只需要执行下方第二步

  • 安装jupyter notebook
pip install notebook fate-client

启动 Juypter Notebook 服务并监听 20000 端口,待服务启动完毕后则可以通过的方式 “IP:Port” 的方式访问 Notebook


jupyter notebook --ip=0.0.0.0 --port=20000 --allow-root --debug --no-browser --NotebookApp.token= ''--NotebookApp.password= ''
  • 保持终端运行的状态,可以通过"IP:Port"的方式访问Juypter Notebook,此时notebook中的目录,就是Ubuntu中fate安装目录下的内容(按本教程的安装过程,fate根目录位于/home/fate/standalone_fate_master_1.8.0/)

二、用FATE从零实现横向逻辑回归

在开始本章之前,请确保已经安装Python和FATE单机版

2.1 数据集获取

from sklearn.datasets import load_breast_cancer
import pandas as pd 

breast_dataset = load_breast_cancer()
breast = pd.DataFrame(breast_dataset.data, columns=breast_dataset.feature_names)
breast['y'] = breast_dataset.target
breast.head()

2.2 横向联邦数据集切分

为了模拟横向联邦建模的场景,我们首先在本地将乳腺癌数据集切分为特征相同的横向联邦形式,当前的breast数据集有569条样本,我们将前面的469条作为训练样本,后面的100条作为评估测试样本

  • 从469条训练样本中,选取前200条作为公司A的本地数据,保存为breast_1_train.csv,将剩余的269条数据作为公司B的本地数据,保存为breast_2_train.csv。
  • 测试数据集可以不需要切分,两个参与方使用相同的一份测试数据即可,文件命名为breast_eval.csv。

from sklearn.datasets import load_breast_cancer
import pandas as pd 


breast_dataset = load_breast_cancer()
breast = pd.DataFrame(breast_dataset.data, columns=breast_dataset.feature_names)
breast = (breast-breast.mean())/(breast.std()) 
col_names = breast.columns.values.tolist()

columns = {}
for idx, n in enumerate(col_names):
	columns[n] = "x%d"%idx 
	
breast = breast.rename(columns=columns)	
breast['y'] = breast_dataset.target
breast['idx'] = range(breast.shape[0])
idx = breast['idx']
breast.drop(labels=['idx'], axis=1, inplace = True)

breast.insert(0, 'idx', idx)
breast = breast.sample(frac=1)
train = breast.iloc[:469]
eval = breast.iloc[469:]
breast_1_train = train.iloc[:200]
breast_1_train.to_csv('breast_1_train.csv', index=False, header=True)


breast_2_train = train.iloc[200:]
breast_2_train.to_csv('breast_2_train.csv', index=False, header=True)
eval.to_csv('breast_eval.csv', index=False, header=True)

运行完此程序之后会得到三个新的scv格式的数据集

2.3 上传数据-修改文件

在数据处理完之后,我们需要进行对数据进行上传。我们采用json格式进行上传。在FATE项目中有写好的上传json文件,在examples/dsl/v2/upload文件夹中,upload_conf.json此文件。在我的实验中,我将此文件复制到了我在FATE目录下新建的工作目录下,并对其进行了修改。

{
    "file": "examples/data/breast_1_train.csv",#指定数据文件
    "head":1,
    "partition": 10,
    "work_mode": 0,
    "table_name": "homo_breast_1_train",#指定DTable表名
    "namespace": "breast_1_train.csv" #指定DTable表名的命名空间
}

“file”:需要改为自己的csv路径
“work_model”:0 表示为单机部署模式
“table_name”:需要改为自己的table名

2.4 上传数据-跳转目录

为了方便后面的叙述统一,我们假设读者安装的FATE单机版本目录为:

fate_dir=/data/projects/fate-1.8.0-experiment/standalone-fate-master-1.8.0/

做完上述准备之后,我们需要进行以下操作

  1. 跳转到standalone-fate-master-1.8.0目录下
cd /data/projects/fate-1.8.0-experiment/standalone-fate-master-1.8.0
  1. 加载环境变量
source bin/init_env.sh	
  1. 在加载环境变量的基础上,在在当前目录下($fate_dir/examples/federatedml-1.x-examples),在命令行中执行下面的命令,即可自动完成上传和格式转换:
python /opt/standalone_fate_install_1.8.0/fateflow/python/fate_flow/fate_flow_client.py -f upload -c /opt/standalone_fate_install_1.8.0/fate/upload_data/upload_train1.json

或者

flow data upload -c /opt/standalone_fate_install_1.8.0/fate/upload_data/upload_train1.json

出现如下界面说明成功:
2023年3月版联邦学习(fate)从主机安装到实现联邦学习_第1张图片

2.5 模型训练与评估

数据完成上传之后,下面需要对训练任务进行配置,在FATE项目中已经给出了很多写好的配置,我们可以在此基础上进行修改就能直接用了。

2.5.1 修改conf和dsl文件参数

书中的版本与v1.8.0完全发生了改变,我们需要重新配置dsl和conf文件,且书中是使用训练集建模训练集评估,与建模流程不符,我们改变书中流程,使用训练集建模训练集与测试集分开进行评估

在这里我使用的是homo_lr_train_conf.json和homo_lr_train_dsl.json,这两个文件在examples/dsl/v2/homo_logistic_regression目录中能够找到。接下来我们需要对其进行修改

  1. homo_lr_train_conf.json:用来设置各个组件的参数,比如输入模块的数据表名,算法模块的学习率,batch大小,迭代次数。
    一般使用默认值即可,需要修改的地方包括以下几处。
  • role字段:该字段包括guest和host分别对应两个参与方。需要修改三个参数。首先是name和namespace,代表训练数据的DTable表名和命名空间;此外,label_name表示的是标签列对应的属性名,
{
    
        "role": {
            "host": {
                "0": {
                    "reader_0": {
                        "table": {
                            "name": "mnist_host_train",  #注意此处换成对应的表名,在复制此代码时需要删除此注释
                            "namespace": "experiment"
                        }
                    },
                    "evaluation_0": {
                        "need_run": false
                    }
                }
            },
            "guest": {
                "0": {
                    "reader_0": {
                        "table": {
                            "name": "mnist_guest_train",#注意此处换成对应的表名,在复制此代码时需要删除此注释
                            "namespace": "experiment"
                        }
                    }
                }
            }
        }
    }
}
  • component_parameters字段:用来设置模型训练的超参数信息,包括优化函数与学习率,迭代次数
"component_parameters": {
        "common": {
            "data_transform_0": {
                "with_label": true,
                "output_format": "dense"
            },
            "homo_lr_0": {
                "penalty": "L2",
                "tol": 1e-05,
                "alpha": 0.01,
                "optimizer": "sgd",
                "batch_size": -1,
                "learning_rate": 0.15,
                "init_param": {
                    "init_method": "zeros"
                },
                "max_iter": 30,
                "early_stop": "diff",
                "encrypt_param": {
                    "method": null
                },
                "cv_param": {
                    "n_splits": 4,
                    "shuffle": true,
                    "random_seed": 33,
                    "need_cv": false
                },
                "decay": 1,
                "decay_sqrt": true
            },
            "evaluation_0": {
                "eval_type": "binary"
            }
        }
  1. homo_lr_train_dsl.json:用来描述任务模块,将任务模块以有向无环图的形式组合在一起。以下组件模块构成了最基本的横向联邦模型流水线。
  • homo_lr_0:横向逻辑回归组件
  • evaluation_0:模型评估组件,如果没有提供测试数据集,将自动使用训练数据进行模型评估。

2.5.2 修改结束之后,在命令行输入以下命令(submit_ job)执行模型训练

python /opt/standalone_fate_install_1.8.0/fateflow/python/fate_flow/fate_flow_client.py -f submit_job -d /opt/standalone_fate_install_1.8.0/fate/dsl_conf/homo_lr_train_dsl.json -c /opt/standalone_fate_install_1.8.0/fate/dsl_conf/homo_lr_train_conf.json

或者

flow job submit -d /opt/standalone_fate_install_1.8.0/fate/dsl_conf/homo_lr_train_dsl.json -c /opt/standalone_fate_install_1.8.0/fate/dsl_conf/homo_lr_train_conf.json

成功后显示如图
2023年3月版联邦学习(fate)从主机安装到实现联邦学习_第2张图片
通过箭头所指地址我们可以在浏览器中查看任务进度和信息
2023年3月版联邦学习(fate)从主机安装到实现联邦学习_第3张图片

你可能感兴趣的:(深度学习,linux,docker,运维)