（三）FATE训练任务流程
参考：
https://blog.csdn.net/WenDong1997/article/details/106743620
https://blog.csdn.net/qq_41841524/article/details/117662143
经过整理而总结的文章，如有侵权，烦请联系修改。
配置文件
①上传数据文件
让 FATE 使用数据
②dsl文件
构建建模任务
实际上，在构建建模任务时，可能会涉及到几个组件，例如 data_io、feature_engineering、algorithm_model、evaluation 等。但是，这些组件的组合因任务而异。因此，自由组合组件的便捷方式将是一个关键特征。
目前，FATE 提供了一种特定领域的语言（DSL）来定义您想要的任何结构。这些组件通过 dsl 配置文件组合为有向无环图 (DAG)。
dsl 配置文件的使用就像定义一个 json 文件一样简单。
DSL 配置文件将为每个组件定义输入数据和（或）模型以及输出数据和（或）模型。
下游组件将上游组件的输出数据和（或）模型作为输入。这样，就可以通过配置文件构造一个 DAG。
③conf文件
为每个特定组件定义提交运行时配置
该配置文件用于为各方配置所有组件的参数。
\
FATE训练流程：
FATE训练任务流程主要有：
-
上传数据，需要准备上传数据配置文件
-
配置dsl文件：用于定义建模任务
配置conf文件：用于设置每个组件的参数
-
训练模型或者继续进行预测
-
FATE Board查看结果
一、上传数据
①定义上传数据配置文件
示例
{
"file": "examples/data/breast_b.csv",
"head": 1,
"partition": 10,
"work_mode": 0,
"table_name": "hetero_breast_b",
"namespace": "hetero_guest_breast"
}
参数说明：
file: 文件路径
head: 指定数据文件是否包含表头
partition: 指定用于存储数据的分区数
work_mode: 指定工作模式，0代表单机版，1代表集群版
table_name&namespace: 存储数据表的标识符号
实践例子：
使用Fate提供的案例数据，目录在fate容器中的/fate/examples/dsl/v1/homo_logistic_regression/upload_data_host.json和/fate/examples/dsl/v1/homo_logistic_regression/upload_data_guest.json
这里上传数据需要准备host以及guest两方的上传数据
vim /fate/examples/dsl/v1/homo_logistic_regression/upload_data_host.json
vim /fate/examples/dsl/v1/homo_logistic_regression/upload_data_guest.json
也可以不做修改，如作修改做好原文件备份或者直接查看fate github中相应的原件）
注：安装vim：
apt-get update
apt-get install -y vim
②上传数据
标准命令为：
python ${your_install_path}/fate_flow/fate_flow_client.py -f upload -c ${upload_data_json_path}
${your_install_path}: fate的安装目录
${upload_data_json_path}:上传数据配置文件路径
实践例子：
进入fate容器，在容器fate目录下执行下列命令：
python python/fate_flow/fate_flow_client.py -f upload -c examples/dsl/v1/homo_logistic_regression/upload_data_host.json
python python/fate_flow/fate_flow_client.py -f upload -c examples/dsl/v1/homo_logistic_regression/upload_data_guest.json
<下面这条upload_data_test.json 是上传测试数据，仅仅在作evaluation时需要上传，执行普通的train_job可以不用上传>
python python/fate_flow/fate_flow_client.py -f upload -c examples/dsl/v1/homo_logistic_regression/upload_data_test.json
输出所示，table_name和namespace已经列出，可以在上传配置文件中作为输入配置。
打开fate监控面板fate_board，点击可以看见参数配置等信息。
二、训练模型：
①定义DSL 配置文件
示例：
{
"components" : {
"dataio_0": { //module_name
"module": "DataIO", //module
"input": { //input
"data": {
"data": [
"args.train_data"
]
}
},
"output": { //output
"data": ["train"],
"model": ["dataio"]
},
"need_deploy": true //need_deploy
}
}
}
参数说明：
components：第一级，始终为 “components”，显示将在建模任务中添加组件。
module_name：模块的键。此名称应以“_num”结尾，例如“_0”、“_1”等。用户需要使用模块名加数字 _num 作为对应模块的 key，例如 dataio_0，并且数字应从 0 开始计数。这用于区分可能存在的多个相同种类的模块。
module：用来指定使用的模块。这个参数的内容需要和federatedml/conf/setting_conf 下各个模块的文件名保持一致。
input：输入。分为两种输入类型，分别是 data 和 model。
- data: 有三种可能的 data_input 类型：
- data：通常用于 data_io、feature_engineering 模块和评估。
- train_data：用于 homo_lr、hetero_lr 和 secure_boost。如果提供此字段，则任务将被解析为拟合任务
- validate_data：如果提供了 train_data，则该字段是可选的。在这种情况下，此数据将用作验证集。如果未提供 train_data，则此任务将被解析为预测或迁移任务。
- model：有两种可能的模型输入类型：
- model：这是相同类型的组件输入的模型，用于预测或转换阶段。例如，hetero_binning_0 作为拟合组件运行，hetero_binning_1 将hetero_binning_0 的模型输出作为输入，以便用于迁移或预测。
- isometric_model：用于指定来自上游组件的模型输入。仅用于 FATE-1.x 中的 HeteroFeatureSelection 模块。HeteroFeatureSelection 可以采用 HetereFeatureBinning 的模型输出，并将计算出的信息值作为过滤标准。
output：输出。和 input 一样，有 data 和 model 两种类型。
- data：指定输出数据名称
- model：指定输出模型名称
need_deploy：是或否。该字段用于指定组件是否需要部署以进行在线推断。该字段仅用于在线推论dsl推论。
②定义conf运行配置文件
示例：
{
"initiator": {
"role": "guest",
"party_id": 10000
},
"job_parameters": {
"work_mode": 1
"processor_per_node": 6
},
"role": {
"guest": [
10000
],
"host": [
10000
],
"arbiter": [
10000
]
},
"role_parameters": {"Your role parameters"},
"algorithm_parameters": {"Your algorithm parameters"},
}
参数说明：
initiator：指定启动器的角色和参与方ID。
job_parameters：设置work_mode 和processor_per_node。
role：指示所有角色的所有参与方ID。角色中的每个元素都应包含角色名称及其角色ID。每个角色的 party_id 以列表形式存在，因为一个任务可能涉及到多个 party 担任同一种角色。
role_parameters：指定角色的参数，这一部分的参数对于不同的 party 都有所区别。数据需要匹配上传数据配置文件。
algorithm_parameters：指定所有 party 都共享的参数，每一个参数的 key 都是在 DSL 配置文件中定义好的模块名。
在完成这些配置文件并提交任务之后，fate-flow 将会把 role_parameters 和 algorithm_parameters 中的所有参数合并。如果合并之后，仍然存在没有定义的参数，fate-flow 则会使用默认值。fate-flow 会将这些参数分发到对应的 party，并开始联邦建模任务。
实践例子：
在容器中可以修改我们逻辑回归的dsl和conf文件，目录分别为：/fate/examples/dsl/v1/homo_logistic_regression/test_homolr_train_job_conf.json和/fate/examples/dsl/v1/homo_logistic_regression/test_homolr_train_job_dsl.json。
此处直接使用原文件的示例文件即可
注意：conf文件中data中的name和namespace要与上传数据upload_data.conf中定义的一致。
vim /fate/examples/dsl/v1/homo_logistic_regression/test_homolr_train_job_conf.json
vim /fate/examples/dsl/v1/homo_logistic_regression/test_homolr_train_job_dsl.json
③开始训练
标准命令为：
python ${your_install_path}/fate_flow/fate_flow_client.py -f submit_job -d ${dsl} -c ${runtime_config}
${your_install_path}：fate的安装目录
${dsl}：dsl文件路径
${runtime_config}：conf文件路径
实践例子：
python python/fate_flow/fate_flow_client.py -f submit_job -d examples/dsl/v1/homo_logistic_regression/test_homolr_train_job_dsl.json -c examples/dsl/v1/homo_logistic_regression/test_homolr_train_job_conf.json
其中含有test功能的任务需要提前上传test_data文件，操作同上述上传数据的命令。含有验证evaluate功能的任务dsl和conf文件不能直接进行下一步的预测，因为本身的验证过程中就已经进行了预测和检验，需要对组建进行进一步修改并对预测conf做好配置。这样才可以使用我们训练好的模型去做预测。建议精读fate文档，有一些比较小的点容易忽略。
④查看训练结果
查看FATE_board http://主机ip:8080
jobList会列出所有的工作经历。最新的工作将在页面顶部。搜索JOBID，查看要查看的任务。
在JobOverview任务页面中，所有组件都将显示为 DAG。我们使用不同的颜色来表示它们的运行状态。
- 绿色：运行成功
- 蓝色：运行
- 灰色：等待
- 红色：失败。
可以在右侧单击每个组件以获取其运行参数。在这些参数下方，有一个view the outputs按钮。单击并查看此组件的模型输出、数据输出和日志。
如果想了解整个任务的概览，右上角有一个dashboard按钮。转到仪表板，有三个窗口显示不同的信息。
- 左窗口：此任务中各方使用的数据集。
- 中间窗口：整个任务的运行状态或进度。
- 右窗口：组件的 DAG。
实践例子：
在homo_lr_0的组件中我们可以很清楚的看见loss的曲线图：
在evaluation_0组件中可以看到更多的模型评价参数：
⑤检查日志
标准命令：
${your_install_path}/logs/${your jobid}
${your_install_path}：fate的安装目录
${your jobid}：本次的jobid
三、任务预测：
下面我们将用上面训练得到的模型来进行数据的预测。预测的配置文件为examples/dsl/v1/homo_logistic_regression/test_predict_conf.json，在dsl/v2的版本中预测任务需要同时定义预测的dsl和conf文件，而v1中只需要定义conf，dsl文件和训练的dsl文件相同。
①准备
（1）为需要在预测阶段部署的模块添加或修改“need_deploy”字段。除了通常不会在预测阶段运行的FederatedmSample和Evaluation之外，所有模块均将True设置为其默认值。“need_deploy”字段为True表示此模块应运行“拟合”过程，并且拟合模型需要在预测阶段进行部署。
（2）除了Intersect模块之外，其他模块应该配置模型输出，这样fate-flow才能存储训练后的模型并使其在预测阶段可用。
（3）预测的配置文件中需要修改model_id以及model_version，这两个参数在训练任务结束时返回的信息中已经包含。当然你也可以使用下列命令来获得获取训练模型的model_id和model_version两个参数：
标准命令为：
python ${your_fate_install_path}/fate_flow/fate_flow_client.py -f job_config -j ${jobid} -r guest -p ${guest_partyid} -o ${job_config_output_path}
${your_fate_install_path}： fate安装目录
${jobid} ：任务ID
${guest_partyid}：提交工作的一方的partyId
${job_config_output_path}：存储job_config的路径
之后，包含模型信息的json文件将被下载到$ {job_config_output_path} /model_info.json中
实践例子：
python python/fate_flow/fate_flow_client.py -f job_config -j 202107231105378004073 -r guest -p 10000 -o examples/dsl/v1/homo_logistic_regression
②定义预测配置文件
此配置文件用于配置用于预测的参数
示例：
{
“initiator”: {
“role”: “guest”,
“party_id”: 10000
},
job_parameters": {
“work_mode”: 0,
“job—type”: “predict”,
“model_id”: “arbiter-10000#guest-10000#host-10000#model”,
“model_version”: “202005140855200605181”
},
“role”: {
“guest”: [10000],
“host”: [10000],
“arbiter”: [10000]
}
,n>]
“role_parametersn”: {
“guest”: {
“args”: {
“data”: {
“eva_data”: [{“name”: “homo_breast_guest”, “namespace”: “homo_breast_guest”}]
}
}
},
“host”: {
“args”:{
“data”:{
“eva_data”: [{“name”: “homo_breast_host”, “namespace”: “homo_breast_host”}]
}
}
}
}
}
参数说明：
initiator: 指定发起人的角色和参与方ID，应与训练过程相同
job_parameters:
work_mode：集群或独立，与训练过程相同。
model_id或model_version：1. 准备（3）中获取的模型指示器。
job_type：工作类型。在这种情况下，它应该是“predict”。
role: 指出所有角色的所有参与ID，应与训练过程相同
role_parameters：为每个角色设置参数。在这种情况下，“ eval_data”（意味着将要预测的数据）应同时为Guest和Host分别填写
实践例子：
目录examples/dsl/v1/homo_logistic_regression/test_predict_conf.json。要注意修改model_id以及model_version，下面的eval_data是需要预测的数据，在这里没有添加新的数据，直接使用原来的数据进行了预测，你也可以在数据划分时留出一部分数据用于后面的预测评估，当然这就相当于evaluation了，可以直接使用其他示例进行验证或交叉验证：
vim examples/dsl/v1/homo_logistic_regression/test_predict_conf.json
③开始预测
标准命令为：
python ${your_fate_install_path}/fate_flow/fate_flow_client.py -f submit_job -c ${predict_config}
${your_fate_install_path}：fate安装目录
${predict_config}：预测配置文件路径
实践例子：
python python/fate_flow/fate_flow_client.py -f submit_job -c examples/dsl/v1/homo_logistic_regression/test_predict_conf.json
④查看预测结果
查看FATE_board
http://${fate_board_ip}:${fate_board_port}/index.html#/details?job_id=${job_id}&role=guest&party_id=${guest_partyid}
$ {fate_board_ip} $ {fate_board_port}：用于部署FATE模块的ip和端口。
$ {job_id}：预测任务的job_id。
$ {guest_partyid}：GuestID
实践例子：
我们直接查看homo_lr_0的输出即可：
⑤下载预测结果
预测任务完成后，前100条预测结果记录将在FATE-board中可用。可以通过以下命令下载所有结果。
标准命令为：
python ${your_fate_install_path}/fate_flow/fate_flow_client.py -f component_output_data -j ${job_id} -p ${party_id} -r ${role} -cpn ${component_name} -o ${predict_result_output_dir}
${job_id}: 预测任务ID
${party_id}: 当前用户partyID
${role}: 当前用户的角色
${component_name}: 具有预测结果的组件
${predict_result_output_dir}: 将预测结果下载到的目录
实践例子：
python python/fate_flow/fate_flow_client.py -f component_output_data -j 2021062308372668986321 -p 10000 -r guest -cpn hetero_lr_0 -o ./
补充：fate dsl_conf v2版本的训练和预测流程
v2版本里有一些改变和提升，最直观的来说，在v1中预测任务的dsl文件是自动生成的，难免会出现一定的问题。而v2中是需要用户自己定义预测任务dsl的，当然也可以使用flow命令来自动配置出预测dsl。下面简单介绍一下v2版本任务训练和预测的流程。
建议在容器中部署单机fate时，在容器内安装交互工具FATE-Client以及测试工具FATE-Test。
配置好之后就可以愉快的使用flow命令啦。
下面的操作使用flow命令进行操作，都是对examples/dsl/v2/homo_logistic_regression中的文件进行演示。
上传数据和任务训练
上传数据仍然用1中的upload_data_host.json和upload_data_guest.json
flow data upload -c examples/dsl/v1/upload_data_host.json
flow data upload -c examples/dsl/v1/upload_data_guest.json
在v2文件夹下选择示例dsl和conf进行训练：
flow job submit -c examples/dsl/v2/homo_logistic_regression/homo_lr_eval_conf.json -d examples/dsl/v2/homo_logistic_regression/homo_lr_eval_dsl.json
返回信息：
fate board中guest的DAG图：
配置预测dsl
划重点：v2中训练好的任务需要进行部署才能用于下一步的预测任务
我们将model_id和model_version更换成上面训练好的模型参数然后进行部署：
flow model deploy --model-id "arbiter-9999#guest-10000#host-9999#model" --model-version "202107240656552548973"
返回信息则配置成功：
我们可以通过下列命令得到预测的dsl和conf文件，注意这里我们用的model_version是上面部署之后的model_version
获取dsl
flow model get-predict-dsl --model-id "arbiter-9999#guest-10000#host-9999#model" --model-version "202107240710561865314" -o examples/dsl/v2/homo_logistic_regression/
获取conf
flow model get-predict-conf --model-id "arbiter-9999#guest-10000#host-9999#model" --model-version "202107240710561865314" -o examples/dsl/v2/homo_logistic_regression/
任务预测
从上面得到conf后我们需要修改里面的数据表和namespace，
vim /fate/examples/dsl/v2/homo_logistic_regression/predict_conf_20210724071301.json
修改为下图：
使用我们上面获取到的预测dsl和conf进行预测：
flow job submit -c examples/dsl/v2/homo_logistic_regression/predict_conf_20210724071301.json -d examples/dsl/v2/homo_logistic_regression/predict_dsl_20210724071253.json
fateboard结果和训练任务类似，可以使用数据下载命令下载数据到本地。
以上为v2版本任务训练和预测的示例，当然也可以把数据换成其他切分数据进行训练和预测，不再赘述。