联邦学习框架FATE实践（训练/测试步骤及参数说明）

一、FATE概念

1. 角色

在Fate的概念中分成3种角色，Guest、Host、Arbiter
（1）Guest表示数据应用方，在纵向算法中，Guest往往是有标签y的一方。一般是由Guest发起建模流程。
（2）Host是数据提供方
（3）arbiter是用来辅助多方完成联合建模的，主要的作用是用来聚合梯度或者模型,比如纵向lr里面,各方将自己一半的梯度发送给arbiter，然后arbiter再联合优化等等,arbiter还参与以及分发公私钥，进行加解密服务等等。

二、训练

1. 准备

在FATE中构建算法模型，需要准备三个配置文件。
（1）上传数据配置文件：用于上传数据
（2）DSL配置文件：用于定义建模任务
（3）运行配置文件：用于设置每个组件的参数

2. 定义上传数据配置文件

（1）参数说明：

file: 文件路径
head: 指定数据文件是否包含表头
partition: 指定用于存储数据的分区数
work_mode: 指定工作模式，0代表单机版，1代表集群版
table_name&namespace: 存储数据表的标识符号

（2）示例

{
  "file": "examples/data/breast_b.csv",
  "head": 1,
  "partition": 10,
  "work_mode": 0,
  "table_name": "hetero_breast_b",
  "namespace": "hetero_guest_breast"
}

3. 定义DSL 配置文件

（1）概念

FATE 使用特定语言 DSL 来描述任务，各种模块可通过一个有向无环图组织起来。DSL 配置文件采用 json 格式，整个配置文件就是一个 json 对象 （dict）。在这个 dict 的第一级是 “components”，表示这个任务将会使用到的各个模块，每个独立的模块定义在 “components” 之下。

（2）参数说明

module_name：模块的键。用户需要使用模块名加数字 _num 作为对应模块的 key，例如 dataio_0，并且数字应从 0 开始计数。这用于区分可能存在的多个相同种类的模块。
module：用来指定使用的模块。这个参数的内容需要和 federatedml/conf/setting_conf 下各个模块的文件名保持一致。模块名链接
input：输入。分为两种输入类型，分别是 data 和 model。
output：输出。和 input 一样，有 data 和 model 两种类型。
need_deploy：是或否。该字段用于指定组件是否需要部署以进行在线推断。该字段仅用于在线推论dsl推论。

（3）示例

{
  "components" : {
          "dataio_0": {
                "module": "DataIO",
                "input": {
                    "data": {
                        "data": [
                            "args.train_data"
                        ]
                    }
                },
                "output": {
                    "data": ["train"],
                    "model": ["dataio"]
                },
                "need_deploy": true
            }
      }
  }

4．定义运行配置文件

（1）概念

每个模块都有不同的参数需要配置，不同的 party 对于同一个模块的参数也可能有所区别。为了简化这种情况，对于每一个模块，FATE 会将所有 party 的不同参数保存到同一个运行配置文件（Submit Runtime Conf）中，并且所有的 party 都将共用这个配置文件。

（2）参数说明

initiator：指定启动器的角色和参与方ID。
job_parameters：设置work_mode 和processor_per_node。
role：指示所有角色的所有参与方ID。每个角色的 party_id 以列表形式存在，因为一个任务可能涉及到多个 party 担任同一种角色。
role_parameters：指定角色的参数，这一部分的参数对于不同的 party 都有所区别。数据需要匹配上传数据配置文件。
algorithm_parameters：指定所有 party 都共享的参数，每一个参数的 key 都是在 DSL 配置文件中定义好的模块名。
在完成这些配置文件并提交任务之后，fate-flow 将会把 role_parameters 和 algorithm_parameters 中的所有参数合并。如果合并之后，仍然存在没有定义的参数，fate-flow 则会使用默认值。fate-flow 会将这些参数分发到对应的 party，并开始联邦建模任务。

（3）示例

{
    "initiator": {
        "role": "guest",
        "party_id": 10000
    },
    "job_parameters": {
        "work_mode": 1
        "processor_per_node": 6
    },
    "role": {
        "guest": [
            10000
        ],
        "host": [
            10000
        ],
        "arbiter": [
            10000
        ]
    },
    "role_parameters": {"Your role parameters"},
    "algorithm_parameters": {"Your algorithm parameters"},
}

5. 训练过程

（1）上传数据

在所有数据提供者之间加载数据，上传命令：

python ${your_install_path}/fate_flow/fate_flow_client.py -f upload -c ${upload_data_json_path}

${your_install_path}: fate的安装目录
${upload_data_json_path}:上传数据配置文件路径
每个提供数据的集群（即guest和host）都需执行此步骤
不能上传具有相同table_name和namespace的不同数据集

运行此命令后，如果成功，将显示以下信息：

{
    "data": {
        "pid": 74684,
        "table_name": "breast_b",
        "namespace": "breast_hetero"
    },
    "jobId": "20190801152750392991_436",
    "meta": null,
    "retcode": 0,
    "retmsg": "success",
    "created_at": "2019-08-01 15:27:50"
}

输出所示，table_name和namespace已经列出，可以在上传配置文件中作为输入配置。

（2）开始建模

命令：

python {fate_install_path}/fate_flow/fate_flow_client.py -f submit_job -c ${runtime_config} -d ${dsl}

${runtime_config}：运行配置文件路径
${dsl}：dsl文件路径

（3）检查日志

路径：

${your_install_path}/logs/${your jobid}

${your_install_path}: fate的安装目录
${your jobid}:本次的jobid

三、测试

1. 准备

（1）为需要在预测阶段部署的模块添加或修改“ need_deploy”字段。除了通常不会在预测阶段运行的FederatedmSample和Evaluation之外，所有模块均将True设置为其默认值。“ need_deploy”字段为True表示此模块应运行“拟合”过程，并且拟合模型需要在预测阶段进行部署。
（2）除了Intersect模块之外，其他模块应该配置模型输出，这样fate-flow才能存储训练后的模型并使其在预测阶段可用。
（3）获取训练模型的model_id和model_version，获取命令：

python ${your_fate_install_path}/fate_flow/fate_flow_client.py -f job_config -j ${jobid} -r guest -p ${guest_partyid}  -o ${job_config_output_path}

${your_fate_install_path}： fate安装目录
${jobid} ：任务ID
${guest_partyid}：提交工作的一方的partyId
${job_config_output_path}：存储job_config的路径

之后，包含模型信息的json文件将被下载到$ {job_config_output_path} /model_info.json中

2. 定义预测配置文件

（1）概念：

此配置文件用于配置用于预测的参数

（2）参数说明

initiator: 指定发起人的角色和参与方ID，应与训练过程相同
job_parameters:
work_mode：集群或独立，与训练过程相同。
model_id或model_version：1. 准备（3）中获取的模型指示器。
job_type：工作类型。在这种情况下，它应该是“predict”。
role: 指出所有角色的所有参与ID，应与训练过程相同
role_parameters：为每个角色设置参数。在这种情况下，“ eval_data”（意味着将要预测的数据）应同时为Guest和Host分别填写

（3）示例

{
	"initiator": {
		"role": "guest",
		"party_id": 10000
	},
	job_parameters": {
		"work_mode": 0,
		"job—type": "predict",
		"model_id": "arbiter-10000#guest-10000#host-10000#model",
		"model_version": "202005140855200605181"
	},
	"role": {
		"guest": [10000],
		"host": [10000],
		"arbiter": [10000]
	}
	                                    ,,n>]
	"role_parametersn": {                                                           
	    "guest": {
	        "args": {
	            "data": {
	                "eva_data": [{"name": "homo_breast_guest", "namespace": "homo_breast_guest"}]
                }        
	        }
        },
		"host": {                           
		    "args":{
		        "data":{
                    "eva_data": [{"name": "homo_breast_host", "namespace": "homo_breast_host"}]
  		         }
            }
        }
    }
}

3. 预测过程

命令：

python ${your_fate_install_path}/fate_flow/fate_flow_client.py -f submit_job -c ${predict_config}

${your_fate_install_path}：fate安装目录
${predict_config}：预测配置文件路径

4. 查看预测结果

查看FATE_board

http://${fate_board_ip}:${fate_board_port}/index.html#/details?job_id=${job_id}&role=guest&party_id=${guest_partyid}

$ {fate_board_ip} $ {fate_board_port}：用于部署FATE模块的ip和端口。
$ {job_id}：预测任务的job_id。
$ {guest_partyid}：GuestID

5. 下载预测结果

预测任务完成后，前100条预测结果记录将在FATE-board中可用。可以通过以下命令下载所有结果。

python ${your_fate_install_path}/fate_flow/fate_flow_client.py -f component_output_data -j ${job_id} -p ${party_id} -r ${role} -cpn ${component_name} -o ${predict_result_output_dir}

${job_id}: 预测任务ID
${party_id}: 当前用户partyID
${role}: 当前用户的角色
${component_name}: 具有预测结果的组件
${predict_result_output_dir}: 将预测结果下载到的目录

四、参考

FATE用法 https://github.com/FederatedAI/FATE/tree/master/examples/federatedml-1.x-examples
上传数据指南 https://github.com/FederatedAI/FATE/blob/master/doc/upload_data_guide_zh.rst
DSL 配置和运行配置 https://github.com/FederatedAI/FATE/blob/master/doc/dsl_conf_setting_guide_zh.rst
联邦学习与微众Fate https://blog.csdn.net/qq_28540443/article/details/104416436