2021-04-19

一、安装conda,FATE框架下也有不同的python版本，安装一个conda以方便python版本的管理

wget -c https://repo.continuum.io/miniconda/Miniconda3-latest-Linux-x86_64.sh

安装到了 /root/miniconda3下
下载完成后，使用vim工具，编辑.bashrc文件

vim ~/.bashrc

在最后面添加

export  PATH="/root/miniconda3/bin:"$PATH

输入命令使.bashrc文件生效

source ~/.bashrc

查看conda命令如下表示成功

image.png

添加清华大学的镜像源

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/bioconda/
conda config --set show_channel_urls yes 
conda config --get channels

使用命令“conda create -n 环境名称 python=版本号”创建环境
先创建一个fate3.6.7
查看环境列表 conda env list

image.png

激活环境 conda activate

image.png

退出环境 conda deactivate

二、FATE TEST

1、下载fate-test

image.png

查看帮助列表 fate_test --help
2、编辑默认配置文件
使用系统默认编辑器编辑优先级配置文件
根据注释填写某些字段
fate_test_config.yaml
配置fate-pipeline 和fate-flow服务器设置
ip 127.0.0.1 port 9380

# configure FATE-Pipeline server setting
pipeline init --port 9380 --ip 127.0.0.1
# configure FATE-Flow Commandline server setting
flow init --port 9380 --ip 127.0.0.1

image.png

image.png

3、测试一下 fate_test 套件

fate_test suite -i 

报错：

image.png

出现语法错误，应该是编码格式不对？
哦，群里老哥说这个testsuite.json>应该是包含这个testsuite.json的路径，例如找到一个

image.png

K均值聚类算法，尝试着跑一下

image.png

报错我的路径有问题？ 看一下配置文件
在目录 /root/miniconda3/envs/fate3.7/lib/python3.7/site-packages/fate_test下的fate_test_config.yaml文件中

image.png

查一下fate的存放数据的文件：

image.png

那就是替换掉/example*之前的路径就行

image.png

用fate_test 执行secureboost算法
‘’‘fate_test suite - i *’‘’

image.png

上传数据：

image.png

一直卡在数据上传阶段
换个算法试试

image.png

还是同样的问题，上传不了数据
看一下配置文件有没有关于数据上传的配置，发现没有，那我找一下数据存放的目录

image.png

可以看到都是4月17号也就是前天上传的测试数据，并没有今天用fate_test工具所上传的数据，说明还是数据传输出了问题
看一下 fate board

image.png

可是显示 submit job successfully 。。。
去上面目录找下这个.csv文件

image.png

也能找到这个数据集。。。
等了好久也没解决，先做做下面的

4、run some fate_test benchmark，也就是基准测试，对比一下fate算法与其他算法的精度

fate_test benchmark-quality -i 

image.png

还是一样的问题。。。卡在数据上传就不动了

三、开发模式

1、使用可编辑模式，先下载fate_client 和 fate_test

pip install -e ${FATE}/python/fate_client && pip install -e ${FATE}/python/fate_test

2、一些常用的命令

1>suite: used for running testsuites, collection of FATE jobs
用来进行一些testsuites和jobs的测试
fate_test suite -i
指包含testsuite.json文件的绝对路径

2>benchmark-quality used for comparing modeling quality between FATE and other machine learning systems
bq 用来比较fated 的算法模型和其他机器学习模型的好坏
fate_test bq -i
这个路径在 /examples/benchmark_quality 文件夹下

3、进行配置
因为是进行的单机部署，guest 和 host 是同一台机器，所以不需要ssh隧道

9999, service: service_a
10000, service: service_b

得保证service_a 和 service_b能直接通信