百度BML&飞桨训练营（二）基本流程熟悉NLP简单模型训练

百度BML、飞桨训练营（二）基本流程熟悉NLP简单模型训练

基本流程熟悉

文章相关内容资料已经取得百度BML允许，仅用与交流学习，请不要用于商业传播。

机器学习几乎都是一下这个流程
数据获取以及标准–训练数据–建立模型–评估模型–应用部署调用模型

接下里就按照用一个小项目正常走一遍：

1.搜索ai.baidu.com

2.点击BML全功能AI开发平台

3.点击立即使用

4.左边点击Notebook，然后点击立即创建。

5.创建名称和描述，类型选择"文本分类-单文本单标签",场景选择"其他"。

6.启动之前先进行一下配置，点击配置。

7.选择默认选项，资源规格选择GPUV100。

8.状态显示进行中时点击打开。

9.进入Notebook的主界面后打开一个终端。

10.需要手动下载一下PaddleNLP，复制链接即可。
https://github.com/PaddlePaddle/PaddleNLP

若Github访问不稳定，可以上Gitee（国内的镜像），下载PaddleNLP：https://gitee.com/paddlepaddle/PaddleNLP

11.来到网站，开始下载，点击code，点击download zip。
图片

12.在下载目录找到该文件。

13.点击左上方工具栏中上传文件，上传PaddleNLP-develop.zip。

14.上传完毕，在左边我们可以看到。

15.解压代码包，完成指令
unzip PaddleNLP-develop.zip

最后的结果如下图

1.需要准备两个训练环境，执行命令
pip install paddlenlp==2.1.0

2.之后执行命令
python -m pip install paddlepaddle-gpu==2.1.3.post101 -f https://www.paddlepaddle.org.cn/whl/linux/mkl/avx/stable.html

3.然后输入指令 进入工作目录
cd /home/work/PaddleNLP-develop/examples/few_shot/efl

4.在github.com中点击examples

5.再点击few_shot
图片

6.再点击efl

7.复制训练命令并执行
python -u -m paddle.distributed.launch --gpus “0”
train.py
–task_name “eprstmt”
–device gpu
–negative_num 1
–save_dir “checkpoints”
–batch_size 32
–learning_rate 5E-5
–epochs 10
–max_seq_length 512
–rdrop_coef 0 \

8.训练完成之后我们就可以看到出现的checkpoints和predict_output等目录

9.结果如下图

1.启动模型预测，复制指令并运行
python -u -m paddle.distributed.launch --gpus “0” predict.py
–task_name “eprstmt”
–device gpu
–init_from_ckpt ./checkpoints/model_20/model_state.pdparams
–output_dir “./output”
–batch_size 32
–max_seq_length 512

2.如果提示没有找到该路径，会出现这样的结果。

3.可以输入指令解决。
mkdir output

4.重新输入指令即可。
python -u -m paddle.distributed.launch --gpus “0” predict.py
–task_name “eprstmt”
–device gpu
–init_from_ckpt ./checkpoints/model_20/model_state.pdparams
–output_dir “./output”
–batch_size 32
–max_seq_length 512

5.cd到output路径即可看到预测产出。

6.最后一步可以将动态图转化为静态图，静态图可以用于后期预测和部署，复制指令并运行。
python export_model.py --params_path=./checkpoint/model_20/model_state.pdparams --output_path=./output

7.进入output目录下就可以看到3个模型的产出，可以用于今后模型的部署。
图片

8.结果如下图