python-中文闲聊的GPT2模型首次使用笔记

项目地址

https://github.com/yangjianxin1/GPT2-chitchat

运行项目

1. 下载bin模型地址
   https://github.com/yangjianxin1/GPT2-chitchat#model_share
2. 将下载的模型放在model文件夹中或者model/epoch40中
3. 运行已经训练好的模型

python interact.py --no_cuda --model_path model_epoch40_50w (使用cpu生成，速度相对较慢)
或
python interact.py --model_path model_epoch40_50w --device 0 (指定0号GPU进行生成，速度相对较快)

如何准备自己的资料

4. 文本格式
   参照项目的数据预处理
5. 预处理后进行tokenize
   参照项目的数据预处理

python preprocess.py --train_path data/train.txt --save_path data/train.pkl

6. 拿到pkl后训练模型
   参照项目的训练模型章节，就会得到bin模型

python train.py --epochs 40 --batch_size 8 --device 0,1 --train_path data/train.pkl