ChatGLM-6B 做 LoRA fine tuning训练模型在闻达中使用

ChatGLM-6B 做 LoRA fine tuning训练和预测方法

闻达搭建paddingpadding_qq_26689303的博客-CSDN博客

第一个链接文章做出来的模型怎么整合到第二个链接搭建的闻达里呢？

很简单，把finetune 的模型整个文件夹拷贝到闻达的model目录下面

闻达目录下example.config.yml 改成 config.yml

然后编辑它修改配置指向你的模型

  glm6b: 
     # path: "model/chatglm-6b-int4"
     path: "model/chatglm-6b"
     #glm模型位置"
     strategy: "cuda fp16"
     #cuda fp16	 所有glm模型 要直接跑在gpu上都可以使用这个参数
     #cuda fp16i8	 fp16原生模型 要自行量化为int8跑在gpu上可以使用这个参数
     #cuda fp16i4	 fp16原生模型 要自行量化为int4跑在gpu上可以使用这个参数
     #cuda:0 fp16 *14 -> cuda:1	fp16 多卡流水线并行，使用方法参考RWKV的strategy介绍。总层数28
     lora: "model/dbstd"

然后启动闻答，你训练的内容就会起作用