ChatGLM2-6B,部署及微调

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档

文章目录

  • 前言
  • 一、模型部署
    • 1. 下载代码
    • 2. 下载模型
    • 3. 建立conda的虚拟环境
    • 4. 安装环境依赖
    • 5. 修改模型配置
    • 6. 执行web_demo.py
  • 二、微调


前言

代码地址:https://github.com/THUDM/ChatGLM2-6B
模型地址:https://huggingface.co/THUDM/chatglm2-6b
安装环境:Ubuntu_VM-GPU,3090


一、模型部署

1. 下载代码

提示:git clone https://github.com/THUDM/ChatGLM2-6B 有时候连不到github
因此,直接下载代码,上传到服务器去解压

2. 下载模型

① 首次运行程序,程序会自动从huggingface拉取,放入缓存文件夹中
② 同代码一样,先从网上下载再传到服务器。

3. 建立conda的虚拟环境

下面展示一些 内联代码片

conda create -n chatglm python=3.10
conda activate chatglm

4. 安装环境依赖

进入到代码目录中,目录中有requirement.txt

pip install -r requirement.txt

5. 修改模型配置

打开web_demo.py

vim web_demo.py

修改代码中的模型地址,

tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm2-6b", trust_remote_code=True)
 model = AutoModel.from_pretrained("THUDM/chatglm2-6b", trust_remote_code=True).cuda()

THUDM/chatglm2-6b换成模型上传的文件夹

6. 执行web_demo.py

python web_demo.py

加载模型后会给出web服务的地址

Running on local URL: http://127.0.0.1:7860
Running on public URL: https://8d65029a7d3a5a79fc.gradio.live

提示:要显示公共地址,需要在执行的代码的最后一行将share参数从False改成True

demo.queue().launch(share=True, inbrowser=True)

二、微调

你可能感兴趣的:(人工智能,自然语言处理)