本地搭建chatglm-6b

本地搭建chatglm-6b

参考博客:本地版ChatGPT?清华开源项目ChatGLM本地部署教程

  1. 安装python,推荐在3.10的稳定版本

  2. 安装pipenv,在虚拟python环境中运行项目

  3. 分别下载chatglm-6b模型和chatglm-6b-main项目,进行执行

(1)下载chatglm-6b训练后的模型

下载地址:huggingface.co/THUDM/chatglm-6b/tree/main

存储在chatglm-6b下

(2)下载chatglm-6b-main项目,下载地址:github.com/THUDM/ChatGLM-6B

保存至chatglm-6b-main目录下,将chatglm-6b拷贝至目录下

本地搭建chatglm-6b_第1张图片

  1. 执行pipenv install,创建Pipfile和Pipfile.lock

  2. 修改web_demo.py下的内容

    # 之前的/THUDM/chatglm-6b修改为chatglm-6b
    tokenizer = AutoTokenizer.from_pretrained("chatglm-6b", trust_remote_code=True)
    #model = AutoModel.from_pretrained("chatglm-6b", trust_remote_code=True).half().cuda()
    #使用CPU 16G内存模式
    model = AutoModel.from_pretrained("chatglm-6b", trust_remote_code=True).bfloat16()
    
  3. 执行pipenv shell,再启动python web_demo.py,浏览器中输入url,就可以进行测试使用了

本地搭建chatglm-6b_第2张图片

你可能感兴趣的:(python,开发语言)