零基础部署chatglm

目录

ubuntu部署

1. 下载安装anaconda3

2. 创建并虚拟环境

3. 下载安装chatglm

4. 修改代码，减少gpu使用，目前使用6G显存

5.启动web服务

windows部署

1. 下载安装anaconda3

2. 创建并虚拟环境

3. 下载安装chatglm

4. 修改代码，减少gpu使用，目前使用6G显存

5.启动web服务

---

ubuntu部署

1. 下载安装anaconda3

    wget https://repo.anaconda.com/archive/Anaconda3-2021.11-Linux-x86_64.sh
    ./Anaconda3-2021.11-Linux-x86_64.sh

2. 创建并虚拟环境

    conda create -n chatglm python==3.10.4
    source activate chatglm

3. 下载安装chatglm

    git clone --recursive https://github.com/THUDM/ChatGLM-6B
    cd ChatGLM-6B
    pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
    
    pip install -i https://pypi.tuna.tsinghua.edu.cn/simple streamlit
  pip install -i https://pypi.tuna.tsinghua.edu.cn/simple streamlit-chat

4. 修改代码，减少gpu使用，目前使用6G显存

    修改web_demo2.py
    修改前
    model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).half().cuda()
    修改后
    model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).half().quantize(4).cuda()
    
    如果没有显卡
    修改为
    model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).float()

5.启动web服务

    streamlit run web_demo2.py

windows部署

1. 下载安装anaconda3

    下载地址 https://repo.anaconda.com/archive/Anaconda3-2021.11-Windows-x86_64.exe
    安装 Anaconda3-2021.11-Windows-x86_64.exe

2. 创建并虚拟环境

    conda create -n chatglm python==3.10.4
    activate chatglm

3. 下载安装chatglm

    git clone --recursive https://github.com/THUDM/ChatGLM-6B
    cd ChatGLM-6B
    pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
    
    pip install -i https://pypi.tuna.tsinghua.edu.cn/simple streamlit
  pip install -i https://pypi.tuna.tsinghua.edu.cn/simple streamlit-chat

4. 修改代码，减少gpu使用，目前使用6G显存

    修改web_demo2.py
    修改前
    model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).half().cuda()
    修改后
    model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).half().quantize(4).cuda()
    
    如果没有显卡
    修改为
    model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).float()

5.启动web服务

    streamlit run web_demo2.py