私有部署 ChatGLM3-6B

1. 在 AutoDL 平台上租赁 GPU

• GPU 型号：RTX 4090
• PyTorch 版本：2.5.1**（推荐使用 2.0 及以上的版本，以获得最佳的推理性能）**

2. 开启学术资源加速

source /etc/network_turbo

3. 拉取模型代码

git clone https://github.com/THUDM/ChatGLM3

4. 安装依赖

cd ChatGLM3
pip install -r requirements.txt

特别提示：如果不需要运行可视化 demo，则可以将 gradio 依赖删除，这样可以避免一些依赖版本冲突问题，也可以节省资源。

# basic requirements

transformers==4.40.0
cpm_kernels>=1.0.11
torch>=2.3.0
vllm>=0.4.2
gradio>=4.26.0
sentencepiece>=0.2.0
sentence_transformers>=2.7.0
accelerate>=0.29.2
streamlit>=1.33.0
fastapi>=0.110.0
loguru~=0.7.2
mdtex2html>=1.3.0
latex2mathml>=3.77.0
jupyter_client>=8.6.1

# for openai demo
openai>=1.30.1
pydantic>=2.7.1
sse-starlette>=2.1.0
uvicorn>=0.29.0
timm>=0.9.16
tiktoken>=0.6.0

# for langchain demo

langchain>=0.2.1
langchain_community>=0.2.0
langchainhub>=0.1.15
arxiv>=2.1.0

5. 运行 Demo

# 进入到basic_demo 目录
cd basic_demo/

# 运行控制台版本的 Demo
python cli_demo.py

特别提示：初次运行时，需要执行资源初始化的操作，耗时可能较长，需要耐心等待。

6. 效果展示