chatglm3-6b使用

源码地址

GitHub - THUDM/ChatGLM3: ChatGLM3 series: Open Bilingual Chat LLMs | 开源双语对话语言模型

创建环境

conda create -n chatglm36 python=3.11.7

修改源码中依赖，使得使用cuda，否则太慢了

pip3 install torch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 --index-url https://download.pytorch.org/whl/cu121

最后的cu121代码这cuda是12.1

修改依赖文件中关于torch的为

torch==2.1.2+cu121

安装

pip install -r requirements.txt

执行DEMO

demo1

修改web_demo_gradio.py使用本地已经下载好的模型

MODEL_PATH = os.environ.get('MODEL_PATH', 'E:\\model\\chatgml3-6b')

python web_demo_gradio.py

成功

demo2

同样的修改代码使用本地下载好的模型

streamlit run web_demo_streamlit.py

demo3

直接控制台交互

demo4

只启动一个服务端，然后用postman调用接口

curl -X POST "http://127.0.0.1:8000/v1/chat/completions" \
-H "Content-Type: application/json" \
-d "{\"model\": \"chatglm3-6b\", \"messages\": [{\"role\": \"system\", \"content\": \"You are ChatGLM3, a large language model trained by Zhipu.AI. Follow the user's instructions carefully. Respond using markdown.\"}, {\"role\": \"user\", \"content\": \"你好，给我讲一个故事，大概100字\"}], \"stream\": false, \"max_tokens\": 100, \"temperature\": 0.8, \"top_p\": 0.8}"