ChatGLM3-6B的本地api调用

ChatGLM3-6B的本地api调用方式

1.运行openai_api_demo路径下的openai_api.py
启动后界面：

注意：本地api调到的前提是——本地部署了ChatGLM3-6B,本地部署的教程可参考：
20分钟部署ChatGLM3-6B

部署了若CUDA可用，默认会以CUDA方式运行，占用显存约5.9G；若CUDA不可用，则会以内存方式进行加载，官方称CPU调用需要32G内存（实际约30G）

2.api调用
官方给了两种调用示例：
1）使用Curl进行测试:

curl -X POST “http://127.0.0.1:8000/v1/chat/completions”
-H “Content-Type: application/json”
-d “{“model”: “chatglm3-6b”, “messages”: [{“role”: “system”, “content”: “You are ChatGLM3, a large language model trained by Zhipu.AI. Follow the user’s instructions carefully. Respond using markdown.”}, {“role”: “user”, “content”: “你好，给我讲一个故事，大概100字”}], “stream”: false, “max_tokens”: 100, “temperature”: 0.8, “top_p”: 0.8}”

2. 使用Python进行测试:

cd openai_api_demo
python openai_api_request.py

3）postman调用（推荐）：
这里，我补充一个postman接口调用的方式，更能理解接口和参数分别是什么。

接口：

http://127.0.0.1:8000/v1/chat/completions

注意是POST方法！

传递参数：

{
“model”: “chatglm3-6b”,
“messages”: [
{
“role”: “system”,
“content”: “You are ChatGLM3, a large language model trained by Zhipu.AI. Follow the user’s instructions carefully. Respond using markdown.”
},
{
“role”: “user”,
“content”: “你好，给我讲一个故事，大概100字”
}
],
“stream”: false,
“max_tokens”: 100,
“temperature”: 0.8,
“top_p”: 0.8
}

返回结果：

{
“model”: “chatglm3-6b”,
“object”: “chat.completion”,
“choices”: [
{
“index”: 0,
“message”: {
“role”: “assistant”,
“content”: “从前，在一个遥远的国度里，有一个美丽的村庄。这个村庄里的居民过着和谐的生活，他们每天都会在村子里的广场上聚会。有一天，一位智者来到了村子的广场，他跟村民们分享了这样一个故事：\n\n从前，有一片荒芜的土地，上面长满了各种美丽的花草。有一天，一只小鸟飞过来，告诉村子里的居民们，这片土地是一个魔法之地，只要每个人都在广场上许下一个美好的愿望，魔法”,
“name”: null,
“function_call”: null
},
“finish_reason”: “stop”
}
],
“created”: 1704786453,
“usage”: {
“prompt_tokens”: 54,
“total_tokens”: 154,
“completion_tokens”: 100
}
}

可以看到，ChatGLM3-6B的默认调用接口和传递参数，及返回结果的参数与chatGLM2-6B的API有非常大的区别，并不兼容，需要有较大的修改

ChatGLM2-6B的本地api调用方式

ChatGLM2-6B在2024年已经属于过去时了，若有小伙伴有需求，可留言，我抽时间把它补充上。