chatglm3 vllm部署推理;api访问使用

用fastchat部署暂时有各种问题,参考:https://github.com/lm-sys/FastChat/pull/2622

chatglm3 vllm部署推理;api访问使用_第1张图片

本篇用vllm运行测试可以使用

在这里插入图片描述

1、vllm运行

python -m vllm.entrypoints.api_server --model  /***/chatglm/chatglm3-6b/ 

你可能感兴趣的:(大模型AI,深度学习,人工智能,LLM,部署)