基于OneAPI+ChatGLM3-6B+FastGPT搭建LLM大语言模型知识库问答系统

搭建大语言模型知识库问答系统

部署OneAPI

拉取镜像

bash

复制代码docker pull justsong/one-api

创建挂载目录

bash

复制代码mkdir -p /usr/local/docker/oneapi

启动容器

bash

复制代码docker run --name one-api -d --restart always -p 3001:3000 -e TZ=Asia/Shanghai -v /usr/local/docker/oneapi:/data justsong/one-api

访问IP:3001

注意：

用户默认root 密码默认123456，首次登录后务必修改密码

创建接口令牌API Key备用

根据需要配置，这里点击“永不过期”+“设为无限额度”

项目地址: One API

部署一个LLM模型

下载ChatGLM3项目

bash

复制代码git clone https://github.com/THUDM/ChatGLM3

创建conda环境

bash复制代码cd /work/ChatGLM3

conda create -n ChatGLM3 python=3.10

conda activate ChatGLM3

编辑ChatGLM3/openai_api_demo/api_server.py文件，指定LLM模型、嵌入模型位置

相关模型可以从huggingface下载

bash复制代码# set LLM path
MODEL_PATH = os.environ.get('MODEL_PATH', '/root/work/models/chatglm3-6b')
TOKENIZER_PATH = os.environ.get("TOKENIZER_PATH", MODEL_PATH)

# set Embedding Model path
EMBEDDING_PATH