Linux下部署langchain+chatGLM

1，服务器

选择后台自动安装GPU驱动，可以省很多事

1. clone项目

用git拉取项目，没有安装的话就下载，ubuntu的话 sudo apt-get install git

项目地址

https://github.com/imClumsyPanda/langchain-ChatGLM

克隆项目

https://github.com/imClumsyPanda/langchain-ChatGLM.git

进入项目 cd langchain-ChatGLM

目录结构如图

下载依赖

pip install -r requirements.txt

1. 下载模型

模型地址

THUDM/chatglm-6b at main

拉取模型

模型很大，需要提前下载 git-lfs

安装命令 sudo apt-get install git-lfs

下载模型

git clone https://huggingface.co/THUDM/chatglm-6b

由于模型很大，可能会失败，最大的那8个可以是手动下载

手动下载地址

清华大学云盘

注意模型下载路径

在langchain-ChatGLM目录下手动创建model文件，将模型下载至此

5，修改路径

打开 webui.py

命令 vim webui.py

划到最后

 .queue(concurrency_count=3)

 .launch(server_name='0.0.0.0',

         server_port=7860,

         show_api=False,

         share=False,

         inbrowser=False))

将share=False中的False改为True  保存退出

进入configs，打开model_config.py

vim model_config.py

填写模型路径

6，启动  web UI

首先要安装Gradio  

命令:pip install gradio

在langchain-ChatGLM下运行  webui.py

命令: python webui.py

在浏览器中访问公网ip加端口号就行了

  

页面如下