【基于ChatGLM搭建本地化知识库 windows10系统】第一部分：Langchain-Chatchat本地化部署，内附遇到问题及解决办法（GPU版本，亲测有效）

本地化部署ChatGLM后，想搭建一个本地化知识库，搜了全网，基本都在推荐Langchain-Chatchat项目，因此就部署一下，我部署的时间是2023年11月29日，在github上作者刚更新了文件，因此在部署过程中与原来论坛里的经验有些不同，加之本人是小白，所以也踩了一些坑，故在这里总结一下，以供参考。

一、部署服务器主要配置

操作系统：Windows 10；

内存：32GB;

显卡：rtx 3060，显存 12GB

二、部署步骤

1.下载项目文件及模型

项目文件地址：https://github.com/chatchat-space/Langchain-Chatchat

模型文件地址：官方指定是：Huggingface

我在这里推荐一个国内用户可以使用的模型库下载LLM模型chatglm2-6b-int4和Embedding模型moka-ai/m3e-base

2.查看系统环境

主要是查看系统cuda的版本及安装情况

（1）查看系统支持cuda最大版本：nvidia-smi

红线框中的数字表明此服务器中支持的最大cuda版本，因此服务器中可以安装此版本及以下版本。

（2）查看系统中cuda版本：nvcc --version

由此看出我的系统中的cuda版本是11.8（注：此地方建议大家装11.8及以上版本的cuda，因为根据项目中提供的requirements中的环境依赖安装的库，需要torch2.1.0以上版本支持，pytorch官网查询后，支持torch2.1.0的最低cuda版本是11.8）

3.安装cuda版pytorch

如果按照项目提供的requirements文件包安装，默认安装的是cpu版本的torch，项目运行极慢，建议直接安装cuda版，因此需要先安装cuda版pytorch

可以直接使用官网提供的方式安装，快慢取决于你的网络，也可以根据版本下载下whl来安装，我比较喜欢下载下whl来安装，并且使用清华镜像 Simple Index安装相关依赖，安装代码语句如下：

pip install torch-2.1.0+cu118-cp310-cp310-win_amd64.whl torchvision-0.16.0+cu118-cp310-cp310-win_amd64.whl torchaudio-2.1.0+cu118-cp310-cp310-win_amd64.whl -i https://pypi.tuna.tsinghua.edu.cn/simple

4.安装依赖requirements.txt

安装之前需要把文件中与torch有关的语句隐掉

 

然后安装

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

 5.修改配置项 model_config.py

首先运行

 python copy_config_example.py

生成配置项，然后对model_config.py进行修改，添加本地模型路径

，

6.初始化知识库

如果是第一次运行本项目，知识库尚未建立，或者配置文件中的知识库类型、Embedding模型发生变化，需要以下命令初始化或重建知识库：

python init_database.py --recreate-vs

7.启动知识库

python startup.py -a

三、部署过程中踩过的坑

1.cpm_kernels

部署好运行后，可能会出现一个报错：

需要安装cpm_kernels包

pip install cpm_kernels

安装后即可流畅运行

2.GPU版本安装顺序及cuda版本

建议直接安装GPU版本，因为CPU版本太慢，按照本文流程即可顺利安装GPU版本运行，先安装pytorch再requirements配置依赖环境。、

torch要求的限制，cuda版本必须是11.8及以上。