在centos7上部署langchain-chatglm可能遇到的bug和解决方案(可解决在部署阶段的99%的问题)

第一步

安装英伟达显卡驱动，此处请百度，不做过多赘述

第二步

下载官方代码包  

git clone https://github.com/imClumsyPanda/langchain-ChatGLM.git

安装python环境，此处建议使用conda管理环境。

第三步(非常重要)

进入你的代码目录下
pip install -r requment.txt 下载依赖
这里可能有的朋友会有问题会出现某些包下载不了，这里建议直接使用阿里源即可，在确定你的cuda版本之后(使用nvidia-smi确定cuda版本)
命令行执行

pip uninstall torch torchvision torchaudio

卸载掉刚才pip安装的版本因为此处安装的版本还缺少cuda的支持，确定卸载掉之后
执行pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cuX，此处X为你的cuda版本，例如你的cuda版本为11.8那么此处就是118。
在安装完成后 执行pip list，如果此处是这样的那么恭喜你，成功了

第四步

下载对应的模型包，无论是chatglm-6b还是int4 int8的量化版本都可以，根据自己服务器的显存来决定，这里也不多做赘述了哈

第五步

进入代码目录，修改config/model_config.py文件，将里面的模型目录修改为你本地的即可

第六步

启动项目，python webui.py 启动，这一步很多人会出现报错，大部分人都会报错，但按照第三步来执行操作，基本99%不会出问题

ps

错误累计:
有少部分报错会提示cudnn没有运行，那是因为你真的没有安装cuda，直接百度搜索即可解决 。
如果报out of memory 是你的显存太小了运行不起来。
如果代码运行起来了，你上传docx知识库报错，那么你需要安装libreoffice扩展，看该文章https://blog.csdn.net/an129/article/details/126766228进行安装，安装后有少部分朋友还是会报这个错误，你需要把你安装目录加入到环境变量(/etc/profile)中，如下图所示
该问题即可解决。

如果还是无法解决，可联系博主微信ripkey备注csdn联系解决