CentOS7上部署langchain-chatglm或stable-diffusion可能遇到的Bug的解决方案

第一步 官网官方驱动 | NVIDIA下载驱动

# 切换root账号操作
# 进行一些依赖库的升级也很必要, eg:
# yum -y install epel-release
# yum -y install gcc gcc-c++ kernel-headers kernel-devel dkms

# 卸载驱动和cuda(非必要操作,直接更新cuda即可)
# nvidia-uninstall
# cuda-uninstaller
#安装(非必要操作,直接更新cuda即可)
# chmod a+x NVIDIA-Linux-x86_64-515.76.run
# ./NVIDIA-Linux-x86_64-470.86.run

# nvidia 安装成功
# nvidia-smi

# 安装cuda:
sh cuda_11.7.1_515.65.01_linux.run #默认更新driver从495到515,cuda从11.5到11.7
# 不要勾选 nvidia-fs(mofed是啥?)

# 成功之后按照提示添加路径:
vim /etc/profile
export CUDA_HOME=/usr/local/cuda-11.7
export LD_LIBRARY_PATH=${CUDA_HOME}/lib64:${CUDA_HOME}/extras/CUPTI/lib64
export PATH=${CUDA_HOME}/bin:${PATH}
source /etc/profile

第二步 下载官方代码包  

git clone https://github.com/imClumsyPanda/langchain-ChatGLM.git

安装python环境,此处建议使用conda管理环境。

conda create -n glm python=3.10.6

比如glm就 conda activate glm

sd 就conda activate sd

第三步 重新更新你的cuda的支持(非常重要)

进入你的代码目录下

pip install -r requment.txt 

下载依赖
这里可能有的朋友会有问题会出现某些包下载不了,这里建议直接使用阿里源即可,在确定你的cuda版本之后(使用nvidia-smi确定cuda版本)
命令行执行

pip uninstall torch torchvision torchaudio


卸载掉刚才pip安装的版本!!!!因为此处安装的版本还缺少cuda的支持,确定卸载掉之后
执行

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cuX

此处X为你的cuda版本,例如你的cuda版本为11.8那么此处就是118。
在安装完成后 执行pip list,如果此处是这样的 CentOS7上部署langchain-chatglm或stable-diffusion可能遇到的Bug的解决方案_第1张图片

那么恭喜你,成功了

第四步 下载对应的模型包

无论是chatglm-6b还是int4 int8的量化版本都可以,根据自己服务器的显存来决定



第五步 进入代码目录,修改config/model_config.py文件

将里面的模型目录修改为你本地的即可



第六步 启动项目

python webui.py 

启动,这一步很多人会出现报错,大部分人都会报错,但按照第三步来执行操作,基本99%不会出问题


另外:


有少部分报错会提示cudnn没有运行,那是因为你真的没有安装cuda,直接百度搜索即可解决 。
如果报out of memory 是你的显存太小了运行不起来。
如果代码运行起来了,你上传docx知识库报错,那么你需要安装libreoffice扩展,看该文章https://blog.csdn.net/an129/article/details/126766228进行安装,安装后有少部分朋友还是会报这个错误,你需要把你安装目录加入到环境变量(/etc/profile)中,如下图所示

在这里插入图片描述
该问题即可解决。

你可能感兴趣的:(langchain,stable,diffusion,bug)