[踩坑记] Linux环境下bitsandbytes安装是后报错解决

情境

在测试LLM Webui demo的时候，安装依赖pip install bitsandbytes==0.40.0 后，python -m module name 时报错:CUDA Setup failed despite GPU being available. Please run the following command to get more information。

解决方法

从git hub 官方repo 下载
参考

需要手动安装：

使用下面步骤手动安装：

pip uninstall bitsandbytes --yes # if you already installed it with pip

git clone https://github.com/TimDettmers/bitsandbytes #网络不好请手动下载

cd bitsandbytes

CUDA_VERSION=114 make cuda11x GPP=$(which g++) -j 2 #这里换成你的cuda版本，nvidia-smi查看

pip install .

python check_bnb_install.py

python -c ‘import bitsandbytes’