RuntimeError: CUDA is required but not available for bitsandbytes.

今天想配置大模型的环境，需要用到 bitsandbytes这个包，但是遇到报错：

RuntimeError: CUDA is required but not available for bitsandbytes. Please consider installing the multi-platform enabled version of bitsandbytes, which is currently a work in progress. Please check currently supported platforms and installation instructions at https://huggingface.co/docs/bitsandbytes/main/en/installation#multi-backend

我想说的是，不要按照这个报错去安装 cpu的包，否则还是跑不了。因为就是需要 cuda的环境，把cuda配出来就可以了。
于是我按照一些博客所说配置了 LD_LIBRARY_PATH，但是事实上早就有这个环境变量了，引用博客如下：点我
于是我打开了对应的报错文件：
/home/***/anaconda3/envs/***/lib/python3.8/site-packages/transformers/integrations/bitsandbytes.py
查看原因，报错在536行，代码显示如下：

523 def _validate_bnb_cuda_backend_availability(raise_exception):
524     if not is_torch_available():
525         return False
526 
527     import torch
528 
529     if not torch.cuda.is_available():
530         log_msg = (
531             "CUDA is required but not available for bitsandbytes. Please consider installing the multi-platform enabled version of bitsandbytes, whi    ch is currently a work in progress. "
532             "Please check currently supported platforms and installation instructions at https://huggingface.co/docs/bitsandbytes/main/en/installati    on#multi-backend"
533         )
534         if raise_exception:
535             logger.error(log_msg)
536             raise RuntimeError(log_msg)
537 
538         logger.warning(log_msg)
539         return False

可以看到，他检查cuda的有效性是根据torch来看的，于是我新开了一个文件：

import torch

print(torch.__version__)
print(torch.cuda.is_available())
print(torch.version.cuda)

发现这个available确实不行，于是反应过来torch的版本是不能随便安装的，可以去这个网址找：
https://pytorch.org/get-started/previous-versions/
查看具体torch安装命令，我的是：
pip install torch==1.12.0+cu116 torchvision==0.13.0+cu116 torchaudio==0.12.0 --extra-index-url https://download.pytorch.org/whl/cu116
选择时，需要根据平台和cuda版本筛选
然后安装torch就可以运行了
还有一点注意是，安装bitsandbytes时，必须根据这个网站(https://huggingface.co/docs/bitsandbytes/main/en/installation)的指示安装，不要直接 pip install
但还是可能遇到nn的问题，如下：
AttributeError: module 'bitsandbytes' has no attribute 'nn'
这个问题，可以参考这个网址：
https://github.com/bitsandbytes-foundation/bitsandbytes/issues/462

使用pip install bitsandbytes==0.39.0即可

希望可以对你有所帮助~

这是我今天遇到的所有问题，需要自取：

链接: https://pan.baidu.com/s/1PNbDp6mhB__L7MdGbPI18w?pwd=1234提取码: 1234 复制这段内容后打开百度网盘手机App，操作更方便哦