调用transformers及bitsandbytes库CUDA报错

CUDA报错

最近在win10系统中，使用transformers库进行进行模型推理时，遇到了一个问题：

File ‘bitsandbytes/cextension.py’, line 20, in raise RuntimeError(‘’’
RuntimeError:
CUDA Setup failed despite GPU being available. Inspect the CUDA SETUP outputs above to fix your environment!
‘’')

尝试了bitsandbytes0.38.1、bitsandbytes0.39.0、bitsandbytes==0.37.2三个版本均仍报错。结合错误报错，原因是电脑CUDA版本较低（11.1），与bitsandbytes与CUDA版本的不兼容。

解决方法

卸载bitsandbytes即可运行。若需要使用bitsandbytes，或可尝试更低版本的bitsandbytes或尝试使用显卡支持的更高版本的cuda
我使用的transformers 版本：4.26.0