关于windows上运行bitsandbytes老是报错的(说cuda版本有问题)解决方案

报错问题基本上都是什么
UserWarning: The installed version of bitsandbytes was compiled without GPU support. 8-bit optimizers, 8-bit multiplication, and GPU quantization are unavailable.
或者是什么
argument of type ‘WindowsPath’ is not iterable

我以为是自己电脑上装了多个版本的cuda,导致冲突。
甚至以为是环境变量有问题,没有对应的环境变量,导致程序找不到对应的cuda环境。
所以多方尝试,卸载了又装,多个cuda版本都卸载和安装了多次,以排查问题。
甚至自己在那里加些莫名其妙的环境变量(后来才知道那玩儿是linux上才用的环境变量),醉了。
本来我就奇怪,我都进的是虚拟环境了,怎么还是cuda环境有问题。

最后在网上找到高人的回复,原来一开始就想错方向了,根本就是这个bitsandbytes的版本不对,整死个人。以下两行代码解决(仅限于当下有效,未来可能这些东西又变了,说不定得下载别的bitsandbytes版本了):

pip uninstall bitsandbytes
pip install https://github.com/jllllll/bitsandbytes-windows-webui/releases/download/wheels/bitsandbytes-0.41.0-py3-none-win_amd64.whl

你可能感兴趣的:(windows,llama2,bitsandbytes,cuda)