bitsandbytes 安装排错

目录

简介,linux安装 使用方法

win11系统安装:

解决方法:


简介,linux安装 使用方法

  bitsandbytes是对CUDA自定义函数的轻量级封装,特别是针对8位优化器、矩阵乘法(LLM.int8())和量化函数。

GitHub:https://github.com/TimDettmers/bitsandbytes

文档:Module tree: — bitsandbytes v0.0.24 documentation

论文:https://arxiv.org/abs/2110.02861

1、bitsandbytes的特点
混合精度分解的8位矩阵乘法
LLM.int8()推断
8位优化器:Adam、AdamW、RMSProp、LARS、LAMB、Lion(节省75%的内存)
稳定的嵌入层:通过更好的初始化和归一化改进稳定性
8位量化:分位数、线性和动态量化
快速分位数估计:比其他算法快100倍
参考:

Py之bitsandbytes:bitsandbytes的简介、安装、使用方法之详细攻略-CSDN博客


from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained(
 
  'decapoda-research/llama-7b-hf,
  device_map='auto',
  load_in_8bit=True,
  max_memory=f'{int(torch.cuda.mem_get_info()[0]/1024**3)-2}GB')

win11系统安装:

bitsandbytes 安装排错

报错:
RuntimeError:
        CUDA Setup failed despite GPU being available. Please run the following command to get more information:
 
        python -m bitsandbytes
 
        Inspect the output of the command and see if you can locate CUDA libraries. You might need to add them
        to your LD_LIBRARY_PATH. If you suspect a bug, please take the information from python -m bitsandbytes

解决方法:

1.bitsandbytes-windows 没成功:

pip install bitsandbytes-windows 

2.重装系统,重装cuda,没有必要

[踩坑记] CUDA环境下bitsandbytes安装报错/异常解决_cuda setup failed despite gpu being available. ple-CSDN博客

3.正确方法:

下载whl安装文件,pip install 就可以了。

https://github.com/jllllll/bitsandbytes-windows-webui/releases/tag/wheels

你可能感兴趣的:(3D视觉,python)