auto-gptq

Transformers 中原生支持的量化方案概述

转载自：https://huggingface.co/blog/zh/overview-quantization-transformers文章目录资源bitsandbytes与auto-gptq之比较bitsandbytes
小然爱看·2024-01-16 15:20

Qwen-14B-Chat-Int4推理报错:ImportError: libcudart.so.12: cannot open shared object file

在Qwen-14B-Chat-Int4推理时，发现报错，缺少optimum和auto-gptq两个pip包Traceback(mostrecentcalllast):File"test_qwen_14b_int4
城南皮卡丘·2023-11-20 12:59

flash_attn及auto-gptq本地安装成功

1.flash_attn安装https://github.com/Dao-AILab/flash-attention/releases地址github地址下载对应cuda和pytorch版本的flash-attention进行本地安装。如：cuda11.7torch1.13.1python3.9pipinstallflash_attn-2.3.0+cu117torch1.13cxx11abiFAL
我是菜鸟杨杨杨·2023-11-20 06:51

Py之auto-gptq：auto-gptq的简介、安装、使用方法之详细攻略

Py之auto-gptq：auto-gptq的简介、安装、使用方法之详细攻略目录auto-gptq的简介1、版本更新历史2、性能对比推理速度困惑度（PPL）3、支持的模型3、支持的评估任务auto-gptq
一个处女座的程序猿·2023-11-03 02:10
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他