auto-gptq

大模型量化AutoGPTQ代码配置

代码链接：https://github.com/AutoGPTQ/AutoGPTQ其实最核心的在于安装auto-gptq这个包，但是直接pipinstall
HuanB123·2025-05-15 17:31

Qwen1.5-7B-实现RAG应用详细步骤

GPTQ支持库：如auto-gptq或gptqmodel。安装命令运行以下命令安装所需的Python包：pipinstalltorc
大数据追光猿·2025-03-08 23:01

auto-gptq安装以及不适配软硬件环境可能出现的问题及解决方式

目录1、auto-gptq是什么？
IT修炼家·2025-02-20 12:00

Transformers 中原生支持的量化方案概述

转载自：https://huggingface.co/blog/zh/overview-quantization-transformers文章目录资源bitsandbytes与auto-gptq之比较bitsandbytes
小然爱看·2024-01-16 15:20

Qwen-14B-Chat-Int4推理报错:ImportError: libcudart.so.12: cannot open shared object file

在Qwen-14B-Chat-Int4推理时，发现报错，缺少optimum和auto-gptq两个pip包Traceback(mostrecentcalllast):File"test_qwen_14b_int4
城南皮卡丘·2023-11-20 12:59

flash_attn及auto-gptq本地安装成功

1.flash_attn安装https://github.com/Dao-AILab/flash-attention/releases地址github地址下载对应cuda和pytorch版本的flash-attention进行本地安装。如：cuda11.7torch1.13.1python3.9pipinstallflash_attn-2.3.0+cu117torch1.13cxx11abiFAL
我是菜鸟杨杨杨·2023-11-20 06:51

Py之auto-gptq：auto-gptq的简介、安装、使用方法之详细攻略

Py之auto-gptq：auto-gptq的简介、安装、使用方法之详细攻略目录auto-gptq的简介1、版本更新历史2、性能对比推理速度困惑度（PPL）3、支持的模型3、支持的评估任务auto-gptq
一个处女座的程序猿·2023-11-03 02:10
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他