AutoGPTQ

Transformers 中原生支持的量化方案概述

autoGPTQ有什么好处？bitsandbytes还有哪些潜在的改进空间？autoGPTQ还有哪些潜在的改进空间？深入研究速度基准推理速度(仅前向)生成速度use
小然爱看·2024-01-16 15:20

AutoGPTQ量化方案

AutoGPTQ的工作原理具体如下：一.量化技术：通过量化技术，将模型中的浮点数参数转换为低精度的整数，从而减少模型大小和推理时间。例如把权重为F32（单精度浮点数）映射为Int4（4字节整数）。
牛像话·2024-01-16 15:49

LLM大模型4位量化实战【GPTQ】

在本文中，我们将探索流行的GPTQ算法，以了解其工作原理并使用AutoGPTQ库实现它。你可以在GoogleColab和GitHub
新缸中之脑·2023-11-20 02:52

Py之auto-gptq：auto-gptq的简介、安装、使用方法之详细攻略

auto-gptq的简介1、版本更新历史2、性能对比推理速度困惑度（PPL）3、支持的模型3、支持的评估任务auto-gptq的安装auto-gptq的使用方法1、基础用法(1)、量化和推理auto-gptq的简介AutoGPTQ
一个处女座的程序猿·2023-11-03 02:10

基于hugging face的autogptq量化实践

1.量化并保存到本地的#导入库：fromtransformersimportAutoModelForCausalLM,AutoTokenizer,GPTQConfigmodel_id="facebook/opt-125m"quantization_config=GPTQConfig(bits=4,group_size=128,dataset="c4",desc_act=False,)tokeniz
dear_queen·2023-10-27 04:29

【通义千问】大模型Qwen GitHub开源工程学习笔记（4）-- 模型的量化与离线部署

摘要：量化方案基于AutoGPTQ，提供了Int4量化模型，其中包括Qwen-7B-Chat和Qwen-14B-Chat。更新承诺在模型评估效果几乎没有损失的情况下，降低存储要求并提高推理速度。
大表哥汽车人·2023-10-14 13:11

下载github.com上的依赖资源

需要反复试才能成功，所以单独安装）exportGIT_TRACE=1exportGIT_CURL_VERBOSE=1pipinstallgit+https://github.com/PanQiWei/AutoGPTQ.git-ihttps
玖玖玖 柒染·2023-09-23 03:17

使用 AutoGPTQ 和 transformers 让大语言模型更轻量化

本着与bitsandbytes合作一样的精神，我们将AutoGPTQ代码库集成到了Transformers中，让用户使用GPTQ算法(F
Hugging Face·2023-08-26 15:37

使用 AutoGPTQ 和 transformers 让大语言模型更轻量化

本着与bitsandbytes合作一样的精神，我们将AutoGPTQ代码库集成到了Transformers中，让用户使用GPTQ算法(F
·2023-08-25 23:00

第十一篇-Tesla P40+Text-Generation-Webui

TeslaP4024G驱动:515CUDA:11.7cuDNN:8.9.2.26介绍简单好用(当然速度不是最快的)，支持多种方式加载模型，transformers,llama.cpp,ExLlama,AutoGPTQ
木卫二号Coding·2023-08-23 08:19
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他