GPTQ

【大模型实战篇】使用GPTQ量化QwQ-32B微调后的推理模型

1.量化背景之所以做量化，就是希望在现有的硬件条件下，提升性能。量化能将模型权重从高精度（如FP32）转换为低精度（如INT8/FP16），内存占用可减少50%~75%。低精度运算（如INT8）在GPU等硬件上计算效率更高，推理速度可提升2~4倍。我们的任务是，将QwQ-32B微调后的推理模型，也就是bf16的精度，通过量化，压缩到int4。关于QwQ-32B微调，可以参考《利用ms-swift微
源泉的小广场·2025-03-17 21:19

【大模型实战篇】对比包括QwQ-32B在内的不同推理模型的吞吐量表现

因为项目对推理模型的性能有比较高的要求，因此对目前一些主流的推理模型做了对比，包括QwQ-32B、QwQ-32B-GPTQ-INT4、QwQ-32B-GPTQ-INT8、Light-R1-14B-DS进行了吞吐量的对比实验
源泉的小广场·2025-03-17 01:49

8.3 GPTQ量化技术：4倍压缩大模型显存，精度零损失！

GPTQ量化技术：4倍压缩大模型显存，精度零损失！8.2GPTQ：专为GPT设计的模型量化算法一、模型量化技术背景在讨论GPTQ之前，我们需要先理解大模型部署面临的显存困境。
少林码僧·2025-03-12 01:16

vllm多卡部署Qwen2.5-72B-Instruct-GPTQ-Int4

双卡v10032G部署结果如下，推理时长16s3卡，tensor_parallel_size=3，tensor并行的数量一定要能被attentionheads整除4卡，tensor_parallel_size=4，推理速度4s
Yanc_L·2025-03-10 20:54

Qwen1.5-7B-实现RAG应用详细步骤

GPTQ支持库：如auto-gptq或gptqmodel。安装命令运行以下命令安装所需的Python包：pipinstalltorc
大数据追光猿·2025-03-08 23:01

垂类大模型微调（二）：使用LLaMA-Factory

LLaMA-Factory工具，并下载了大模型在上面进行了简单的加载和推理，今天尝试通过LoRa技术对大模型进行微调；一、训练集准备1.1介绍训练集结构这里演示对Qwen2.5-0.5B-Instruct-GPTQ-Int4
CITY_OF_MO_GY·2025-02-24 07:00

：GGUF、GPTQ 还是 AWQ

：GGUF、GPTQ还是AWQ1.GGUF：(GPT-GeneratedUnifiedFormat,GPT生成的统一格式)GGUF是GGML的后继者，由llama.cpp团队推出。
GordonJK·2025-02-22 05:38

大模型量化概述

模型压缩主要分为如下几类：剪枝（Pruning）知识蒸馏（KnowledgeDistillation）量化Quantization）本系列将针对一些常见大模型量化方案（GPTQ、LLM.int8()、Sm
AI领航者·2025-02-22 04:02

auto-gptq安装以及不适配软硬件环境可能出现的问题及解决方式

目录1、auto-gptq是什么？
IT修炼家·2025-02-20 12:00

深度学习模型格式解析：PyTorch、AWQ 和 GPTQ

PyTorch、AWQ（Activation-awareWeightQuantization）和GPTQ（GeneralizedPost-TrainingQuantization）是目前较为流行的三种模型格式
gs80140·2025-02-08 11:00

Qwen1.5：使用VLLM加速推理模型（包含：OpenAI如何调用）

使用以下命令安装：pipinstallvllm==0.3如果你需要使用GPTQ-int8量化模型，那么应该安装0.4或更高版本：pipinstallvllm>=0.4启动模型服务在安装完毕后，可以通
写bug如流水·2025-01-27 00:06

安装auto_gptq解决办法

这个错误表明在安装auto_gptq包时，生成QiGen内核时失败了。具体来说，setup.py脚本尝试运行一个Python脚本来生成内核，但该脚本不存在或无法访问。
Ven%·2025-01-24 15:46

欺诈文本分类检测（十四）：GPTQ量化模型

本文将采用一种训练后量化方法GPTQ，对前文已经训练并合并过的模型文件进行量化，通过比较模型量化前后的评测指标，来测试量化对模型性能的影响。
沉下心来学鲁班·2024-09-15 06:54

大模型量化技术原理-LLM.int8()、GPTQ

近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，从而导致模型变得越来越大，因此，我们需要一些大模型压缩技术来降低模型部署的成本，并提升模型的推理性能。模型压缩主要分为如下几类：剪枝（Pruning）知识蒸馏（KnowledgeDistillation）量化之前也写过一些文章涉及大模型量化相关的内容。基于LLaMA-7B/Bloomz-7B1-mt复现开
吃果冻不吐果冻皮·2024-02-20 21:39

大语言模型量化方法对比：GPTQ、GGUF、AWQ

原文：大语言模型量化方法对比：GPTQ、GGUF、AWQ-知乎在过去的一年里，大型语言模型(llm)有了飞速的发展，在本文中，我们将探讨几种(量化)的方式，除此以外，还会介绍分片及不同的保存和压缩策略。
javastart·2024-02-02 17:48

Transformers 中原生支持的量化方案概述

转载自：https://huggingface.co/blog/zh/overview-quantization-transformers文章目录资源bitsandbytes与auto-gptq之比较bitsandbytes
小然爱看·2024-01-16 15:20

text-generation-inference（TGI）项目加速推理的量化实现与使用GPTQ量化实现的对比

0背景实验的机器是4张T4的显卡，推理时使用参数--gpusall用4张卡同时计算；加载的模型是vicuna-7b-v1.5-16k；工程的地址在https://github.com/huggingface/text-generation-inference下面的计算速度默认是四张卡同时工作的速度；1不量化dockerrun--gpusall--shm-size1g-p8080:80-v./mod
炭市街潜水豆浆·2023-12-29 04:32

模型量化和边缘人工智能的曙光

广义训练后量化(GPTQ)、低秩适应(LoRA)和量化低秩适应(QLoRA)等突破有可能在数据生成时促进实时分析和决策。边
网络研究院·2023-12-28 18:59

模型量化之AWQ和GPTQ

什么是模型量化模型量化（ModelQuantization）是一种通过减少模型参数表示的位数来降低模型计算和存储开销的技术。一般来说，模型参数在深度学习模型中以浮点数（例如32位浮点数）的形式存储，而模型量化可以将这些参数转换为较低位宽的整数或定点数。这有几个主要的作用：减小模型大小：通过减少每个参数的位数，模型占用的存储空间变得更小。这对于在移动设备、嵌入式系统或者边缘设备上部署模型时尤其有用，
taoli-qiao·2023-12-27 14:09

1-2B参数规模大模型使用心得及模型汇总

即使有gptq、fastllm、vllm等推理加速方法，但如果GPU资源不够也很难保证高并发。那么如何在模型变小的同时，模型效果不明显下降，在指定任务上也可以媲美大模型的效果呢？
机器学习社区·2023-12-24 16:00

大模型LLM 在线量化；GPTQ\AWQ量化及推理

1、大模型LLM在线量化参考：https://www.cnblogs.com/bruceleely/p/17348782.html##8bitmodel=AutoModel.from_pretrained("THUDM/chatglm-6b",trust_remote_code=True).quantize(8).half(
loong_XL·2023-11-21 10:52

Qwen-14B-Chat-Int4推理报错:ImportError: libcudart.so.12: cannot open shared object file

在Qwen-14B-Chat-Int4推理时，发现报错，缺少optimum和auto-gptq两个pip包Traceback(mostrecentcalllast):File"test_qwen_14b_int4
城南皮卡丘·2023-11-20 12:59

大语言模型量化方法对比：GPTQ、GGUF、AWQ

在过去的一年里，大型语言模型(llm)有了飞速的发展，在本文中，我们将探讨几种(量化)的方式，除此以外，还会介绍分片及不同的保存和压缩策略。说明：每次加载LLM示例后，建议清除缓存，以防止出现OutOfMemory错误。delmodel,tokenizer,pipeimporttorchtorch.cuda.empty_cache()如果在jupyter中无法释放显存，请重启这个jupyterno
deephub·2023-11-20 12:49

flash_attn及auto-gptq本地安装成功

1.flash_attn安装https://github.com/Dao-AILab/flash-attention/releases地址github地址下载对应cuda和pytorch版本的flash-attention进行本地安装。如：cuda11.7torch1.13.1python3.9pipinstallflash_attn-2.3.0+cu117torch1.13cxx11abiFAL
我是菜鸟杨杨杨·2023-11-20 06:51

大模型落地的必经之路 | GPTQ加速LLM落地，让Transformer起飞！

作者|小书童编辑|集智书童点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【大模型】技术交流群本文只做学术分享，如有侵权，联系删文生成预训练Transformer模型，也称为GPT或OPT，通过在复杂语言建模任务中取得突破性性能而脱颖而出，但也因其庞大的规模而需要极高的计算和存储成本。具体而言，由于它们的巨大规模，即使对于大型高精度的GPT模型的推理，也可能
自动驾驶之心·2023-11-20 02:22

LLM大模型4位量化实战【GPTQ】

这要归功于性能下降最小的新型4位量化技术，例如GPTQ、GGML和NF4。在上一篇文章中，我们介绍了简单的8位量化技术和出色的LLM.int8()。
新缸中之脑·2023-11-20 02:52

Py之auto-gptq：auto-gptq的简介、安装、使用方法之详细攻略

Py之auto-gptq：auto-gptq的简介、安装、使用方法之详细攻略目录auto-gptq的简介1、版本更新历史2、性能对比推理速度困惑度（PPL）3、支持的模型3、支持的评估任务auto-gptq
一个处女座的程序猿·2023-11-03 02:10

量化HuggingFace的Transformers 模型

huggingface.co/docs/transformers/main/en/main_classes/quantizationAutoGPTQ集成Transformers已集成了optimumAPI以对语言模型执行GPTQ
Tim_Van·2023-10-27 04:00

一步一步理解大模型：模型量化技术3 - GPTQ

关于GPTQ的关键点：GPTQ可以在大约四个GPU小时内量化具有1750亿参数的GPT模型，将位宽减少到每个权重的3或4位，与未压缩的基线相比，准确性降低可以忽略不计。
chattyfish·2023-10-15 18:07

GPTQ 和 AWQ：LLM 量化方法的比较

GPTQ和AWQ是目前最优的LLM量化方法之一。GPTQ是GoogleAI提出的一种基于group量化和OB
Archer阿茶·2023-10-15 18:06

本地部署CodeLlama +GTX1080显卡 对接open-interpreter对接wxbot（一）

效果展示开源项目GitHub-oobabooga/text-generation-webui:AGradiowebUIforLargeLanguageModels.Supportstransformers,GPTQ
三块钱0794·2023-09-15 13:24

量化QAT QLoRA GPTQ

模型量化的思路可以分为PTQ（Post-TrainingQuantization，训练后量化）和QAT（QuantizationAwareTraining，在量化过程中进行梯度反传更新权重，例如QLoRA），GPTQ
taoqick·2023-08-27 11:07

使用 AutoGPTQ 和 transformers 让大语言模型更轻量化

本着与bitsandbytes合作一样的精神，我们将AutoGPTQ代码库集成到了Transformers中，让用户使用GPTQ算法(F
Hugging Face·2023-08-26 15:37

使用 AutoGPTQ 和 transformers 让大语言模型更轻量化

本着与bitsandbytes合作一样的精神，我们将AutoGPTQ代码库集成到了Transformers中，让用户使用GPTQ算法(F
·2023-08-25 23:00

第十一篇-Tesla P40+Text-Generation-Webui

TeslaP4024G驱动:515CUDA:11.7cuDNN:8.9.2.26介绍简单好用(当然速度不是最快的)，支持多种方式加载模型，transformers,llama.cpp,ExLlama,AutoGPTQ,GPTQ-for-LLaMa
木卫二号Coding·2023-08-23 08:19

AWQ模型量化实践

AWQ量化方法https://github.com/mit-han-lab/llm-awqhttps://arxiv.org/abs/2306.00978AWQ量化与GPTQ量化对比AWQ量化精度比GPTQ
Luchang-Li·2023-08-02 03:29

项目遇到Spring问题

url=GpTQ8-nBBM7jDijHLioWhAc
JanckyWong·2014-01-01 21:00
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他