模型量化

llama.cpp框架下GGUF格式及量化参数全解析

其中，GGUF格式和模型量化参数是实现高效推理的重要技术手段。本文将对`llama.cpp`框架下的GGUF格式及量化参数进行详细解析，帮助读者更好地理解和应用这些技术

Black_Rock_br·2025-03-11 06:40

8.6 “6.7GB→3.9GB！“Facebook OPT模型4-bit量化实战：显存狂降85%教程

FacebookOPT模型4-bit量化实战：显存狂降85%教程实战FacebookOPT模型量化模型量化原理与技术选型在模型量化实战前，我们需要理解OPT模型的显存占用特点。

少林码僧·2025-03-09 12:44

2.8 通过微调提升模型的准确度与效率-大模型ACP模拟题-真题

单选题模型量化技术的主要优势是？

admin皮卡·2025-02-28 17:12

Transformer模型量化Quantization 笔记

模型参数与显存占用计算基础为了详细说明模型的参数数量和每个参数在显存中占用的空间大小，我们以facebookOPT-6.7B模型为例。逐步推理计算过程：1.估计参数总量：OPT-6.7B模型指一个含有大约6.7Billion（67亿）个参数的模型。2.计算单个参数的显存占用：OPT-6.7B模型默认使用Float16，每个参数占用16位（即2字节）的显存。3.计算总显存占用=参数总量×每个参数的显

Foolbird123·2025-02-24 13:14

DeepSeek模型量化

技术背景大语言模型（LargeLanguageModel，LLM），可以通过量化（Quantization）操作来节约内存/显存的使用，并且降低了通讯开销，进而达到加速模型推理的效果。常见的就是把Float16的浮点数，转换成低精度的整数，例如Int4整数。最极限的情况下，可以把参数转化成二值Bool变量，也就是只有0和1，但是这种大幅度的量化有可能导致模型的推理效果不佳。常用的是，在70B以下的

快乐非自愿·2025-02-23 22:29

一文介绍DeepSeek的模型蒸馏和模型量化技术

大模型的模型蒸馏和模型量化是当前人工智能领域中重要的研究方向，它们对于提高模型的部署效率、降低资源消耗具有重要意义。

江湖人称麻花滕·2025-02-22 14:26

大模型量化概述

模型压缩主要分为如下几类：剪枝（Pruning）知识蒸馏（KnowledgeDistillation）量化Quantization）本系列将针对一些常见大模型量化方案（GPTQ、LLM.int8()、Sm

AI领航者·2025-02-22 04:02

模型压缩-模型蒸馏、模型剪枝、模型量化

一、模型蒸馏1.1蒸馏简介知识蒸馏是指通过教师模型指导学生模型训练，通过蒸馏的方式让学生模型学习到教师模型的知识，最终使学生模型达到或媲美教师模型的准确度。在模型压缩中，教师模型是一个预训练好的复杂的模型，而学生模型是一个规模较小的模型。如分类任务中，由训练好的教师模型在相同的数据下，通过将教师模型对样本的预测值作为学生模型的预测目标，指导学生模型学习，这个预测值一般指教师网络输出的类概率。教师模

NLP的小Y·2025-02-21 08:39

LLM 中的 Matryoshka 量化：原理与优势

MatQuant如何改进LLM性能指标MatQuant对模型量化的影响每个比特宽度处理模型权重的特定部分，并且它们的组合输出被聚合以优化整体量化性能。

数据掘金·2025-02-21 07:58

HarmonyOS Next模型量化技术详解

本文旨在深入探讨华为鸿蒙HarmonyOSNext系统（截止目前API12）中模型量化相关技术细节，基于实际开发实践进行总结。

·2025-02-19 15:05

HarmonyOS Next模型量化技术与实践

本文旨在深入探讨华为鸿蒙HarmonyOSNext系统（截止目前API12）中的模型量化技术，基于实际开发实践进行总结。

·2025-02-19 15:31

基于DeepSeek-R1的高效推理优化实战：从API封装到动态批处理

本文以DeepSeek-R1-7B模型为例，通过动态批处理、模型量化和异步推理三大技术，将单次推理耗时从2.3s降至0.4s，吞吐量提升6倍。所有代码均通过PyTorch2.1+验证。

竹木有心·2025-02-17 11:29

deepseek本地部署会遇到哪些坑

使用nvidia-smi监控显存，通过降低batch_size或模型量化（如FP16/INT8）优化资源。CPU模式下考虑模型轻量化（如使用ONN

skyksksksksks·2025-02-07 11:49

LLM模型部署经验分享

下载并部署玩模型后，我们还可以对模型转换和优化，该文会介绍基于OpenVINO的模型量化实践

lewis_kai·2025-01-31 06:56

0. 金融资产组合模型进化全图鉴

目录0.前言0.1专栏主旨0.2本文主旨1.资产组合模型进化路线2.资产组合模型量化回测实现3.金融量化难点通俗解释0.前言0.1专栏主旨本专栏【金融资产组合模型进化论】以马科维茨资产组合模型为起点，带领读者一步步感受

AI量金术师·2025-01-29 21:59

QAT与PTQ模型量化方法的区别

QAT（QuantizationAwareTraining）和PTQ（PostTrainingQuantization）是两种常见的模型量化方法，用于减少深度学习模型的计算和存储开销，同时尽量保持模型的性能

old_power·2025-01-23 17:28

清华和哈工大把大模型量化做到了1比特，把世界顶尖多模态大模型开源大模型量化个人电脑运行！机器人领域首个开源视觉-语言操作大模型，激发开源VLMs更大潜能，视 Mamba速度提升2.8倍，内存能省87%

清华和哈工大把大模型量化做到了1比特，把世界顶尖多模态大模型开源大模型量化个人电脑运行！机器人领域首个开源视觉-语言操作大模型，激发开源VLMs更大潜能，视Mamba速度提升2.8倍，内存能省87%。

代码讲故事·2025-01-22 05:45

llama.cpp部署

主要有两点优化：llama.cpp使用的是C语言写的机器学习张量库ggmlllama.cpp提供了模型量化的工具计算类

法号：行颠·2025-01-17 17:12

欺诈文本分类检测（十四）：GPTQ量化模型

本文将采用一种训练后量化方法GPTQ，对前文已经训练并合并过的模型文件进行量化，通过比较模型量化前后的评测指标，来测试量化对模型性能的影响。

沉下心来学鲁班·2024-09-15 06:54

TensorRT模型量化实践

文章目录量化基本概念量化的方法方式1：trtexec（PTQ的一种）方式2：PTQ2.1pythononnx转trt2.2polygraphy工具:应该是对2.1量化过程的封装方式3：QAT(追求精度时推荐)使用TensorRT量化实践（C++版）使用TensorRT量化（python版）参考文献量化基本概念后训练量化PostTrainingQuantization(PTQ)量化过程仅仅通过离线推

痛&快乐着·2024-09-12 01:00

AI多模态实战教程：面壁智能MiniCPM-V多模态大模型问答交互、llama.cpp模型量化和推理

一、项目简介MiniCPM-V系列是专为视觉-语⾔理解设计的多模态⼤型语⾔模型（MLLMs），提供⾼质量的⽂本输出，已发布4个版本。1.1主要模型及特性（1）MiniCPM-Llama3-V2.5：参数规模:8B性能:超越GPT-4V-1106、GeminiPro、Qwen-VL-Max和Claude3，⽀持30+种语⾔，多模态对话，增强OCR和指令跟随能⼒。部署:量化、编译优化，可⾼效部署于端侧

AIGCmagic社区·2024-09-05 21:23

【学习笔记】：Ubuntu 22 使用模型量化工具llama.cpp部署大模型 CPU+GPU

学习笔记：Ubuntu22使用模型量化工具llama.cpp部署大模型CPU+GPU前言1下载并编译llama.cpp1.1git下载llama.cpp仓库源码1.2编译源码（make）1.2.1选择一

淮序_·2024-08-30 02:00

神经网络量化

最近在做神经网络的端侧部署，在做端侧部署的时候，为了减少内存压力和加快推理速度，会将单精度(fp32)模型量化成int8或者fp16。

掉毛学渣·2024-02-26 11:53

【深入了解PyTorch】模型优化和加速：PyTorch优化技术与库的应用

【深入了解PyTorch】模型优化和加速：PyTorch优化技术与库的应用模型优化和加速：PyTorch优化技术与库的应用模型剪枝（ModelPruning）模型量化（ModelQuantization

prince_zxill·2024-02-24 07:23

大模型量化技术原理-LLM.int8()、GPTQ

模型压缩主要分为如下几类：剪枝（Pruning）知识蒸馏（KnowledgeDistillation）量化之前也写过一些文章涉及大模型量化相关的内容。

吃果冻不吐果冻皮·2024-02-20 21:39

想要自己的专属 AI 猫娘助理？教你使用 CPU 本地安装部署运行 ChatGLM-6B实现

关键的是结合模型量化技术，ChatGLM-6B可以本地安装部署运行在消费级的显卡上做模型的推理和训练（全量仅需14GB显存，INT4量化级别下最低只需6GB显存）虽然智商比不过openAI的ChatGPT

恒TBOSH·2024-02-20 21:05

Datawhale用免费GPU线上跑AI项目实践课程任务一学习笔记。部署ChatGLM3-6B模型

结合模型量化技术，用户可以在消费级的显卡上进行

Hoogte-oile·2024-02-20 21:04

MIT-BEVFusion系列七--量化1_公共部分和激光雷达网络的量化

目录官方readme的Notesptq.py量化模块初始化解析命令行参数加载配置信息创建dataset和dataloader构建模型模型量化Lidarbackbone量化稀疏卷积模块量化量化完的效果加法模块量化本文是

端木的AI探索屋·2024-02-13 08:20

LMDeploy 大模型量化部署实践

在浦语的MDeploy大模型量化部署实践课程中，可能需要完成的任务包括：大模型部署背景2、LMDeploy简介环境配置：这个部分你需要安装并设置相关的开发工具和库。

查里王·2024-02-12 23:57

书生谱语-全链条开发工具

书生·谱语全链条开发体系包含：数据、模型预训练、模型微调、模型量化部署、模型测评、模型场景应用全链路开发体系github链接通用大模型国内外大语言模型快速发展，涌现了大量的大语言模型以及一批创业公司深度学习模型的发展大模型利用多模态优势

SatVision炼金士·2024-02-12 11:21

（2024，低比特模型量化，模型微调，QuEST，TAQuant）QuEST：通过高效选择性微调进行低比特扩散模型量化

QuEST:Low-bitDiffusionModelQuantizationviaEfficientSelectiveFinetuning公和众和号：EDPJ（进Q交流群：922230617或加VX：CV_EDPJ进V交流群）目录0.摘要2.相关工作3.方法3.1.预备知识3.2.扩散模型的量化感知属性3.3.通过高效选择微调进行量化3.3.1.微调的充分性3.3.2.选择性微调进行量化4.实验

EDPJ·2024-02-08 20:49

大语言模型量化方法对比：GPTQ、GGUF、AWQ

原文：大语言模型量化方法对比：GPTQ、GGUF、AWQ-知乎在过去的一年里，大型语言模型(llm)有了飞速的发展，在本文中，我们将探讨几种(量化)的方式，除此以外，还会介绍分片及不同的保存和压缩策略。

javastart·2024-02-02 17:48

书生·浦语大模型实战营汇总

文档，笔记，作业第三课：基于InternLM和LangChain搭建你的知识库视频，文档，笔记，作业第四课：XTuner大模型单卡低成本微调实战视频1，视频2，文档，笔记，作业第五课：LMDeploy大模型量化部署实践视频

灬烖灬·2024-01-31 03:55

大模型学习之书生·浦语大模型笔记汇总

大模型学习之书生·浦语大模型3——基于InternLM和LangChain搭建知识库大模型学习之书生·浦语大模型4——基于Xtuner大模型微调实战大模型学习之书生·浦语大模型5——基于LMDeploy大模型量化部署实践大模型学习之书生

uncle_ll·2024-01-31 03:25

【书生·浦语大模型实战营】学习笔记目录

InternLM和LangChain搭建你的知识库》学习笔记【书生·浦语大模型实战营04】《(4)XTuner大模型单卡低成本微调实战》学习笔记【书生·浦语大模型实战营05】《(5)LMDeploy大模型量化部署实践

songyuc·2024-01-30 14:33

【LMDeploy 大模型量化部署实践】学习笔记

参考学习教程【LMDeploy的量化和部署】理论作业使用LMDeploy以本地对话、网页Gradio、API服务中的一种方式部署InternLM-Chat-7B模型，生成300字的小故事本地对话API服务Client命令端口转发网页Gradio

尘汐筠竹·2024-01-29 05:46

显存不够又想用某个模型时的模型量化操作

fromtransformersimportAutoTokenizer,AutoModelForCausalLM,BitsAndBytesConfigquantization_config=BitsAndBytesConfig(load_in_8bit=True)tokenizer=AutoTokenizer.from_pretrained(path,trust_remote_code=True)

鱼鱼9901·2024-01-28 20:00

书生·浦语大模型--第五节课笔记&作业--LMDeploy 大模型量化部署实践

文章目录大模型部署背景LMDeploy简介动手实践创建环境服务部署在线转换离线转换TurboMind推理+API服务Gradio作为前端Demo演示TurboMind服务作为后端TurboMind推理作为后端作业大模型部署背景部署：将训练好的模型在特定软硬件环境中启动的过程挑战：存储问题LMDeploy简介针对英伟达平台量化可以节省显存，提升推理速度访问数据占用了大量时间有一部分很重要的参数不量化

李日音·2024-01-25 21:28

书生·浦语大模型实战营-学习笔记5

LMDeploy大模型量化部署实践大模型部署背景LMDeploy简介轻量化、推理引擎、服务核心功能-量化显存消耗变少了大语言模型是典型的访存密集型任务，因为它是decoder-by-decoder先把数据量化为

Kinno酱·2024-01-24 05:52

第五节课 LMDeploy 大模型量化部署实践（笔记）

来源：(5)LMDeploy大模型量化部署实践_哔哩哔哩_bilibili课程文档：https://github.com/InternLM/tutorial/blob/main/lmdeploy/lmdeploy.md1

幽径微澜·2024-01-24 05:34

【书生·浦语大模型实战营第5课】LMDeploy大模型量化部署实践

量化是一种以参数或****计算中间结果精度下降换空间节省（以及同时带来的性能提升）的策略。对模型进行量化。主要包括KVCache量化和模型参数量化。KVCache量化是指将逐Token（Decoding）生成过程中的上下文K和V中间结果进行INT8量化（计算时再反量化），以降低生成过程中的显存占用。计算minmax。主要思路是通过计算给定输入样本在每一层不同位置处计算结果的统计情况。对于Atten

A-Little-Boy·2024-01-24 04:17

【书生·浦语大模型实战营05】《(5)LMDeploy 大模型量化部署实践》学习笔记

《(5)LMDeploy大模型量化部署实践》课程文档：《LMDeploy的量化和部署》1、大模型部署背景1.1模型部署定义将训练好的模型在特定软硬件环境中启动的过程，使模型能够接收输入并返回预测结果为了满足性能和效率的需求

songyuc·2024-01-24 03:42

【大模型量化】OliVe：硬件友好的A4W4量化方案

模型量化是缓解LLM规模和硬件容量之间不断扩大的差距的有前途的方法。之前的离群点感知量化方案采用稀疏编码技术将离群点从正常值中分离出来，该过程需要全局协调(例如，全局稀疏度协调列表)。

AI小白龙·2024-01-21 22:05

[C#]winform部署yolov8图像分类的openvino格式的模型

以下是OpenVINO部署模型的主要优点：高性能：OpenVINO提供了一系列性能优化工具，如模型量化和剪枝等，可以在Intel硬件平台上实现高性能和低延迟的推理。多平台支持：OpenVIN

FL1623863129·2024-01-21 03:12

本地部署 ChatGLM-6b

结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4量化级别下最低只需6GB显存）。

sanyer·2024-01-20 22:31

科普：大语言模型中的量化是什么意思？

为了提高这些模型的效率和可移植性，一种常用的方法是模型量化。1：什么是模型量化？模型量化是指将模型中的参数或者激活值从高精度（例如32位浮点数）转换为低精度（例如4位或者8位整数）的过程。

AI明说·2024-01-19 17:08

[BUG] cannot import name ‘quantize_qat‘ from ‘onnxruntime.quantization‘

前言进行onnx模型量化出现了这个错误解决：卸载重装onnx和onnxruntime，会自动安装最新，由于版本更新取消了quantize_qat函数改为以下代码：fromonnxruntime.quantizationimportquantize_dynamic

犟小孩·2024-01-18 20:59

大模型学习第五课

学习目标：LMDeploy大模型量化部署实践学习内容：大模型部署背景LMDeploy简介动手实践环节学习时间：20240115学习产出：1，大模型部署背景模型部署定义，产品形态，计算设备大模型特点内存开销巨大

敲键盘的喵桑·2024-01-18 12:46

InternLM第5次课笔记

LMDeploy大模型量化部署实践1大模型部署背景2LMDeploy简介3动手实践环节https://github.com/InternLM/tutorial/blob/main/lmdeploy/lmdeploy.md3

Jamiechoi·2024-01-17 06:45

大模型学习之书生·浦语大模型5——基于LMDeploy大模型量化部署实践

目录大模型部署背景LMDeploy部署量化TurboMindAPIserver动手实践环节

uncle_ll·2024-01-17 05:00

推荐频道