Quantization

QLoRa使用教程

一、定义定义案例1二、实现定义QLoRa:量化+LoRa.网址：https://huggingface.co/docs/peft/main/en/developer_guides/quantization
云帆@·2024-09-13 03:12

chatGLM-6B部署报错quantization_kernels_parallel.so‘ (or one of its dependencies). Try using the full pat

Couldnotfindmodule'C:\Users\Administrator\.cache\huggingface\modules\transformers_modules\chatglm2-6b-int4\quantization_kernels_parallel.so
FL1623863129·2024-03-20 14:25

pytorch_quantization/cuda_ext.cpython-310-x86_64-linux-gnu.so: undefined symbol: _ZN3c106detail1

pytorch_quantization/cuda_ext.cpython-310-x86_64-linux-gnu.so:undefinedsymbol:_ZN3c106detail1pytorch_quantization
szZack·2024-02-12 12:46

【6s965-fall2022】量化 Quantization Ⅱ

什么是线性量化r=S(q−Z)r=S(q-Z)r=S(q−Z)式中，SSS是比例因子，通常是一个浮点数；qqq是rrr的量化后的表示，是一个整数；ZZZ也是一个整数，把qqq中和ZZZ相同的整数映射到rrr中零，因此ZZZ是零点偏移。如何确定参数让rmin,rmaxr_{min},r_{max}rmin,rmax为所有原始权重的最小值和最大值；让qmin,qmaxq_{min},q_{max}qm
代码缝合怪·2024-02-12 03:45

AI模型压缩技术

量化（Quantization）：将
SugarPPig·2024-01-26 06:28

论文解读--Impact of ADC clipping and quantization of phase-modulated 79GHz CMOS radar

ADC限幅和量化对相位调制79GHzCMOS雷达的影响摘要宽带调相连续波雷达具有吸引人的特性，但需要非常高速的模数转换器(ADC)。为了保持这些ADC的功耗可接受，它们的分辨率必须保持尽可能低。我们研究了典型的79GHz人员检测场景所需的ADC分辨率。该分析基于端到端的Matlab仿真链进行的仿真，考虑到波形特性、芯片实现、传播效果、目标和环境。我们得出结论，在考虑的场景中，4位ADC是足够的。这
奔袭的算法工程师·2024-01-25 17:10

改进yolov7网络（从轻量化方面的8个方法）

以下是8条关于如何从轻量化角度改进YOLOv7网络的建议：1.模型压缩：使用轻量化的模型压缩技术，如剪枝（pruning）和量化（quantization），来减小YOLOv7的模型大小。通过剪
qhchao·2024-01-21 21:30

HAQ: Hardware-Aware Automated Quantization with Mixed Precision

本文的创新点为：作者认为，在不同的平台上，以及不同的layer上，合适的量化bit数都是不同的。但是如果想认为找到这个最优值是不可能的，于是作者使用强化学习的方法来找到最合理的量化bit数。本来芯片是不支持混合精度的计算的，但随着硬件的发展，支持混合机精度计算的芯片也出现了：比如苹果的A12，NVIDIA的图灵GPU框架等，从而使得这种思路得以实现。它的优点是完全自动化，不需要专家知识和启发式规则
JachinMa·2024-01-20 19:44

关于MediaCode播放H265/hevc的总结

.265/HEVC的编码架构大致上和H.264/AVC的架构相似，主要也包含，帧内预测(intraprediction)、帧间预测(interprediction)、转换(transform)、量化(quantization
朝阳眯眼·2024-01-20 09:42

cannot import name ‘AbsmaxQuantizer‘ from ‘paddle.fluid.contrib.slim.quantization‘ (/opt/conda/envs/

paddleslim最新版2.2.0报错，降级为2.1.1版本即可。开发过程用什么版本，后续就一点要保持版本一致，避免不兼容，增加多余麻烦。
愚昧之山绝望之谷开悟之坡·2024-01-18 20:31

[BUG] cannot import name ‘quantize_qat‘ from ‘onnxruntime.quantization‘

前言进行onnx模型量化出现了这个错误解决：卸载重装onnx和onnxruntime，会自动安装最新，由于版本更新取消了quantize_qat函数改为以下代码：fromonnxruntime.quantizationimportquantize_dynamic,QuantType,quantize_staticmodel_fp32='yolov5s.onnx'model_quant='yolov
犟小孩·2024-01-18 20:59

RuntimeError: floor_vml_cpu not implemented for ‘Int‘

GSNet/lib/python3.7/site-packages/MinkowskiEngine-0.5.4-py3.7-linux-x86_64.egg/MinkowskiEngine/utils/quantization.py
qq_43650421·2024-01-17 15:35

TensorRT模型优化部署 (八）--模型剪枝Pruning

优化部署（三）–ONNX注册算子第四章TensorRT模型优化部署（四）–Rooflinemodel第五章TensorRT模型优化部署（五）–模型优化部署重点注意第六章TensorRT模型优化部署（六）–Quantization
小豆包的小朋友0217·2024-01-16 22:23

Transformers 中原生支持的量化方案概述

转载自：https://huggingface.co/blog/zh/overview-quantization-transformers文章目录资源bitsandbytes与auto-gptq之比较bitsandbytes
小然爱看·2024-01-16 15:20

用 Ollama 轻松玩转本地大模型

模型量化（quantization）技术可以很大程度上降低显存要求。以4-bit量化为例，其将原
m0_54050778·2024-01-14 23:02

TensorRT模型优化模型部署（七）--Quantization量化（PTQ and QAT)（二）

优化部署（三）–ONNX注册算子第四章TensorRT模型优化部署（四）–Rooflinemodel第五章TensorRT模型优化部署（五）–模型优化部署重点注意第六章TensorRT模型优化部署（六）–Quantization
小豆包的小朋友0217·2024-01-13 08:56

TensorRT模型优化部署(四）--Roofline model

优化部署（三）–ONNX注册算子第四章TensorRT模型优化部署（四）–Rooflinemodel第五章TensorRT模型优化部署（五）–模型优化部署重点注意第六章TensorRT模型优化部署（六）–Quantization
小豆包的小朋友0217·2024-01-13 08:25

第六章 TensorRT模型优化部署（六）--Quantization量化基础（一）

优化部署（三）–ONNX注册算子第四章TensorRT模型优化部署（四）–Rooflinemodel第五章TensorRT模型优化部署（五）–模型优化部署重点注意第六章TensorRT模型优化部署（六）–Quantization
小豆包的小朋友0217·2024-01-13 08:20

NLP（十八）：LLM 的推理优化技术纵览

1.1FasterTransformerbyNVIDIA1.2DeepSpeedInferencebyMicrosoft1.3MLCLLMbyTVM二、模型压缩（ModelCompression）2.1稀疏(Sparsity)2.2量化(Quantization
javastart·2024-01-12 09:46

TensorRT优化部署（一）--TensorRT和ONNX基础

优化部署（三）------ONNX注册算子文章目录TensorRT部署优化前言一、模型部署目的二、TensorRT的模块2.1Layerfusion(层融合）2.2Kernelauto-tuning2.3Quantization
小豆包的小朋友0217·2024-01-07 10:07

模型量化 | Pytorch的模型量化基础

官方网站：Quantization—PyTorch2.1documentationPracticalQuantizationinPyTorch|PyTorch量化简介量化是指执行计算和存储的技术位宽低于浮点精度的张量
夏天｜여름이다·2023-12-27 15:04

【论文解读】CNN-Based Fast HEVC Quantization Parameter Mode Decision

时间：2019年级别：SCI机构：南京信息工程大学摘要随着多媒体呈现技术、图像采集技术和互联网行业的发展，远程通信的方式已经从以前的书信、音频转变为现在的音频/视频。和视频在工作、学习和娱乐中的比例不断提高，高清视频越来越受到人们的重视。由于网络环境和存储容量的限制，原始视频必须进行编码才能高效地传输和存储。高效视频编码(HEVC)需要大量的编码时间递归遍历自适应量化过程中编码单元所有可能的量化参
DogDaoDao·2023-12-23 14:22

【读点论文】A Survey of Quantization Methods for Efficient Neural Network Inference

ASurveyofQuantizationMethodsforEfficientNeuralNetworkInferenceAbstract一旦抽象的数学计算适应了数字计算机的计算，在这些计算中如何有效地表示、处理和传递数值的问题就出现了。与数字表示问题密切相关的是量化问题:一组连续的实值数应该以何种方式分布在一组固定的离散数字上，以最小化所需的位数，并最大化随之而来的计算的准确性?每当内存和/或
羞儿·2023-12-05 23:32

Overflow Aware Quantization

OverflowAwareQuantizationFrameworkNo_oo是amountofarithmeticoverflow辅助信息作者未提供代码
宇来风满楼·2023-12-05 08:37

pytorch 模型量化quantization

pytorch模型量化quantization1.workflow1.1PTQ1.2QAT2.demo2.1构建resnet101_quantization模型2.2PTQ2.3QAT参考文献pytorch
L1_Zhang·2023-12-03 20:27

Q-BERT: Hessian Based Ultra Low Precision Quantization of BERT---Q-BERT：基于Hessian的超低精度BERT量化

论文标题：Q-BERT:HessianBasedUltraLowPrecisionQuantizationofBERT---Q-BERT：基于Hessian的超低精度BERT量化Abstract1RelatedWorkModelcompression模型压缩CompressedNLPmodel2Methodology2.1Quantizationprocess2.2Mixedprecisionqu
土豆娃potato·2023-11-30 19:29

学习向量量化 Learning Vector Quantization | LVQ

目录前言一、学习向量量化是什么？二、学习向量量化的优点和缺点三、学习向量量化的应用场景四、构建学习向量量化模型的注意事项五、学习向量量化模型的实现类库六、学习向量量化模型的评价指标七、类库scikit-learn实现学习向量量化的例子八、学习向量量化的模型参数总结前言学习向量量化是机器学习中无监督学习的一种聚类算法。一、学习向量量化是什么？学习向量量化（LearningVectorQuantiza
JasonH2021·2023-11-26 17:01

CVPR 2023 精选论文学习笔记：Post-Training Quantization on Diffusion Models

基于MECE原则，我们给出以下四种分类依据：1.模型类型生成模型用于生成与其训练数据相似的新数据。它们通常用于图像生成、文本生成和音乐生成等任务。语言模型用于理解和生成人类语言。它们通常用于机器翻译、聊天机器人和文本摘要等任务。其他模型用于各种任务，例如图像分类、目标检测和自然语言处理。2.量化类型
结构化文摘·2023-11-26 06:33

对捕获的视频数据进行H264编码

即可适用于各种传输网络2）高的视频压缩比，当初提出的指标是比H.263，MPEG-4，约为它们的2倍，现在都已基实现;H.264其编解码流程帧间和帧内预测（Estimation）变换（Transform）和反变换量化（Quantization
HelloBinary·2023-11-21 09:01

模型部署：量化中的Post-Training-Quantization（PTQ）和Quantization-Aware-Training（QAT）

模型部署：量化中的Post-Training-Quantization（PTQ）和Quantization-Aware-Training（QAT）前言量化Post-Training-Quantization
AGI_Player·2023-11-13 11:12

yolov5的ptq量化流程

Post-Training-Quantization（PTQ）是目前常用的模型量化方法之一。
qq_41920323·2023-11-02 05:16

yolov5的pqt、qat量化---1（知识准备工作）

1、Pytorch-Quantization简介PyTorchQuantization是一个工具包，用于训练和评估具有模拟量化的PyTorch模型。
qq_41920323·2023-10-30 05:05

TensorRT量化实战课YOLOv7量化：pytorch_quantization介绍

目录前言1.课程介绍2.pytorch_quantization2.1initialize函数2.2tensor_quant模块2.3TensorQuantizer类2.4QuantDescriptor
爱听歌的周童鞋·2023-10-30 04:49

PCM数据格式介绍

PCM原始音频数据格式介绍文章目录PCM原始音频数据格式介绍什么是PCMSampling（采样）采样率(Samplerate)Quantization（量化）Encoding（编码）PCM数据常用量化指标
SuperDali·2023-10-29 23:47

大模型知识蒸馏概述

而大模型压缩主要分为如下几类：剪枝（Pruning）知识蒸馏（KnowledgeDistillation）量化（Quantization）低秩分解（Lo
zenRRan·2023-10-28 00:38

基于hugging face的autogptq量化实践

#导入库：fromtransformersimportAutoModelForCausalLM,AutoTokenizer,GPTQConfigmodel_id="facebook/opt-125m"quantization_config
dear_queen·2023-10-27 04:29

模型部署笔记--Pytorch-FX量化

Pytorch-FX量化2--校准模型3--代码实例3-1--主函数3-2--prepare_dataloader函数3-3--训练和测试函数1--Pytorch-FX量化Pytorch在torch.quantization.quantize_fx
晓晓纳兰容若·2023-10-22 01:36

HWGQ-Deep Learning with Low Precision by Half-wave Gaussian Quantization论文学习

论文链接：https://openaccess.thecvf.com/content_cvpr_2017/html/Cai_Deep_Learning_With_CVPR_2017_paper.html摘要研究了深度神经网络激活的量化问题一直是研究热点。对流行的二值量子化方法的检验表明，它由一个经典的非线性，双曲切线：一个分段常数函数，用于前馈网络计算，以及一个分段线性硬阈值函数，用于网络学习过程
冰激凌很菜·2023-10-19 04:28

基于openvino+yolov5的模型量化记录（PTQ模式）

本文主要是记录学习openvino_notebootk302-pytorch-quantization-aware-training文档的一些收获，对于yolov5在cpu部署感兴趣的可以参考下。
TimeRoser·2023-10-17 12:42

cpu部署chatglm 报错No compiled kernel found.

Nocompiledkernelfound.Compilingkernels:C:\Users\admin.cache\huggingface\modules\transformers_modules\local\quantization_kernels_parallel.cCompilinggcc-O3
像夏天一样热·2023-10-16 05:12

量化初探: 对称量化以及非对称量化

1.量化的定义以及好处量化（Quantization）是指将高精度浮点数表示为低精度整数的过程，从而提高神经网络的效率和性能。
智障学AI·2023-10-16 03:54

PyTorch Quantization简介

基于YOLOv5实践目标检测的PTQ与QAT量化PyTorchQuantizationPyTorchQuantization是一种在机器学习中使用的技术，用于减少深度神经网络的大小和计算需求，使其更适合在内存和处理能力有限的设备上部署。量化是一种将大量数值表示为较小的离散值的过程，这可以减少神经网络的内存和计算需求。PyTorch提供了各种量化方法，包括训练后静态量化、动态量化和量化感知训练。训练
python算法工程师·2023-10-14 14:21

NVIDIA 量化感知训练pytorch-quantization说明文档

使用指导Quantizationfunctiontensor_quant和fake_tensor_quant是量化张量的两个基本函数。fake_tensor_quant返回伪量化张量（浮点值）。tensor_quant返回量化张量（整数值）和比例。tensor_quant(inputs,amax,num_bits=8,output_dtype=torch.float,unsigned=False)
yhwang-hub·2023-10-14 14:50

quantization

https://github.com/NVIDIA/TensorRT/tree/master/tools/pytorch-quantization/docs/source/tutorials一、creating_custom_quantized_modulesThereareseveralquantizedmodulesprovidedbythequantizationtoolasfollows
phily123·2023-10-14 14:19

pytorch-quantization vs torch.ao.quantization vs torch.quantization区别

pytorch-quantization这个package时nvidia开发出来的用来量化的。这个里面的内容已经有两年没有更新了。感觉不太靠谱的样子。
TimeRoser·2023-10-14 14:14

PyTorch Python API：Quantization || Intro

参考：https://pytorch.org/docs/stable/quantization.html(本篇比较适合已经有一定模型量化概念的人阅读)PyTorch：Quantization概要IntroQuantizationAPISummaryEagerModeQuantizationDynamicQuantizationStaticQuantizationStaticQuantization
Bitterest·2023-10-14 14:11

pytorch_quantization安装

官方安装步骤：pipinstallnvidia-pyindexpipinstallpytorch-quantization直接安装pytorch-quantization会找不到，需要首先安装nvidia-pyindex
phily123·2023-10-14 14:37

Quantization and Training of Neural Networks for EfficientInteger-Arithmetic-Only Inference量化学习

本片论文可谓是深度模型量化的经典之作，为此，虽有很多博主去解析，但还是想做个笔记记录学习成果；该论文共有如下贡献：1.提供了一个量化机制；量化了权重以及activations激活值为8bit整型数据，只有少数的bias量化为32bit整型，（思考bias的重要性，为何不量化为8bit，是否对结果有很大影响？？？）2.提供了量化推理框架，可以实现再整型运算的硬件上，例如eQualcommHexago
chenmingwei000·2023-10-13 14:17

QA-LORA: QUANTIZATION-AWARE LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS

本文是LLM系列文章，针对《QA-LORA:QUANTIZATION-AWARELOW-RANKADAPTATIONOFLARGELANGUAGEMODELS》的翻译。
UnknownBody·2023-10-09 20:33

SmoothQuant: Accurate and Efficient Post-Training Quantization for Large Language Models

这是一篇做大模型训练后量化（PTQ）的文章，简单总结一下文章内容吧。论文地址:https://arxiv.org/abs/2211.10438Github:https://github.com/mit-han-lab/smoothquant1、量化概念首先介绍一下三种量化方式：per-tensor量化：每个tensor使用同一步长per-token量化：tensor中的同一token使用同一步长p
We!Y1·2023-10-07 18:39
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他