quantization

cpu部署chatglm 报错No compiled kernel found.

Nocompiledkernelfound.Compilingkernels:C:\Users\admin.cache\huggingface\modules\transformers_modules\local\quantization_kernels_parallel.cCompilinggcc-O3
像夏天一样热·2023-10-16 05:12

量化初探: 对称量化以及非对称量化

1.量化的定义以及好处量化（Quantization）是指将高精度浮点数表示为低精度整数的过程，从而提高神经网络的效率和性能。
智障学AI·2023-10-16 03:54

PyTorch Quantization简介

基于YOLOv5实践目标检测的PTQ与QAT量化PyTorchQuantizationPyTorchQuantization是一种在机器学习中使用的技术，用于减少深度神经网络的大小和计算需求，使其更适合在内存和处理能力有限的设备上部署。量化是一种将大量数值表示为较小的离散值的过程，这可以减少神经网络的内存和计算需求。PyTorch提供了各种量化方法，包括训练后静态量化、动态量化和量化感知训练。训练
python算法工程师·2023-10-14 14:21

NVIDIA 量化感知训练pytorch-quantization说明文档

使用指导Quantizationfunctiontensor_quant和fake_tensor_quant是量化张量的两个基本函数。fake_tensor_quant返回伪量化张量（浮点值）。tensor_quant返回量化张量（整数值）和比例。tensor_quant(inputs,amax,num_bits=8,output_dtype=torch.float,unsigned=False)
yhwang-hub·2023-10-14 14:50

quantization

https://github.com/NVIDIA/TensorRT/tree/master/tools/pytorch-quantization/docs/source/tutorials一、creating_custom_quantized_modulesThereareseveralquantizedmodulesprovidedbythequantizationtoolasfollows
phily123·2023-10-14 14:19

pytorch-quantization vs torch.ao.quantization vs torch.quantization区别

pytorch-quantization这个package时nvidia开发出来的用来量化的。这个里面的内容已经有两年没有更新了。感觉不太靠谱的样子。
TimeRoser·2023-10-14 14:14

PyTorch Python API：Quantization || Intro

参考：https://pytorch.org/docs/stable/quantization.html(本篇比较适合已经有一定模型量化概念的人阅读)PyTorch：Quantization概要IntroQuantizationAPISummaryEagerModeQuantizationDynamicQuantizationStaticQuantizationStaticQuantization
Bitterest·2023-10-14 14:11

pytorch_quantization安装

官方安装步骤：pipinstallnvidia-pyindexpipinstallpytorch-quantization直接安装pytorch-quantization会找不到，需要首先安装nvidia-pyindex
phily123·2023-10-14 14:37

Quantization and Training of Neural Networks for EfficientInteger-Arithmetic-Only Inference量化学习

本片论文可谓是深度模型量化的经典之作，为此，虽有很多博主去解析，但还是想做个笔记记录学习成果；该论文共有如下贡献：1.提供了一个量化机制；量化了权重以及activations激活值为8bit整型数据，只有少数的bias量化为32bit整型，（思考bias的重要性，为何不量化为8bit，是否对结果有很大影响？？？）2.提供了量化推理框架，可以实现再整型运算的硬件上，例如eQualcommHexago
chenmingwei000·2023-10-13 14:17

QA-LORA: QUANTIZATION-AWARE LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS

本文是LLM系列文章，针对《QA-LORA:QUANTIZATION-AWARELOW-RANKADAPTATIONOFLARGELANGUAGEMODELS》的翻译。
UnknownBody·2023-10-09 20:33

SmoothQuant: Accurate and Efficient Post-Training Quantization for Large Language Models

这是一篇做大模型训练后量化（PTQ）的文章，简单总结一下文章内容吧。论文地址:https://arxiv.org/abs/2211.10438Github:https://github.com/mit-han-lab/smoothquant1、量化概念首先介绍一下三种量化方式：per-tensor量化：每个tensor使用同一步长per-token量化：tensor中的同一token使用同一步长p
We!Y1·2023-10-07 18:39

乘积量化（Product Quantization）

1简介乘积量化（PQ）算法是和VLAD算法是由法国INRIA实验室一同提出来的，为的是加快图像的检索速度，所以它是一种检索算法，在矢量量化（VectorQuantization，VQ）的基础上发展而来，虽然PQ不算是新算法，但是这种思想还是挺有用处的，本文没有添加公式。它原文中是接在VLAD算法后面，假设我们使用VLAD算法获得了1M的图像表达向量，向量的维度为D=128，则对于一幅查询图像来说，
cp3_1dbc·2023-09-29 14:38

模型量化（Model Quantization）

1.简介模型量化（ModelQuantization）通过某种方法将浮点模型转为定点模型。比如说原来的模型里面的权重（weight）都是float32，通过模型量化，将模型变成权重（weight）都是int8的定点模型模型量化有8/4/2/1bit等：16位：(半精度（FP16），单精度（FP32），双精度（FP64）)Floatingpoints8位最常见也相对成熟。各种主流框架和硬件都支持。8
noobiee·2023-09-19 22:50

python自动合成图片为gif，并能根据第一张图片自动统一图片尺寸

网上找来合成图片成gif的代码，没想到运行报错：Traceback(mostrecentcalllast):File“D:\code\python\binance-quantization-master
linweidong·2023-09-11 14:27

【模型量化】AIMET文档 - AIMET TensorFlow Quantization SIM API

目录[AIMETTensorFlowQuantizationSIMAPI](https://quic.github.io/aimet-pages/releases/latest/api_docs/tensorflow_quantsim.html#api-tf-quantsim)顶层API：量化模拟模型类QuantizationSimModel量化方案说明用于计算模型的编码的API将量化好的模型导出
月满星沉·2023-09-10 11:20

NLP（六十八）使用Optimum进行模型量化

  本文将会介绍如何使用HuggingFace的Optimum，来对微调后的BERT模型进行量化（Quantization）。  
山阴少年·2023-09-10 08:15

Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference

原文链接：https://arxiv.org/abs/1712.05877发表：CVPR2018代码:https://github.com/jameszampa/ECE-570-Implementation编辑：Daniel1.推理阶段其中r为要量化的实数，S为浮点数，q为量化后的无符号8位整数，Z为量化后零点，无符号8位整数。weight和activation的量化都是以矩阵为单位，同一矩阵共享
EdgeAI·2023-09-05 08:35

NLP（六十七）BERT模型训练后动态量化（PTDQ）

量化  在深度学习中，量化（Quantization）指的是使用更少的bit来存储原本以浮点数存储的tensor，以及使用更少的bit来完成原本以浮点数完成的计算。
山阴少年·2023-09-03 17:54

Trained Quantization Thresholds for Accurate and Efficient Fixed-Point Inference of Deep Neural N...

一、摘要我们提出了一种使用标准反向传播和梯度下降的均匀对称量化器训练量化阈值（TQT）的方法。与先前的工作相反，我们表明，对阈值梯度的直通估计器的仔细分析允许自然的范围-精度权衡，导致更好的优化。我们提出了对我们方法的一般稳健性的分析支持，并在ImageNet分类的各种CNN上对其进行了经验验证。我们能够在传统的困难网络（如MobileNets）上实现ear-floating-point的准确度，
加油11dd23·2023-09-01 23:31

pytorch量化

一、参考文档pytorch官方文档quantization：https://pytorch.org/docs/stable/quantization.html?
weixin_45919003·2023-08-13 21:47

Pytorch量化之Post Train Static Quantization(训练后静态量化)

使用Pytorch训练出的模型权重为fp32，部署时，为了加快速度，一般会将模型量化至int8。与fp32相比，int8模型的大小为原来的1/4,速度为2~4倍。Pytorch支持三种量化方式：动态量化（DynamicQuantization）:只量化权重，激活在推理过程中进行量化静态量化（StaticQuantization）:量化权重和激活量化感知训练（QuantizationAwareTra
CodingInCV·2023-08-10 07:17

TensoRT量化第四课：PTQ与QAT

目录PTQ与QAT注意事项一、2023/5/8更新二、2023/5/12更新前言1.TensorRT量化2.PTQ3.QAT4.QAT实战4.1环境配置4.2pytorch_quantization简单示例
爱听歌的周童鞋·2023-07-31 09:45

PyTorch quantization observer

文章目录PyTorchquantizationobserverbasicclassstandardobserversubstandardobserverPyTorchquantizationobserverbasicclassnameinheritdescribeObserverBaseABC,nn.ModuleBaseobserverModuleUniformQuantizationObserv
LeoATLiang·2023-07-28 20:38

ModuleNotFoundError: No module named ‘torch.ao.quantization‘

查看自己的版本我要用的版本解决方法，pipuninstalltorchvision重新安装对应版本pipinstalltorchvision==0.10.0+cu102-fhttps://download.pytorch.org/whl/torch_stable.html参考https://blog.csdn.net/qq_46322529/article/details/128241196
wddptwd28·2023-07-24 16:44

pytorch-quantization创建自定义量化模块

CreatingCustomQuantizedModulesQuantizingModulesWithOnlyInputsQuantizingModulesWithWeightsandInputsDirectlyQuantizingInputsInGraph量化工具提供了几个量化的模块，如下所示：QuantConv1d，QuantConv2d，QuantConv3d，pentConvtranspo
yhwang-hub·2023-07-24 15:20

[TinyML]APQ:Joint Search for Network Architecture, Pruning and Quantization Policy

APQ:JointSearchforNetworkArchitecture,PruningandQuantizationPolicyAbstractSectionIIntroductionSectionIIBackgroundandOutlineSectionIIIJointDesignMethodologyPart1Once-for-allnetworkwithfine-grainedchann
黄小米吖·2023-07-14 18:28

RuntimeError: CUDA Error: no kernel image is available for execution on the device

解决过程如下：配置好服务器与python环境后，发现ChatGLM-6b模型可运行，但是ChatGLM-6b-int4模型运行不了，因此，在进行ptuning的时候，将train.sh中的最后一行quantization_bit4
孔雀竹鱼·2023-06-24 01:44

MegEngine 使用小技巧：量化

数据类型一般是float32类型，而工业界出于对特定场景的需求（极少的计算资源，极致的推理速度），需要把模型的权重和或激活值转换为位数更少的数值类型（比int8,float16）——整个过程被称为量化（Quantization
·2023-06-14 18:47

PyTorch模型量化- layer-wise Quantize & Channel-wise Quantize

量化(Quantization)是解决FP32的模型在内存带宽消耗，推理速度的主要技术之一，其采用定点(fixedpoint)或者整形数据(INT8)代
侠之大者_7d3f·2023-06-13 23:37

INT8 中的稀疏性：加速的训练工作流程和NVIDIA TensorRT 最佳实践

最佳实践结构稀疏量化在TensorRT中部署稀疏量化模型的工作流程案例研究：ResNet-34要求第1步：从密集模型中进行稀疏化和微调第2步：量化PyTorch模型PTQ通过TensorRT校准QAT通过pytorch-quantization
扫地的小何尚·2023-06-06 23:13

yolov5量化具体流程

1、环境配置1.1、PytorchQuantization安装方式1：pip直接安装pipinstallpytorch-quantization--extra-index-urlhttps://pypi.ngc.nvidia.com
python算法工程师·2023-04-08 21:13

图片处理-opencv-13.图像量化处理

所谓量化（Quantization），就是将图像像素点对应亮度的连续变化区间转换为单个特定值的过程，即将原始灰度图像的空间坐标幅度值离散化。量化
lk311·2023-03-31 00:28

数据分析利器---jupyter

官网https://jupyter.org/运行AnacondaPrompt安装condainstalljupyter更换工作目录cdD:\quantization\jupyter安装插件选择工具栏condainstall-cconda-forgejupyter_contrib_nbextensionscondainstall-cconda-forgejupyter_nbextensions_co
turui·2023-03-30 07:20

数字图像处理期末知识点总结（英文版）

DigitalimageprocessingFinalexamsummariesBrightnessadaptation(亮适应)Lens--晶状体cones--锥状体—bright-lightvisionrod--杆状体—dim-lightvisionSampling(取样)quantization
不朽的传奇pyq·2023-02-22 07:17

TensorRT的功能

2.1.C++andPythonAPIs2.2.TheProgrammingModel2.2.2.TheRuntimePhase2.3.Plugins2.4.TypesandPrecision2.5.Quantization2.6
扫地的小何尚·2023-02-16 21:06

模型压缩（Model compression）

模型压缩的方法：网络剪枝（NetworkPruning）量化（Quantization）低秩分解（Low-rankfactorization）知识蒸馏（Knowledgedisti
Kenny_SI·2023-02-07 13:30

模型压缩(Model compression)

模型压缩的方法：网络剪枝（NetworkPruning）量化（Quantization）低秩分解（Low-rankfactorization）知识蒸馏（Knowledgedistillation）1.Net
访风景于崇阿·2023-02-07 13:19

【6s965-fall2022】量化 Quantization Ⅰ

模型的大小不仅和参数量的多少有关，而且也和位宽有关。ModelSize=#Parameter×BitWidth.ModelSize=\#Parameter×BitWidth.ModelSize=#Parameter×BitWidth.低位宽的运算操作容易实现、运算速度快、功耗低。什么是量化？从广义上讲，量化是将连续信号变成离散信号的过程；它在信号处理（以离散的时间间隔采样）和图像压缩（减少每个像素
代码缝合怪·2023-02-06 08:10

神经网络模型量化（Quantization）

博文会迭代更新，目前贴出来的难免有纰漏，希望能够与读者互动改进文章目录模型部署系列文章目录`提示：根据作者认知及理解加深，博文会迭代更新，目前贴出来的难免有纰漏，希望能够与读者互动改进`前言一、模型量化（Quantization
alibote·2023-02-04 10:50

【1】谷歌2021模型量化白皮书《A White Paper on Neural Network Quantization》

2021Google模型量化白皮书摘要引言模型量化的理论基础硬件背景均匀仿射量化对称均匀量化2的幂次方量化量化粒度量化模拟BatchnormalizationfoldingActivationfunctionfusing其他网络层及其量化PracticalconsiderationsSymmetricvs.asymmetricquantizationPer-tensorandper-channel
一颗磐石·2023-02-04 10:49

【keras模型量化】之 训练后量化 Post-Training Quantization（TFLite）

文章目录1.tflite概述2.生成tflite2.1生成方式2.1.1ConvertingaSavedModeltoaTensorFlowLitemodel.2.1.2Convertingatf.KerasmodeltoaTensorFlowLitemodel.2.1.3ConvertingConcreteFunctionstoaTensorFlowLitemodel.2.2示例说明2.2.1未
阑珊珊珊·2023-02-03 14:34

【量化】PTQ4ViT: Post-Training Quantization Framework for Vision Transformers

这是北京大学和后摩智能联合发表的一篇论文，已经被2022年的cvpr收录。github地址：https://github.com/hahnyuan/PTQ4ViT文章创新点：作者的idea来源于对ViT中激活值的分布的观察，以及对不同评估量化误差的指标对比的观察。softmax的激活值具有很不均匀的分布，大部分的值都接近于0。其它大的值虽然数量很小，但是它们意味着两个patch之间具有很高的att
Treasureashes·2023-02-03 14:58

PPQ-Trajectory: Spatio-temporal Quantization for Querying in Large Trajectory Repositories

PPQ-Trajectory:Spatio-temporalQuantizationforQueryinginLargeTrajectoryRepositories摘要：提出了一种基于时空量化的大动态轨迹数据查询解决方案——ppq-轨迹。PPQ-轨迹包括一个分区预测量化器(PPQ)，它生成带有自相关和基于空间邻近的分区的错误有界码本。代码本被索引以在压缩轨迹上运行近似和精确的时空查询。PPQ-tr
西西弗的小蚂蚁·2023-02-02 18:03

MQBench: Towards Reproducible and Deployable Model Quantization Benchmark 论文学习

论文链接摘要模型量化已成为加速深度学习推理不可或缺的技术。当研究人员继续推动量化算法的前沿时，现有的量化工作往往是不可重复和不可部署的。这是因为研究人员没有选择一致的训练流程，并且了硬件部署的需求。在这项工作中，我们提出了模型量化基准测试(MQBench)，这是第一次评估、分析和基准测试模型量化算法的再现性和可部署性的尝试。我们为现实世界的部署选择了多个不同的平台，包括CPU、GPU、ASIC、D
冰激凌很菜·2023-02-02 18:31

使用PyTorch 框架的模型部署相关工具

但是这个流程中有好多坑，在此记录一下看到的相关推文/博客链接）1.从零到部署的流程：使用PyTorch搭建完神经网络->模型训练、测试->量化（非必须）->ONNX转换->部署到相关平台2.相关推文pytorch的量化Quantization
MM_Kong·2023-02-02 12:04

Pytorch Post-training Static Quantization 和 Quantization Aware Training 加载模型

Post-trainingStaticQuantizationself.model.eval()checkpoint=torch.load(checkpoint_path,map_location=lambdastorage,loc:storage)load_model_weight(self.model,checkpoint)self.model.qconfig=torch.quantizati
CodePlayHu·2023-02-01 00:14

I-BERT: Integer-only BERT Quantization（2021-1-5）

模型介绍基于Transformer的模型，例如BERT、RoBERTa，在许多的自然语言处理任务中获得最优的结果。由于内存使用、推断延迟、能源损耗，以至于无法有效率的在边缘甚至数据中心进行推断。尽管量化是一个可行的解决方案，但是之前的一些基于Transformer的量化工作在推理阶段还是使用了浮点运算，不能有效地利用整数逻辑单元，比如最近的TuringTensorCores，或者传统的仅支持整型的
不负韶华ღ·2023-01-31 01:06

tensorflow模型量化篇（2）全整形量化及半浮点数量化、量化感知训练

tflite格式1.2使用浮点回退量化（floatfallbackquantization）1.3仅有integer的量化（integer-onlyquantization）1.4半浮点数量化（float16quantization
little student·2023-01-31 01:36

论文阅读——Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference

论文阅读——QuantizationandTrainingofNeuralNetworksforEfficientInteger-Arithmetic-OnlyInferencefromGoogleAbstract随着移动终端的普及以及深度学习模型对算力的巨大要求急需高效且准确的在设备进行推理的方案。本文提出了一种量化方案可以只用整数进行推理，比浮点数效率更高。本文还设计了一种训练程序可以保持量化
黄小米吖·2023-01-31 01:05

Paper Reading||Quantization Networks

论文(CVPR2019)：https://arxiv.org/abs/1911.09464源码(Pytorch)：https://github.com/aliyun/alibabacloud-quantization-networksQN
Bitterest·2023-01-31 01:33
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他