Quantization

语音信号处理之（三）矢量量化（Vector Quantization）

语音信号处理之（三）矢量量化（VectorQuantization）[email protected]://blog.csdn.net/zouxy09这学期有《语音信号处理》这门课，快考试了，所以也要了解了解相关的知识点。呵呵，平时没怎么听课，现在只能抱佛脚了。顺便也总结总结，好让自己的知识架构清晰点，也和大家分享下。下面总结的是第三个知识点：VQ。因为花的时间不多，所以可能会有不少说的不妥的地
zouxy09·2020-08-19 06:50

2018-05-16

preset_modeasm_optimizations//ThelameAPIinitializetheencoder//inputstreamdescription//generalcontrolparameters//frameparams//quantization
流浪的野兽·2020-08-19 04:14

连续属性离散化与sklearn.preprocessing.KBinsDiscretizer

1、连续属性离散化离散化(Discretization)(有些时候叫量化(quantization)或分箱(binning))，是将连续特征划分为离散特征值的方法。
望百川归海·2020-08-18 11:16

三值网络--Trained Ternary Quantization

TrainedTernaryQuantizationICLR2017https://github.com/TropComplique/trained-ternary-quantizationpytorchhttps://github.com/buaabai/Ternary-Weights-Networkpytorch传统的二值网络将权重W量化为+1、-1；三值网络TWN(Ternaryweight
O天涯海阁O·2020-08-16 17:59

（笔记）细颗粒度的三值网络Ternary Neural Networks with Fine-Grained Quantization

原文链接摘要方法实验效果原文链接https://arxiv.org/abs/1705.01462摘要提出一种三值化方法，激活函数是8/4bit的，不需要训练，对N个权重量化到三值，N=2,4,8,16等等。当N=4时，ResNet-101和ResNet-50的Top1准确率分别下降3.7%和4.2%。方法目的：不训练地，把32bit浮点权重WW量化为{−α,0,α}{−α,0,α}。基于阈值ΔΔ(
yingpeng_zhong·2020-08-16 17:44

（摘要）ICLR 2017 神经网络压缩，Incremental Network Quantization: Towards Lossless CNNs with Low-Precision Weig

目录目录原文摘要原文原文：https://arxiv.org/abs/1702.03044代码：https://github.com/Zhouaojun/Incremental-Network-Quantization
yingpeng_zhong·2020-08-16 17:44

TRAINED TERNARY QUANTIZATION 论文

本文是在TWQ(TernaryWeightQuantization)的基础上做出的改进，其流程可以简单概括为：首先将全精度权重正则化到[-1,1]之间，然后根据一个每层相同的阈值delta_t来进行量化(这里使用统一的t是为了缩小搜索空间，用每个通道不同的t应该能得到更好的表现，但感觉会增加过多的计算消耗)为-1，0和1，Ps：还提了第二种方法，见5.1.1，但论文里没有这一节。。。最后分别乘以W
rrr2·2020-08-16 14:52

DEEP COMPRESSION: COMPRESSING DEEP NEURAL NETWORKS WITH PRUNING, TRAINED QUANTIZATION AND HUFFMAN

深度压缩：采用修剪，量子化训练和霍夫曼编码来压缩深度神经网络学习模型压缩知识，记录此论文(ICLR2016的bestpaper)学习过程。论文链接：https://arxiv.org/abs/1510.00149论文Pytorch实现GitHub链接：https://github.com/mightydeveloper/Deep-Compression-PyTorchABSTRACTDNN是计算密
落地生根1314·2020-08-16 14:28

【论文阅读笔记】Trained Ternary Quantization

论文发布时间：2016-12论文地址：https://arxiv.org/pdf/1612.01064.pdf全文概括  TTQ只量化权重，该方法将权重量化成三元，即2-bit。  与其他方法不同的是，该方法的尺度因子更具有“包容性”，不是某层权重元素绝对值的均值αl=∑∣w∣countl\alpha_l=\sum\frac{|w|}{count_l}αl=∑countl∣w∣，而是将正负尺度因子
时光机ﾟ·2020-08-16 13:41

（笔记）网络压缩量化，训练三值量化TRAINED TERNARY QUANTIZATION

原文链接：摘要方法实验效果讨论原文链接：https://arxiv.org/abs/1612.01064摘要提供一个三值网络的训练方法。对AlexNet在ImageNet的表现，相比32全精度的提升0.3%。方法对于每一层网络，三个值是32bit浮点的{−Wnl,0,Wpl}{−Wln,0,Wlp}，WnlWln、WplWlp是可训练的参数。另外32bit浮点的模型也是训练的对象，但是阈值ΔlΔl
yingpeng_zhong·2020-08-16 11:59

[SilkyBible] XviD系列-19

引用02-04-2004关于XviD的MPEGquantization，我之前有写一篇针对动画讯源，MPEGquantizationvs.H.263quantization的报告，里面有顺便提及XviD
chinacodec·2020-08-09 20:38

Matlab PCM编码解码

通常我们会把模拟信号抽样、量化，直到最后变换成二进制符号的集成过程称为脉冲编码调制（PulseCodeModulation），实现的主要包括三个步骤：抽样（sampling）、量化（quantization
weixin_30565327·2020-08-09 13:35

海思HI35xx平台软件开发快速入门之H264解码实例

前言H264视频编码技术诞生于2003年，至今已有十余载，技术相当成熟，它的优势在于有高的视频的压缩率，利用帧间和帧内预测（Estimation）、变换（Transform）和反变换、量化（Quantization
shark_rp·2020-08-09 02:40

x264和x265编码技术的区别

.265/HEVC的编码架构大致上和H.264/AVC的架构相似，主要也包含，帧内预测(intraprediction)、帧间预测(interprediction)、转换(transform)、量化(quantization
楼兰公子·2020-08-08 18:13

H265/H264/Mjpeg/mpeg

.265/HEVC的编码架构大致上和H.264/AVC的架构相似，主要也包含，帧内预测(intraprediction)、帧间预测(interprediction)、转换(transform)、量化(quantization
wenquan107·2020-08-08 02:34

Audio系统扫盲

From1.1、响度(Loudness)1.2、音调(Pitch)1.3、音色(Quality)1.4、样本(Sample)1.5、采样器(Sampler)1.6、量化(Quantization)1.7
慢慢的燃烧·2020-08-04 18:20

CS231n Lecture 15 | Efficient Methods and Hardware for Deep Learning

文章目录AbstractAlgorithmsforEfficientInferencePruning（剪枝）Weightsharing（共享权重）Quantization（量化）LowRankApproximation
困比比·2020-08-03 02:00

Stochastic Computing + Quantization

文章目录大佬们的Google学术主页1.ConferencePapers:神经网络压缩算法及其硬件加速器1.1深度压缩及其硬件实现1.2ConferencePapers2018DAC2.ConferencePapers:SC-BasedNeuralNetwork2018:DAC,ASP-DAC,DATE,2017:ASLPOS,ICCD,DAC,DATE,ASP-DAC,ICCAD2016:DAC
爱搬砖的小妖精·2020-08-03 02:57

PCL_点云量化

传统的点云编码流程：几何编码：八叉树几何编码->几何量化->几何熵编码；属性编解：重着色->属性变换->属性预测->属性残差量化->残差二值化->属性残差熵编码1量化1.1什么是量化量化（Quantization
yamgyutou·2020-08-01 10:47

模型压缩-量化-论文阅读-Differentiable Soft Quantization

DifferentiableSoftQuantization:BridgingFull-PrecisionandLow-BitNeuralNetworkspytorch实现https://github.com/ricky40403/DSQ亮点使用tanh函数拟合量化函数，解决量化函数不可导的问题，framework图中是一个2bit量化的例子，量化函数原本是一个4段的阶梯函数，DSQ使用三段tan
@匿名用户@·2020-07-30 20:18

神经网络参数量化，模型压缩论文笔记Training with Quantization Noise for Extreme Model Compression

TrainingwithQuantizationNoiseforExtremeModelCompression结论简介相关工作模型压缩神经网络参数量化标量定点化向量定点化ProductQuantization传统PQ迭代PQ标量定点化和向量定点化结合方法论文地址结论本文介绍了一种新的神经网络参数量化的方法，能够极大压缩神经网络对内存的消耗。本文提到两类量化方法，一类是标量定点化，就是常用的定点方式
Li Kang·2020-07-30 20:46

【论文阅读笔记】Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference

该方法的简称为：IAO  该论文提出了一种允许网络在推测时只使用整数计算的方法，即float32-->int8.  该文在MobileNets等已经压缩过的网络进行量化，测试数据集为ImageNet分类数据集。不同于其他的方法，在高度冗余的模型，如Alexnet等网络上进行的，且提出的硬件加速方法需要专门的特殊硬件（即他们并没有在真正的硬件上加速，只是提出一种理论），该方法在普通的CPU上即可运行
时光机ﾟ·2020-07-30 20:09

Scikit Source Code Reading(2015.05.31)

Today’sJobToday’sjobismainaboutthesourcereadingofplot_color_quantization.pyandk_means_.pyunderscikit-learn
fushunsu·2020-07-30 19:13

CNN Network quantization 阶段总结

Tensorflowquantization&8bitquantization简介实验结果8bit计算的有效性NVIDIAGPUP4andP40性能Tensorflowquantization简介开发人员TF-quantization
cptn3m0·2020-07-28 08:18

tensorflow 模型量化问答

减小模型大小2）加快推理https://medium.com/tensorflow/tensorflow-model-optimization-toolkit-post-training-integer-quantization-b4964a1ea9ba2
zhouenlai_silva·2020-07-28 04:51

Trained Ternary Quantization

ApproachThismethodhasverylittleaccuracydegradationandcanevenimprovetheaccuracyofsomemodels.OnImageNet,ourmodeloutperformsfull-precisionAlexNetmodelby0.3%ofTop-1accuracyandoutperformspreviousternarymod
信步闲庭v·2020-07-27 20:12

mnn量化

zhuanlan.zhihu.com/p/73207495https://blog.csdn.net/qq_37643960/article/details/97182962今天MNN更新了新的工具包---CNN网络量化工具(quantization
ShellCollector·2020-07-25 11:31

BERT 瘦身之路：Distillation，Quantization，Pruning

很多外链被微信给吃掉了，点击阅读原文查看。自BERT放出，各家多有改进，融入更多其他方面知识，加入更多训练数据，更复杂训练技巧，花样百出。但鉴于昂贵的训练成本，大多人也就只能看看而已，之后用开源出模型，想着怎么把它用起来。而即使如此，BERT家族庞大体积也让进行实时推理时，需过大空间，同时速度也会比较慢。一般线下玩玩尚好，如若想将它放入线上，作为产品。那么就需要对BERT进行减肥，让它体量变小，速
Congqing He·2020-07-14 11:02

TfLite: model Post-training quantization(生成量化模型和部署)

Post-trainingquantization的方法tensorflowlitemodel的quantization的方法有两种：“hybrid”posttrainingquantizationandpost-trainingintegerquantization
shuai_wen·2020-07-12 02:52

【论文阅读笔记】Learning Accurate Low-Bit Deep Neural Networks with Stochastic Quantization

全文概要  SQ是一种增量量化的方法，其大概思路和INQ一样，选择部分参数进行量化，其他保持全精度。即该方法只针对权重进行。  SQ通过给定的一系列量化比例r，选择一层中的r比例卷积核进行量化。衡量每个卷积核的量化误差，依据量化误差得到该卷积核被选为量化卷积核的概率(虽然最后发现均匀概率函数效果最好)。通过逐渐增加r的大小（从50%→75%→87.5%→100%50\%\rightarrow75\
时光机ﾟ·2020-07-11 15:59

tensorflow2.0 Post-training quantization

先附上官方文档：https://www.tensorflow.org/lite/performance/post_training_quantization?
程序猿也可以很哲学·2020-07-11 15:44

论文总结：Post training 4-bit quantization of convolutional networks for rapid-deployment

论文地址：https://arxiv.org/pdf/1810.05723.pdf主要内容神经网络的量化造成的精度损失可以通过训练来补偿，但需要完整的数据集信息(大都涉及隐私等)，而且训练很耗时，故此一些统称为训练后量化的方法被提出，这些方法只需要量化权重和激活值，不需要重新训练。但是，低于8bit的量化会导致显著的精度下降，因此作者研究了CNN训练后的4bit量化。作者提出了三种训练后量化的方法
gcf_uinque·2020-07-11 06:26

Faiss向量召回引擎如何做到快速查找最近邻

Faiss向量召回引擎的索引结构背景问题描述问题规模最近邻离线表向量量化(VectorQuantization)乘积量化PQ(ProductQuantization)Quantization场景下的距离计算
Shen_Jianan·2020-07-10 18:59

VVC编码工具之Transform And Quantization

声明：本系列博文均为原创，转载请注明出处，谢谢！https://blog.csdn.net/xiangxiazaif/article/details/893752381.Largeblock-sizetransformswithhigh-frequencyzeroing在VTM4中变换块的尺寸可以高达64x64，这主要在更高分辨率（如1080p，4K）的视频中效果更加明显，对于任何一个边达到64的
xiangxiazaif·2020-07-09 01:36

Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference

摘要作者提出了一种只使用整数运算的quantization方式，比起floatpoint运算效率更高。同时提出了一种相应的训练方式来保证quantization之后的准确率。
holmosaint·2020-07-07 09:06

H.266/VVC代码学习28:Dependent Quantization

好久没看266的代码，感觉太难懂了，各种变量各种类，也没有个注释，只能抱着读书百遍其义自现的真理一遍一遍debug，最后大部分看懂了，有些不懂的以后有机会慢慢补。今天记录的是vvc中的新工具，dependentquantization。先上点简单的原理：依赖量化器的方法的实现如下所示：定义两个不同重建水平的标量量化器定义一个两个标量量化器之间的切换过程这两个标量量化器用q1,q2表示。可用的重建水
小小柴·2020-07-07 06:49

VVC/VTM：变换量化——Quantization

DependentScalarQuantizationHEVC中，根据8bit信号的取值范围，量化参数QP取值为0~51，为了向解码端传输量化参数，编码器会首先在PPS中传输一个起始的QP，然后再在条和CU层传送增量QP值。而在VTM中，QP取值范围扩展到0~63（相应的，init_qp_minus26的取值范围变为-(26+QpBdOffsetY)到37），且相应的起始QP改为在slice层传输
Moomin-JJ·2020-07-07 03:19

VVC/VTM：代码学习——量化的实现（普通量化和Dependent scalar Quantization）

关于量化原理的介绍可以参考博文：https://blog.csdn.net/liangjiubujiu/article/details/80569391关于HEVC/H265量化的实现代码可参考博文：https://blog.csdn.net/qq_21747841/article/details/77483290VVC中引进了DependentScalarQuantization（依赖性的标量量
Moomin-JJ·2020-07-07 03:19

H.266/VVC代码学习：依赖性标量量化(Dependent scalar quantization)

VVC的量化模块使用了一个新技术：依赖性标量量化（Dependentscalarquantization）。依赖标量量化是指变换系数的一组可容许的重构值依赖于在重构顺序中位于当前变换系数级(transformcoefficientlevel)之前的变换系数级的值。与HEVC中使用的传统独立标量量化相比，该方法的主要影响是允许的重建向量在N（N表示变换块中变换系数的数量）维向量空间中更密集。这意味着
涵小呆·2020-07-06 15:50

（笔记）通过知识蒸馏和量化进行模型压缩MODEL COMPRESSION VIA DISTILLATION AND QUANTIZATION

（笔记）ModelCompressionviaDistillationandQuantization（笔记）ModelCompressionviaDistillationandQuantization原文链接：代码：摘要算法一：加入知识蒸馏loss的量化训练算法二：训练量化集p效果原文链接：https://arxiv.org/abs/1802.05668代码：https://github.com/
yingpeng_zhong·2020-07-06 10:35

ITQ(Iterative Quantization)迭代量化方法详解

转载：http://www.yuanyong.org/cv/itq-hashing.htmlCVPR2011《IterativeQuantization:AProcrusteanApproachtoLearningBinaryCodes》论文阅读笔记。看过的文章，不做记录，即便当时理解透了，过一段时间后，知识总会模糊不清。所以从现在开始，对一些自己阅读过的一些精彩的文章，悉心记录，方便自己查阅温故
xiaoshengforever·2020-07-06 08:20

模型压缩 - Quantization Mimic

《QuantizationMimic:TowardsVeryTinyCNNforObjectDetection》常见的模型压缩方法有：量化（BinaryNet）、分组卷积（ShuffleNet、MobileNet）、剪枝和Mimic。Mimic前身是知识蒸馏，属于迁移学习算法过程：1、训练一个FP32的教师网络（TeacherNetwork）2、对featuremap进行量化，得到量化后的教师网络
weixin_30299709·2020-07-05 20:59

【模型压缩】训练时量化--training aware quantization

本文来自谷歌CVPR2018的文章：QuantizationandTrainingofNeuralNetworksforEfficientInteger-Arithmetic-OnlyInference代码已经在tensorflow中集成了https://github.com/tensorflow/tensorflow/tree/master/tensorflow/contrib/quantize
Shwan_Ma·2020-07-05 12:33

H264 硬编码基本原理

H.264是在MPEG-4技术的基础之上建立起来的，其编解码流程主要包括5个部分：帧间和帧内预测（Estimation）、变换（Transform）和反变换、量化（Quantization）和反量化、环路滤波
one_u_h·2020-07-05 06:28

通过训练获得最优量化区间——Quantization Interval Learning

"LearningtoQuantizeDeepNetworksbyOptimizingQuantizationIntervalswithTaskLoss"这篇文章提出了通过训练获得最优量化器的方法（QIL:QuantizationIntervalLearning），能够为网络权重与激活的量化，找到最优的量化区间或量化器参数。针对指定的训练任务，比如ImageNet图像分类任务，首先设计可训练、参数
Law-Yao·2020-07-05 01:16

基于可训练Step-size的低比特量化——LSQ: Learned Step-size Quantization

Paper地址：https://arxiv.org/abs/1902.08153GitHub地址(PyTorch)：https://github.com/zhutmost/lsq-net基本量化设置计算结点伪量化：Weight跟Activation都采用Per-tensor量化；Scalingfactor(Paper标记为Stepsize)是可学习参数；量化计算公式：Step-size梯度求解Lo
Law-Yao·2020-07-05 01:42

pytorch1.3 Quantization

调用方法torch.quantization.quantize_dynamic()。2.训练后静态量化。这种模式使用场景：内存带宽和运算时间都重要的模型，如CNN。训练步骤：1）.标示出
lmb633·2020-07-04 22:45

剪枝系列5：CLIP-Q

CLIP-Q:DeepNetworkCompressionLearningbyIn-ParallelPruning-Quantization把剪枝和量化一起做的一个方法。
不合时宜的漫步者·2020-07-04 21:23

Distiller:神经网络压缩研究框架

主要包括：用于集成剪枝（pruning），正则化（regularization）和量化（quantization）算法的框架。一套用于分析和评估压缩性能的工具。现有技术压缩算法的示例实现。
Yan_Joy·2020-07-04 09:27

tensorflow 2剪枝（tensorflow_model_optimization）API

找tf关于Pruning和quantization的用例较少，正好在做这方面工作，就搬一搬一些官方文档的应用。
Sayzan·2020-07-04 08:30
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他