【星球知识卡片】模型量化的核心技术点有哪些，如何对其进行长期深入学习...

大家好，欢迎来到我们的星球知识小卡片专栏，本期给大家分享模型量化的核心技术点。

作者&编辑 | 言有三

1 二值(1bit)量化

二值量化是最高效率的量化方式，也可以称之为1bit量化，即将32位浮点数量化为1bit整型，非常适合FPGA等平台进行并行运算。二值量化模型以Binary Connect和Binarized Neural Networks为代表。

2 8bit量化

8bit量化是当前工业界最常见的量化方法，也是当前精度保持最高的量化类型。Tensorflow，TensorRT等框架都提供了支持，并且各自代表着非对称量化和对称量化的方案，以Nvidia的8bit对称量化方案为例：

3 任意bit量化

除了2bit和8bit两类最常见的量化方法，3bit，4bit，6bit等也经常被研究，以韩松等人提出的Deep Compression为例，它还融合了模型剪枝技术。

4 混合精度量化

所谓混合精度量化，它可以指不同的网络层有不同的量化位阶，或者权重，激活以及输出采用不同的量化方案，当下还可以利用AutoML技术来实现，以HAQ框架为例。

5 量化训练框架

目前前向传播中权重和激活的量化比较成熟，但是训练中大部分的计算在反向传播步骤，如果能够将量化技术应用在反向传播中，则可以加速卷积的反向梯度传播过程，不过这需要对梯度也进行量化操作，而梯度的分布比较复杂，容易带来误差造成训练过程的不稳定。

6 其他

总的来说，模型量化有非常多的研究方向，包括：

(1) 非均匀量化方案的设计。

(2) 基于重建与损失敏感的量化方法。

(3) 量化正则化方法。

(4) 网络结构的设计。

(5) 训练中量化框架的设计。

(6) 量化的具体硬件实现。

(7) 其他。

以上内容，如果你不想自己学习，可以去我们知识星球的网络结构1000变板块—模型量化板块阅读，纯属自愿，不愿勿喷。

有三AI知识星球

知识星球是有三AI的付费内容社区，里面包括各领域的模型学习，数据集下载，公众号的付费图文原稿，技术总结PPT和视频，知识问答，书籍下载，项目推荐，线下活动等资源，了解详细请阅读以下文章：

【杂谈】有三AI知识星球一周年了！为什么公众号+星球才是完整的？

【杂谈】万万没想到，有三还有个保密的‘朋友圈’，那里面都在弄啥！

转载文章请后台联系

侵权必究

往期精选

• 【杂谈】2020年有三AI计算机视觉培养计划详解，该不该学&怎么学CV的简单讨论

• 【年终总结】2019年有三AI做了什么，2020年我们要做什么？
  

• 【总结】有三AI秋季划模型优化组3月直播讲了哪些内容，为什么每一个从事深度学习的同学都应该掌握模型优化的内容

• 【总结】有三AI秋季划人脸算法组3月直播讲了哪些内容，计算机视觉你不可能绕开人脸图像

• 【总结】有三AI秋季划图像质量组3月直播讲了哪些内容，为什么解决好底层图像处理问题那么重要

• 【星球知识卡片】残差网络家族10多个变种学习卡片，请收下！

• 【星球知识卡片】移动端高效率的分组网络都发展到什么程度了？

• 【星球知识卡片】注意力机制发展如何了，如何学习它在各类任务中的应用？

• 【星球知识卡片】模型剪枝有哪些关键技术，如何对其进行长期深入学习