量化(2):模型常见的量化方式

主要从以下几方面介绍量化:量化的映射量化的粒度量化的方式量化的对象以及量化的Bit。其中,在量化的映射中,包括线性映射和非线性映射(DSQ),在实际工程项目中主要使用的是线性映射。
量化(2):模型常见的量化方式_第1张图片

1、仿射映射量化

量化(2):模型常见的量化方式_第2张图片

  • 模型的量化映射方式,如上图所示可以分为`线性映射和非线性映射,对于线性映射又可以分为对称量化和非对称量化。
  • 由于实际项目中基本不会使用非线性量化,本次课程不对非线性量化进行介绍。

2、线性映射

2.1 对称量化

对称量化即使用一个映射公式将输入数据映射到 [-127,127] 的范围内映射公式需要保证原始的输入数据中的零点通过映射公式后仍然对应[-127, 127]区间的零点。对称量化的Z-point0
量化(2):模型常见的量化方式_第3张图片

2.2 非对称量化

即使用一个映射公式将输入数

你可能感兴趣的:(模型轻量化,算法,机器学习,人工智能)