TRAINING AND INFERENCE WITH INTEGERS IN DEEP NEURAL NETWORKS

本篇文章主要创新点在于不仅仅提供了对activation 和weights的量化，还通过同样的方式，对gradient和error进行了量化。将模型的量化做的更加深入。
这篇文章主要分为两块，第一块是知识铺垫，第二块是四个量化

知识铺垫

MACs（矩阵乘法）会导致量化bit增加

K指量化的bit数。这个图比较难理解的地方在于右边。$[k_E+k_A-1]$ 和$[k_E+k_w-1]$是怎么得到的。
其实就是根据bp 过程分析出来的。以第一个为例，

根据这个公式，其中$a_k^{l-1}$的精度是$k_A$，${\delta }_j^l$的精度是$k_E$由此可以推得第一个公式。第二个可以根据$\frac{\partial C}{\partial {\delta }_i^{L-1}}$求得。

量化公式

量化指数

这个是用来衡量量化精度的。
核心量化公式

分析一下这个公式。第一项是指精度。将超出精度的位去掉。后面两项是量化的上下限。对于这个上下限，不清楚为什么这么设定。但这个设定保证了量化后的值在[-1,1]之间呈对称分布。

Stochastic Rounding

文章中的取整不是确定的，是依概率的。这种方法会带来额外的计算量

Shift

Shift函数的意思是将x归并到离他最近的2的幂次方上。至于为什么要做这样的的操作，作者给出了下面的解释

也就是如果不在量化之前做shift，量化值会出现严重的偏斜。可是并不理解这一点。

weight initialization

这套做法不是作者原创，来自另外一篇文章。需要再研究下。目前所知道的就是W的初始化与输入维度有关系。

quantization details

weight quantization

activation quantization

这个公式我的理解可能有些问题，在此做个记录，以便后续改正。
由weight initialization 公式可以得知：$a=L_{min}/L\in (0,1]$ 那么$Shift(a)\in (0,1]$ 。所以$\alpha$ 始终为1. 那么做这个操作是为了什么呢？
正是这个scale操作加上之前的weight初始化操作使得本篇文章得以舍弃bn并且取得与bn类似的效果。这里不理解有点尴尬了。需要看看那篇介绍初始化的论文解决这个问题。

error quantization

由于e的range非常大，$[10^{-9},10^{-4}]$，那么这里量化的作用是保留与$max(e)$量级相近的误差，将过于小的误差去掉。同时对于过大的误差，也做了规范。

gradient quantization

上面的公式的含义是将g扩大相应的倍数，使得其整数位有值；这么做的原因如下：
gradient量化之后，也就意味着$\Delta W$有最小更新粒度，就是$\sigma (k_G$。因此在计算$\Delta W$时，我们要给出$\sigma (k_G$的计数。
只是这样有一点无法对应，就是g扩大的倍数。max{|g|}的位数无法保证就是gradient保存的精度。所以我对下面的公式也无法理解

按照上面公式所说，（先去掉bernoulli项），无论$max(g_s)$有多大，都会造成整数个$\sigma (k_G)$的更新，这就让人比较费解。也许文中所说的只记录gradient的相对大小而不是绝对大小可以对应上面的问题。如果是这样，为什么不采用绝对大小呢？并不会造成太多的存储和计算上的变动，反而能够提高精度。
可能时我理解的有问题，在此做记录，以便日后修改

这个是更新公式

总结

本篇文章有几个亮点：
1：用合理的初始化和scale替代了BN，从而降低了对数据精度的要求
2：不同于post-training quantization或者training-aware quantization，本文所介绍的方法在training和inference时模型是一致的。
3：文章对weight，activation，gradient，error都做了量化，量化深度更深。

不足：
1：这篇文章是我看到的第一个彻底不使用bn的。他通过对weight合理的初始化和scale取代了bn操作。只是他这种做法还是比较粗糙。比如他把activation量化到$[-1+\sigma (k),1-\sigma (k)]$的对称区间，就认为activation的均值应该是0，从而只给出了一个scale操作代替bn。这是一个比较不合理的做法。另外初始化方式的效果也有待商榷。