ppt阅读笔记

1：对bn的改进

与我在 白皮书阅读笔记中记录的bn的改进方法一致

2：WAGE

这篇文章核心是量化了四个部分（W：weight，A：activation，G：gradient，E：eroor）。
着重分析下这篇文章是如何把bn层融入进其他部分的。
首先bn的一个作用是减少了对初始化的依赖。去掉了bn层，为了降低初始化对模型效果的影响，本文采取了一个叫msra的初始化方式，关于这个方法的论文见链接msra论文;msra 博客。简而言之，该初始化的核心是，使得该层输入的方差等于该层输出的方差。
即：$Var(y_{l-1})$ = $Var(y_l)$.在激活函数RELU的情况下，作者经过推导，发现要满足上述条件，必须满足$Var(W_l)=2/n_{in}$


对于L的取值，$\sqrt{6/n_{in}}$是为了保证W的方差为$\frac{2}{n_{in}}$. 其中$n_{in}$的含义是输入的维度。但是，如果$n_{in}$过大，那么W的取值范围会非常窄。由于量化的原因，W的取值只能是$\sigma$的整数倍，如果$\sqrt{6/n_{in}}<\sigma$那么W的取值只能是全0.这很明显不行。所以，便引入了第二项，$\beta$是一个大于1 的值，那么$L_{min}>\sigma$于是，就可以保证W不会全部为0。
对于bn的另外一个作用，就是将输入的均值置为零，方差值为一。本文的做法是，首先认为activation的均值为0.这里没有给出足够的理由，所以感觉有些不合理。其次，对于scale，作者的做法如下：

其中$\alpha$为：
、
这里我认为作者写错了公式，应该是
$$\alpha =max(Shift(L/L_{min}),1)$$
这样的话，$\alpha$的取值就不再只是1了，可以是大于1的值。
对于$a_q$的量化操作，作者并没有分析$\alpha$在量化中的作用。不过可以得知的是，$\alpha$绝对是一个与当前batch 无关的数据，用这样的数来做batch normalization，我认为不合理。
作者通过这两步操作取消了bn，但是作者也认为这样做不够合理，需要进一步研究。

3：各种normalization
这部分内容感觉分为两部分，一部分是Norm matters这篇论文，另一部分则是对各种normalization的介绍，可以参考张俊林对normlization的介绍.
首先来说Norm matters这篇论文。这篇文章主要分析了L1，L2，$L^{\infty }$对Batch normalization和weight normalization的影响。weight normalization我没有仔细看，主要分析Batch normalization。
L1 batch normalization



由此可以看出，L1bn效果和L2bn的效果差不太多。

第二部分就是对各种normalization的介绍。