BN、dropout的几个问题和思考

1、BN的scale初始化

scale一般初始化为1.0。

联想到权重初始化时，使用relu激活函数时若采用随机正太分布初始化权重的公式是sqrt(2.0/Nin)，其中Nin是输入节点数。即比一般的方法大了2的平方根（原因是relu之后一半的数据变成了0，所以应乘以根号2）。

那么relu前的BN，是否将scale初始化为根号2也会加速训练？

这里主要有个疑点：BN的其中一个目的是统一各层的方差，以适用一个统一的学习率。那么若同时存在sigmoid、relu等多种网络，以上方法会不会使得统一方差以适应不同学习率的效果打了折扣？

没来得及试验效果，如果有试过的朋友请告知下效果。

2、dropout后的标准差改变问题

实践发现droput之后改变了数据的标准差（令标准差变大，若数据均值非0时，甚至均值也会产生改变）。

如果同时又使用了BN归一化，由于BN在训练时保存了训练集的均值与标准差。dropout影响了所保存的均值与标准差的准确性（不能适应未来预测数据的需要），那么将影响网络的准确性。

若输入数据为正太分布，只需要在dropout后乘以sqrt(0.5)即可恢复原来的标准差。但是对于非0的均值改变、以及非正太分布的数据数据，又有什么好的办法解决呢？

3、稀疏自编码的稀疏系数

稀疏自编码使用一个接近0的额外惩罚因子来使得隐层大部分节点大多数时候是抑制的，本质上使隐层输出均值为负数（激活前），例如惩罚因子为0.05，对应sigmoid的输入为-3.5，即要求隐层激活前的输出中间值为-3.5，那么，是不是可以在激活前加一层BN，beta设为-3.5，这样学起来比较快？

经过测试，的确将BN的beta设为负数可加快训练速度。因为网络初始化时就是稀疏的。

但是是不是有什么副作用，没有理论上的研究。

4、max pooling是非线性的，avg pooling是线性的