Xavier初始化和He初始化

1. Xavier初始化:

• 条件：正向传播时，激活值的方差保持不变；反向传播时，关于状态值的梯度的方差保持不变。
• 初始化方法：
  $W\sim U[-\frac{\sqrt{6}}{\sqrt{n_i+n_{i+1}}},\frac{\sqrt{6}}{\sqrt{n_i+n_{i+1}}}]$
• 假设激活函数关于0对称，且主要针对于全连接神经网络。适用于tanh和softsign
• 论文地址：Understanding the difficulty of training deep feedforward neural networks
• 参考资料：
  深度学习之参数初始化（一）——Xavier初始化

2. He初始化：

• 条件：正向传播时，状态值的方差保持不变；反向传播时，关于激活值的梯度的方差保持不变。
• 适用于ReLU的初始化方法：
  $W\sim N[0,\sqrt{\frac{2}{\widehat{n_i}}}]$
• 适用于Leaky ReLU的初始化方法：
  $W\sim N[0,\sqrt{\frac{2}{(1+{\alpha }^2)\widehat{n_i}}}]$
  $\widehat{n_i}=h_i\ast w_i\ast d_i$
  其中，$h_i$、$w_i$分别表示卷积层中卷积核的高和宽，而$d_i$当前层卷积核的个数。
  • 疑问：在论文里，当前层卷积核个数$d_i$与当前层输出通道个数$ou{t}_i$（下一层输入通道个数$i{n}_{i+1}$）是一致的，即$d_i=ou{t}_{i-1}=i{n}_{i+1}$。但是在tensorflow的实现中，$d_i=i{n}_i\ast ou{t}_i$。在用tensorflow实现He初始化时，应该以哪个为准？（个人倾向前者）
• 论文地址：Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification
• 参考资料：
  深度学习之参数初始化（二）——Kaiming初始化
  He初始化论文阅读笔记与实现