deep learning notes 1：初始化

Improving Deep Neural Networks: Hyperparameter tuning, Regularization and Optimization

决定每周抽时间听听deeplearning.ai的课程，课程比较系统，有选择的跳过，顺道记录一下get到的关键点。

第一周

该部分主要包括两大块：

优化的第一步准备
- 归一化输入
- 梯度消失和梯度爆炸
- 权重初始化技巧
- 梯度检验实现技巧
正则化
- 正则化原理
- dropout
- 其他正则化技巧

初始化网络

归一化输入

在将输入直接作为神经网络输入之前，对其进行归一化操作，可以加快训练过程：

normal_input

以二维特征举例，每次优化J，寻找梯度最大的方向，如果输入的两个特征规模差别太大，并不是直接朝向最优解，而是更加曲折；相反，如果输入特征规模一致或接近，梯度下降的最大方向更直接走向最优解。

梯度爆炸和梯度消失

如果不能很好选择初始权重或者激活函数，容易出现梯度爆炸或梯度消失。

grad_exploding

图示，假设不使用激活函数，计L层神经网络。

[图片上传失败...(image-b5768c-1529497939486)]

如果W初始化为

matrix1

，x经过L次阶乘，得到的结果会指数级增长，得到很大的y；相反如果W初始化为

matrix2

，x会指数级减小，最终得到很小的y。同样的，在反向传播的过程中，梯度也会以相同的方式指数级升高或减小，造成梯度爆炸或消失，实现过程中出现数值的上溢或下溢。

解决或减轻上面的问题有一些方法：

随机初始化权重，打破权重的平衡
使用非线性的激活函数，如ReLu。
clips gradients（设置梯度阈值，针对梯度爆炸）
循环神经网络中的LSTM（也会有解决梯度消失的效果）

初始化权重

下面来看初始化权重对梯度优化的影响，事实证明简单随机初始化权重并不是最好选择：

inital_weight

随着l层单元的个数的增大，我们希望该层的权重相应的小，由此使l+1层的单元输出不至于很大。因此有了He initialization：随机初始化权重：np.random.randn(..,..) 乘上

scale

，使随机初始的权重随上层单元的维度降低。

初始化权重实验：

该部分通过不同方式的初始化，观察训练的过程：

初始为全0权重
高斯分布初始权重，乘10
He initialization

1、全0初始化权重：

for l in range(1, L):
        parameters['W' + str(l)] = np.zeros((layers_dims[l], layers_dims[l-1]))
        parameters['b' + str(l)] = np.zeros((layers_dims[l], 1))

训练曲线：

learn_rate

2、高斯分布初始权重（均值为0，方差为1），乘10：

for l in range(1, L):
     parameters['W' + str(l)] = np.random.randn(layers_dims[l], layers_dims[l-1]) * 10
     parameters['b' + str(l)] = np.zeros((layers_dims[l], 1))

由于W的权重随机初始化，已经打破了权重的平衡，b可以初始化为0.

训练曲线:

learn_rate2

过大的初始权重导致训练效果不佳。

3、He initialization

for l in range(1, L + 1):
     parameters['W' + str(l)] = np.random.randn(layers_dims[l], layers_dims[l-1]) * math.sqrt(2./layers_dims[l-1])
     parameters['b' + str(l)] = np.zeros((layers_dims[l], 1))

训练曲线：

learn_rate3

相同的迭代次数，He initialization的到了很好的效果。

实验小结：

不同的初始化会得到不同结果
随机初始化能打破权重平衡，确保所有的隐层学到不同的东西
不要随机初始化过高权重
He initialization 非常适合 ReLU

小结

这里只总结了第一周的第一部分。试听了一周，觉得课程还是和之前的机器学习课程风格一致，用简单的公式和例子讲述模型背后的原理，良心作品。虽然对课程内容已经有所了解，但还是想系统的听一遍。

原创文章，转载注明出处
更多关注公众号：

wechat