[2020-01-13]神经网络学习笔记-梯度验证&参数初始化

看了斯坦福的机器学习视频，讲到神经网络的梯度验证以及参数初始化的部分，记录一下。

1. 梯度验证

有时候训练时，梯度也确实是在下降，但是可能并不是沿着一个比较好的方向，结果导致最后的停止点不是停在相对最优的地方。

这时候可以采用梯度验证，即利用某点处的近似理论梯度值来和实际梯度值对比。处的近似理论梯度值：

2. 参数初始化

如果参数初始化为0或者1等常数的话，那么每一层的每个神经元的输出值都会相同（不管迭代多少次），那么每一层就退化为一个逻辑回归，这样就失去了神经网络可以提取多种特征的性质。

具体解释说明参考Coursea上 Andrew Ng的机器学习的公开课视频。