深度学习（五）：神经网络训练不起来怎么办

深度学习（五）：神经网络训练不起来怎么办

梯度很小的时候

无法判断是$localminima$还是$saddlepoint$，以下是判断的一个方法的数学推导$TaylerSeriesApproximation$：
首先，$\mathbf{L}(\theta )\approx \mathbf{L}({\theta }^{{}^{\prime }})+(\theta -{\theta }^{{}^{\prime }}{)}^{\mathbf{T}}\mathbf{g}+\frac{1}{2}(\theta -{\theta }^{{}^{\prime }}{)}^{\mathbf{T}}\mathbf{H}(\theta -{\theta }^{{}^{\prime }})$,其中，$\mathbf{G}\mathbf{r}\mathbf{a}\mathbf{d}\mathbf{i}\mathbf{e}\mathbf{n}\mathbf{t}g$可以用如下的向量表示：
$g=\nabla L({\theta }^{{}^{\prime }})g_i=\frac{\partial L(\theta )}{\partial {\theta }_i}$
$H$是$Hessian$矩阵，可以表示为如下形式：
${\mathbf{H}}_{\mathbf{i}\mathbf{j}}=\frac{{\partial }^2}{\partial {\theta }_{\mathbf{i}}\partial {\theta }_{\mathbf{j}}}\mathbf{L}({\theta }^{{}^{\prime }})$
下图是公式的推导具体过程，通过下图对$Hessian$矩阵的特征值的大小的判断可以判断出是$localminima$还是$saddlepoint$

下面是对$\mathbf{G}\mathbf{r}\mathbf{a}\mathbf{d}\mathbf{i}\mathbf{e}\mathbf{n}\mathbf{t}$的图的直观表示方法：

$\mathbf{b}\mathbf{a}\mathbf{t}\mathbf{c}\mathbf{h}$和$\mathbf{m}\mathbf{o}\mathbf{m}\mathbf{e}\mathbf{n}\mathbf{t}\mathbf{u}\mathbf{m}$的训练小技巧

接下来要介绍下深度学习中关于$\mathbf{b}\mathbf{a}\mathbf{t}\mathbf{c}\mathbf{h}$和$\mathbf{m}\mathbf{o}\mathbf{m}\mathbf{e}\mathbf{n}\mathbf{t}\mathbf{u}\mathbf{m}$的相关基础姿势的简单介绍。敬请期待~