类神经网络训练不起来怎么办

Optimization Fails because…(优化为什么会失败？)

随着参数的不断更新，但是training loss下降到某个地方不会再下降，但是对现在的loss不满意，所以优化是有问题的。或者是一开始不管怎么样更新参数，training loss不会发生什么样的改变，过去的一个猜想是gradient 接近于0.当微分是0的时候gradient descent就没办法更新参数了，但并不是卡在了local minima处，并不是只有再local minima处的gradien它等于0 ，还有其他的地方也会出现gradient等于0的情况，比如说saddle point（鞍点）。让gradient等于0的点，统称为critical point（临界点）

现在要知道的是gradient等于0 的点是local minima还是saddle point？

Tayler Series Approximation

如果是卡在local minima的话，loss现在就是没有路可以走了，但是如果卡在saddle point处的话，还是有路可以走的。

这个g和H都是用来弥补L（θ)和L（{θ }'）之间的距离的。H里面放的是L的第i个微分。

所以L(θ)和L（{θ }'）之间的关系是由gradient（一次微分）和hessian（二次微分）组成

Batch Normalization技术补充

思想：铲平大山，让不同维度的数据有相同范围

标准化方法：

实际操作时对batch处理


但是实际应用时，平均值和方差只是一个batch的，测试时使用下面的参数（训练时更新）