如果optimization失败怎么办？怎么把梯度下降做的更好。local minima & saddle point

（PPT9）

如果optimization失败怎么办？怎么把梯度下降做的更好。

如上图，当时loss值不变，则有可能参数对损失函数的微分为0，则梯度下降不会再对参数进行更新。

微分为0统称为 critical point。可能是以下两种情况：

①local minima 即局部最优；无路可走。

②saddle point，如图中红色的点，左右高，前后低。有路可走。

如何分辨是local minima 还是 saddle point？（需要一些数学知识，如下图）

 根据红色框里的判断：