梯度下降和反向传播的理解

神经网络靠反向传播更新权重W 才能使得 我的 模型越来越逼近我想要的模型，

而这个过程，因为梯度下降是函数值下降最快的方向，因此，

（ML常用的除了梯度下降还有牛顿方法，核方法，求逆，MS算法(胶囊网络号称没用梯度下降，就是用了这个的变体)。）

 

1.什么是梯度下降法

绝大部分的机器学习算法最后都是最优化一个目标函数，而梯度下降算法是寻找一个函数局部最优解的有效方法。

顺着梯度下滑，找到最陡的方向，迈一小步，然后再找当前位，置最陡的下山方向，再迈一小步…

   

以上那个图是 二元的目标函数，即，只有X,Y两个变量（权值W），Z是损失值的目标函数，找到目标函数的最低点，就找到的损失值最低的权值是多少。

扩展阅读：

https://zhuanlan.zhihu.com/p/31167453

https://zhuanlan.zhihu.com/p/25355758

https://zhuanlan.zhihu.com/p/72040692