BP网络权值调公式推导（梯度下降算法推导）

最近学习神经网络时，看到调整权值时，对下图公式5.23不是很清楚，搞不懂为什么ε要对w求偏导数，看了很多权值调整的博客也没有细讲其推论，都是只给出下图中的这些公式。

经过翻阅书籍终于找到了，5.23这个公式是如何得来的。
这要从梯度下降算法推导来理解：
首先看一下梯度的定义：

看不懂也没关系，只要认识梯度的符号▽
请看下面的推导过程：

可以发现5.19和5.23很相似，就可以将5.19的推论应用到5.23来理解。
5.19：对x的变化更新，通过f(x)对x的导数（梯度）来描述。再乘以学习率。
5.23：对权值W的变化更新，通过ε对w的偏导（梯度）来描述。也是再乘以学习率。