如何深度理解梯度？『吴恩达神经网络和深度学习补充资料Part1 DeepLearning-WEEK2』

[WEEK2]Basics of Neural Network programming

可能大家学完了这一周的课，虽然吴教授通过图像的方式给大家直观的讲解了何为梯度的概念，

但其实大家对梯度还没有很清楚的理解。下面我给出较为完整的定义，并让你知道其实我们不只有“梯度下降。

---

下面采用回形针【一个人工智能的诞生】中的截图，若有版权问题请及时联系删除
​

在微积分中，对多元函数（即含有很多个未知数的函数）求偏导数（如果你没有学到线性代数，其实可以理解为对一个多元函数的一个元求导就是偏导数），再把求得的各个参数的偏导数以向量的形式写出来，就是梯度。

​ 假如这个多元函数为F=Ax+By，那么很明显这个函数是二元的，有x和y两个未知数，回顾一下，对一个求导我们求得是切线，那么分别求偏导数就可以在一个平面上合成获得一个向量，等等如此类推，二元或三元我们还能通过空间来想想，如果元很大，那自然是无数个“切线”向量在超平面合成。下方就是通过两个切线斜率的合成变成向量。

​
​ 好，我们现在知道了梯度就是各自参数的偏导数的合成，而每一个“导数”（为了方便理解，我就说是导数了）都是这一点的切线斜率，那么它们的合成就是函数变化增加最快的方向。

​ 如果上面一句话你还没有理解，建议你再将这句话读几遍就好，这对后面的理解很重要。

​ 那既然梯度就是函数变化增加最快的方向，那么

​ 如果我顺着梯度，也就是梯度下降是会让函数最快地变化到最低点，注意我说的是最快，因为也有其他方向可以下降。

​ 如果逆着梯度，也就是梯度上升，会让函数最快地变化到最高点，这一点是吴教授没有在课上提及的，稍微补充一下。

---