梯度下降算法

梯度下降算法是一种简单的逐步逼近算法

想象一下,对于一个简单的函数
梯度
1、相关概念
假如一个空间中的每一点的属性都可以以一个向量来代表的话,那么这个场就是一个向量场
标量场中某一点上的梯度指向标量场增长最快的方向,梯度的长度是这个最大的变化率。
梯度一词有时用于斜度,也就是一个曲面沿着给定方向的倾斜程度。
2、计算
梯度记为:

(ϕx,ϕy,ϕz)

表示各个方向上的偏导数组成的向量组合。每个偏导数的背后意义是指每个分量变化最快的方向。所以如果实值函数 F(a) 在点 a处可微且有定义,那么函数 a点沿着梯度相反的方向下降最快。
所以,这里写图片描述,对r>0并且很小时,F(a)>=F(b)。
以此执行下去就能逐步逼近多变量函数的局部最小值点

来张图:
梯度下降算法_第1张图片

其中,黑色点可能就是梯度下降算法的靠拢点

你可能感兴趣的:(梯度下降算法)