为什么梯度方向是函数值增大最快的方向

Welcome To My Blog
梯度下降中,梯度反方向是函数值下降最快的方向,说明梯度方向是函数值上升最快的方向.
下面给出说明,基础好的可以直接看最后一部分:沿梯度方向函数值增大最快

无穷小量

5.png

定理

6.png

高阶无穷小

7.png

引出微分

8.png

微分

9.png

全微分

10.png

方向导数

定义:

2.png

方向导数实际上是函数f在x_0处沿l方向关于距离t的变化率
方向导数的几何意义,f(x,y)在x_0处有唯一的切线,该点关于l方向的斜率就是方向导数.
在方向导数中,一种特别重要的情形是 沿着坐标轴正向的方向导数,这就是偏导数

偏导数

定义:

3.png

梯度

定义:

4.png

梯度就是个向量

可微的必要条件

11.png

沿梯度方向函数值增大最快

在x0处沿某一方向的方向导数反映了:在x0的邻域内沿着这个方向,函数值能增大多少或者能减小多少
将上述f在(x0,y0)处沿任意方向l的方向导数结果写成向量的内积形式

12.png

所以在x0处沿着梯度方向能使f在该点处的方向导数最大,也就是在x0的邻域内沿着这个方向,函数值增长最快;同理沿着负梯度方向,函数值减小最快

参考:
王绵森,工科数学分析基础上下册