梯度学习笔记

目录：

定义

一元函数中的梯度

二元函数中的梯度

三元函数中的梯度

梯度与导数

================================================================================

首先先来看一下最常见的定义：

梯度是一个向量，他始终指向变化最快变化率最大的方向。

梯度方向总是指向函数w值更大的方向。

梯度的概念可以应用到一元、二元、三元函数或者更多自变量的函数中，但是最常用的还是前三个。

在一元函数中：

在单变量的实值函数的情况，梯度只是导数，或者，对于一个线性函数，也就是线的斜率。

在二元函数中：

在二元函数中，梯度梯度概念是建立在偏导数与方向导数概念基础上的。方向导数先不看，先来直观感受一下二元函数中的梯度。

二元函数：W（x,y） = x^2+y^2;

梯度：<2x,2y>,把要求的点带入（分别对x和y求偏导:∂z/∂x=2x表示函数沿X轴方向的导数，而∂z/∂y=2y表示函数沿Y轴方向的导数.）

函数的图像如下图2.1所示，那梯度作为一个向量该指向什么方向呢？

令W(x,y)等于常数c，就得到了投影图，投影图是一个个同心圆。根据<2x,2y>在结合投影我们可以得到两个重要结论：

1>二元函数中梯度方向平行于xy所形成的平面。

2>梯度方向垂直于同心圆，也就是垂直于等高线。

3>梯度方向垂直于切线（证明略过）

 

                          图2.1 f(x,y) =x^2+y^2三维图

                    图2.2 f(x,y) =x^2+y^2投影图

在三元函数中：

在三元函数中令W（x,y,z）=c,得到的将会是一个曲面。

三元函数：W（x,y,z） = x^2+y^2+y^2;

梯度：<2x,2y,2z>

1>梯度为三维空间中的一个向量。

2>梯度方向垂直于切面，梯度方向也是曲面和切面法向量的方向，可以用来求解平面方程。

方向导数

我们上文也提到了方向导数，所谓方向导数就是在函数定义域的内点，对某一方向求导得到的导数。一般为二元函数和三元函数的方向导数，方向导数可分为沿直线方向和沿曲线方向的方向导数，这里我们只讲二元函数。

先来看看结论：

方向导数和梯度方向一致的时候，原函数增长最快。

方向导数和梯度方向相反的时候，原函数减少最快。

方向导数和梯度方向垂直的时候，原函数不增不减。

下面来看看方向导数（观察图4-1），由上面二元函数的介绍我们知道沿着∇W（梯度方向）方向变化率最大函数增长最快，那沿着其他的方向函数的变化率又该怎么变化又该怎么表示呢？

图4-1

假设我们现在有函数W(x,y)，我们知道沿x,y方向导数怎么求。现在假设现在有一个单位向量u，沿着u方向的导数是什么呢？(u = cosθi+sinθj,单位向量)

图4-2

未完 待更新