机器学习：在梯度下降法中为什么梯度的方向是变化最快的方向

基础概念

一阶导数

在一阶函数中，一阶导数表示函数值与自变量的变化关系，我们把函数从一个点到另一个点变化的函数值与变化的自变量的比值称为函数这两点之间自变量方向的变化率，可以用$\frac{\Delta y}{\Delta x}$表示，当自变量x的变化趋近于0的时候，他们的比值叫做函数的导数，也可以叫做在函数某点沿着自变量变化的斜率。用$tan\Theta$表示。
$$\begin{array}{r}{f}^{\prime }\left(x\right)=\underset{\Delta x\to 0}{\lim }\frac{f\left(x+\Delta x\right)-f\left(x\right)}{\Delta \chi }\end{array}$$

偏导数

接下来，我们把自变量的格局打开（升维），从一元函数上升到多元函数，$z=f(x,y)$,现在我们对一个自变量求导，它反映了多元函数与其中一个自变量的变化关系，也叫做偏导数，他表示函数值在这个点$\Delta x$方向上的变化率。

方向导数

看到这里，我们可能会有一个疑问，求导的那个点的方向一定是沿着坐标轴的吗？如图所示，他可以是任意方向。

假设有一个向量l，步长为t，角度为$\Theta$我们要求得函数在l方向上的方向导数，有下图可知，向量l在x轴方向上的改变量为$tsin\Theta$，y轴的改变量为$tcos\Theta$，所以公式可表示为：$$f{\left(x\right)}^{{}^{\prime }}=\underset{t\to 0}{\lim }\frac{f\left(x+t\sin \theta ,y+t\cos \theta \right)-f\left(x,y\right)}{t}$$

梯度

梯度是导数对多远函数的推广，他是对各个自变量偏导数形成的向量，其作用相当于一元函数的导数,之前我们介绍了导数与偏导数，偏导数是一个标量。某个点的梯度代表某个点在多元函数在这点变化方向。
$$\nabla f\left(x\right)={\left(\begin{array}{ccc}\frac{\partial f}{\partial x_1}& \dots & \frac{\partial f}{\partial x_n}\end{array}\right)}^T$$

验证

接下来到了最激动人心的时刻，我们来验证为什么函数在这个点的梯度的方向是函数在这个点梯度增加最快的方向。设在某一点在向量l方向的方向导数：
$$f{\left(x\right)}^{{}^{\prime }}=\underset{t\to 0}{\lim }\frac{f\left(x+t\sin \theta ,y+t\cos \theta \right)-f\left(x,y\right)}{t}$$
通过链式法则，化简如下：
$$\begin{array}{r}=\frac{\partial f}{\partial x}\cdot \frac{\partial x}{\partial t}+\frac{\partial f}{\partial y}\frac{\partial y}{\partial t}\\ =\sin \theta \frac{\partial f}{\partial x}+\cos \theta \frac{\partial f}{\partial y}\end{array}$$
我们要求的变化最快的点，也就是变化率最大，也就是方向导数最大。所以我们就把问题转换成了当上面的化简结果最大时,$\Theta$是多少度，也就知道了在什么方向变化率最大。
我们设向量a=$(sin\theta ,cos\theta )$,向量b=$(\frac{\partial f}{\partial x},\frac{\partial f}{\partial y})$
$g(a,b)=ab$
$argma{x}_{\theta }=g(a,b)$
$=|a||b|cos\theta$
$=|b|cos\theta$
因为向量b是不变的，所以当$\theta =0$时，也就是向量a与b（b为梯度）平行时，变化率最大，也就是梯度方向变化最大，从上面结果可知，当$\theta =0$,方向导数一定为正数，所以函数是增函数，所以在这个点的梯度方向，是函数增加最快的方向，相反是最小的方向。