【机器学习】多元函数梯度的理解

一元函数的导数

导数的几何意义是很明确的，一个函数上某点的导数可以表示为该点在函数曲线上的切线斜率。或者从极限的角度来看，导数表示该点在函数上的变化率：
$$f^{\prime }(x_0)=\underset{\Delta x\to 0}{\lim }\frac{f(x_0+\Delta x)-f(x_0)}{\Delta x}$$即对于函数上的某一点，当该点的变化趋于0时，函数值的变化与自变量变化的比值代表了导数。

多元函数的偏导

对于多元函数，我们所说的偏导数指的就是多元函数沿着坐标轴方向的变化率。例如对于二元函数$z=f(x,y)$来说，$f_x(x,y)$指的是函数在$y$方向不变，函数沿着$x$方向的变化率。

对于空间中的一点$(x_0,y_0)$处的偏导数的几何意义是：$f_x(x_0,y_0)$表示曲面函数$z=f(x,y)$被平行于$xOz$平面的$y=y_0$平面所截得的曲线，在点$(x_0,y_0)$处沿着$x$轴方向的斜率。

多元函数的梯度

由于偏导数只能表示多元函数沿着坐标轴的变化率，但是在实际很多情况中，我们需要得到多元函数沿着任意方向的变化率，所以就引入了方向导数。因此，方向导数的作用就是用于计算多元函数任意方向的变化率。

在多维空间中，梯度是一个向量，表示某个函数在该点处的方向导数沿着该方向取得最大值，也即是，函数沿着梯度方向的变化速度是最快的。

因此，梯度的方向是方向导数中取到最大值的方向，梯度的值是方向导数的最大值。

对于多元函数而言，每个变量只要沿着这个变量的偏导的方向变化，函数的整体变化就可以达到最大，因此多元函数的梯度可以表示为：$$gradF(x_0,y_0,z_0)=(F_x(x_0,y_0,z_0),F_y(x_0,y_0,z_0),F_z(x_0,y_0,z_0))$$

参考资料

如何直观形象的理解方向导数与梯度以及它们之间的关系？ - 忆臻的回答 - 知乎

多元函数的偏导数、方向导数、梯度以及微分之间的关系思考