机器学习数学基础：3.偏导数

偏导数教程

一、偏导数的引入

在我们研究一元函数$y=f(x)$时，导数$y^{\prime }=f^{\prime }(x)$表示函数$y$关于$x$的变化率。然而，当我们遇到多元函数，例如二元函数$z=f(x,y)$时，情况变得更加复杂。我们可能会想知道函数$z$在$x$方向或$y$方向上的变化率，这就引入了偏导数的概念。

二、偏导数的定义

（一）二元函数的偏导数

对于二元函数$z=f(x,y)$，我们定义在点$(x_0,y_0)$处关于$x$的偏导数为：

$f_x(x_0,y_0)=\underset{\Delta x\to 0}{\lim }\frac{f(x_0+\Delta x,y_0)-f(x_0,y_0)}{\Delta x}$

它表示在点$(x_0,y_0)$处，当$y$固定为$y_0$，仅$x$发生微小变化$\Delta x$时，函数$z$的变化率。我们可以将$y$看作是暂时固定不变的，此时函数$z=f(x,y_0)$就类似于一个一元函数，按照一元函数导数的定义求出上述极限，这个极限就是$z=f(x,y)$在$(x_0,y_0)$关于$x$的偏导数，通常记为$f_x(x_0,y_0)$，也可写成$\frac{\partial z}{\partial x}{|}_{(x_0,y_0)}$、$\frac{\partial f}{\partial x}{|}_{(x_0,y_0)}$或$z_x{|}_{(x_0,y_0)}$。

同样地，在点$(x_0,y_0)$处关于$y$的偏导数为：

$f_y(x_0,y_0)=\underset{\Delta y\to 0}{\lim }\frac{f(x_0,y_0+\Delta y)-f(x_0,y_0)}{\Delta y}$

记为$f_y(x_0,y_0)$，或$\frac{\partial z}{\partial y}{|}_{(x_0,y_0)}$、$\frac{\partial f}{\partial y}{|}_{(x_0,y_0)}$、$z_y{|}_{(x_0,y_0)}$。

（二）直观理解

想象你站在一个起伏的地形上，这个地形的高度可以用$z=f(x,y)$来表示，$x$和$y$是地面上的位置坐标，$z$是高度。当你沿着$x$方向行走时，你只关心$x$方向上高度的变化，而忽略$y$方向的移动，此时你感受到的高度变化率就是$f_x$；同理，当你沿着$y$方向行走时，感受到的高度变化率就是$f_y$。

三、偏导数的求导法则

（一）基本求导法则

• 将其他变量视为常数：当计算$z=f(x,y)$关于$x$的偏导数$\frac{\partial z}{\partial x}$时，将$y$视为常数，按照一元函数的求导法则进行求导。同理，计算$\frac{\partial z}{\partial y}$时，将$x$视为常数。

例如，对于函数$z=x^3{y}^2+2\sin y$：

• 求$\frac{\partial z}{\partial x}$：把$y$看作常数，根据幂函数求导公式$(x^n{)}^{\prime }=n{x}^{n-1}$和常数的导数为$0$，可得$\frac{\partial z}{\partial x}=(x^3{y}^2{)}^{\prime }+(2\sin y{)}^{\prime }$。因为$y$是常数，所以$(2\sin y{)}^{\prime }=0$，而$(x^3{y}^2{)}^{\prime }=3x^2{y}^2$，因此$\frac{\partial z}{\partial x}=3x^2{y}^2$。
• 求$\frac{\partial z}{\partial y}$：把$x$看作常数，$(x^3{y}^2{)}^{\prime }=2x^{3}y$，$(2\sin y{)}^{\prime }=2\cos y$，所以$\frac{\partial z}{\partial y}=2x^{3}y+2\cos y$。

（二）高阶偏导数

• 二阶偏导数：如果$z=f(x,y)$的一阶偏导数$f_x(x,y)$和$f_y(x,y)$仍然可导，我们可以继续求偏导数。

  • 关于$x$的二阶偏导数：
    • 先对$x$求偏导，再对$x$求偏导，得到$\frac{{\partial }^{2}z}{\partial x^2}=\frac{\partial }{\partial x}(\frac{\partial z}{\partial x})=f_{xx}(x,y)$。例如，对于$z=x^{4}y$，先求$\frac{\partial z}{\partial x}=4x^{3}y$，再对$x$求偏导得$\frac{{\partial }^{2}z}{\partial x^2}=12x^{2}y$。
    • 先对$x$求偏导，再对$y$求偏导，得到$\frac{{\partial }^{2}z}{\partial x\partial y}=\frac{\partial }{\partial y}(\frac{\partial z}{\partial x})=f_{xy}(x,y)$。对于$z=x^{4}y$，先求$\frac{\partial z}{\partial x}=4x^{3}y$，再对$y$求偏导得$\frac{{\partial }^{2}z}{\partial x\partial y}=4x^3$。
  • 关于$y$的二阶偏导数：
    • 先对$y$求偏导，再对$y$求偏导，得到$\frac{{\partial }^{2}z}{\partial y^2}=\frac{\partial }{\partial y}(\frac{\partial z}{\partial y})=f_{yy}(x,y)$。对于$z=x^{4}y$，先求$\frac{\partial z}{\partial y}=x^4$，再对$y$求偏导得$\frac{{\partial }^{2}z}{\partial y^2}=0$。
    • 先对$y$求偏导，再对$x$求偏导，得到$\frac{{\partial }^{2}z}{\partial y\partial x}=\frac{\partial }{\partial x}(\frac{\partial z}{\partial y})=f_{yx}(x,y)$。对于$z=x^{4}y$，先求$\frac{\partial z}{\partial y}=x^4$，再对$x$求偏导得$\frac{{\partial }^{2}z}{\partial y\partial x}=4x^3$。

• 混合偏导数相等的条件：在一定条件下（通常是二阶混合偏导数连续），$f_{xy}(x,y)=f_{yx}(x,y)$。这一性质在很多情况下能简化计算和理论推导，因为我们只需要计算其中一个混合偏导数即可。

（三）复合函数的偏导数法则

对于复合函数$z=f(u(x,y),v(x,y))$，其中$u=u(x,y)$和$v=v(x,y)$是中间变量，我们使用链式法则求偏导数。

• 对$x$求偏导：$\frac{\partial z}{\partial x}=\frac{\partial f}{\partial u}\frac{\partial u}{\partial x}+\frac{\partial f}{\partial v}\frac{\partial v}{\partial x}$。
• 对$y$求偏导：$\frac{\partial z}{\partial y}=\frac{\partial f}{\partial u}\frac{\partial u}{\partial y}+\frac{\partial f}{\partial v}\frac{\partial v}{\partial y}$。

例如，设$z=f(u,v)=u^{2}v$，$u=x+y$，$v=xy$：

• 求$\frac{\partial z}{\partial x}$：
  • 首先，$\frac{\partial f}{\partial u}=2uv$，$\frac{\partial u}{\partial x}=1$，$\frac{\partial f}{\partial v}=u^2$，$\frac{\partial v}{\partial x}=y$。
  • 则$\frac{\partial z}{\partial x}=\frac{\partial f}{\partial u}\frac{\partial u}{\partial x}+\frac{\partial f}{\partial v}\frac{\partial v}{\partial x}=2uv\times 1+u^2\times y$，将$u=x+y$和$v=xy$代入，得到$\frac{\partial z}{\partial x}=2(x+y)xy+(x+y{)}^{2}y$。
• 求$\frac{\partial z}{\partial y}$：
  • 首先，$\frac{\partial f}{\partial u}=2uv$，$\frac{\partial u}{\partial y}=1$，$\frac{\partial f}{\partial v}=u^2$，$\frac{\partial v}{\partial y}=x$。
  • 则$\frac{\partial z}{\partial y}=\frac{\partial f}{\partial u}\frac{\partial v}{\partial y}+\frac{\partial f}{\partial v}\frac{\partial v}{\partial y}=2uv\times 1+u^2\times x$，将$u=x+y$和$v=xy$代入，得到$\frac{\partial z}{\partial y}=2(x+y)xy+(x+y{)}^{2}x$。

（四）隐函数的偏导数

当函数由方程$F(x,y,z)=0$所确定的隐函数$z=z(x,y)$时，我们可以使用以下公式求偏导数。

• 求$\frac{\partial z}{\partial x}$时，将$y$看作常数，根据隐函数求导公式$\frac{\partial z}{\partial x}=-\frac{F_x}{F_z}$，其中$F_x=\frac{\partial F}{\partial x}$，$F_z=\frac{\partial F}{\partial z}$。

例如，对于方程$x^2+y^2+z^2-1=0$，令$F(x,y,z)=x^2+y^2+z^2-1$，则$F_x=2x$，$F_z=2z$，所以$\frac{\partial z}{\partial x}=-\frac{2x}{2z}=-\frac{x}{z}$（假设$z\ne 0$）。

同理，求$\frac{\partial z}{\partial y}$时，$\frac{\partial z}{\partial y}=-\frac{F_y}{F_z}$，对于上述方程$F_y=2y$，所以$\frac{\partial z}{\partial y}=-\frac{2y}{2z}=-\frac{y}{z}$（假设$z\ne 0$）。

（五）对数求导法在偏导数中的应用

当函数具有复杂的乘积、商或幂的形式时，对数求导法可简化求导过程。

例如，对于函数$z=(x^2+y^2{)}^{xy}$，先对等式两边取自然对数$\ln z=xy\ln (x^2+y^2)$。

• 对$x$求偏导：

  • 对$\ln z$关于$x$求偏导，根据复合函数求导法则，$\frac{1}{z}\frac{\partial z}{\partial x}=y\ln (x^2+y^2)+\frac{2x^{2}y}{x^2+y^2}$。
  • 所以$\frac{\partial z}{\partial x}=z\left(y\ln (x^2+y^2)+\frac{2x^{2}y}{x^2+y^2}\right)=(x^2+y^2{)}^{xy}\left(y\ln (x^2+y^2)+\frac{2x^{2}y}{x^2+y^2}\right)$。

• 对$y$求偏导：

  • 对$\ln z$关于$y$求偏导，$\frac{1}{z}\frac{\partial z}{\partial y}=x\ln (x^2+y^2)+\frac{2x{y}^2}{x^2+y^2}$。
  • 所以$\frac{\partial z}{\partial y}=z\left(x\ln (x^2+y^2)+\frac{2x{y}^2}{x^2+y^2}\right)=(x^2+y^2{)}^{xy}\left(x\ln (x^2+y^2)+\frac{2x{y}^2}{x^2+y^2}\right)$。

四、偏导数的几何意义

（一）关于$x$的偏导数

函数$z=f(x,y)$表示一个空间曲面。当我们求$f_x(x_0,y_0)$时，想象用平面$y=y_0$去截这个曲面，得到一条曲线，$f_x(x_0,y_0)$就是这条曲线在点$(x_0,y_0,f(x_0,y_0))$处的切线关于$x$轴的斜率。它反映了在$y$固定为$y_0$时，函数$z$沿$x$方向的变化率，就像你沿着平行于$x$轴的方向在曲面上移动时，感受到的“爬坡”或“下坡”的陡峭程度。

（二）关于$y$的偏导数

同理，$f_y(x_0,y_0)$是用平面$x=x_0$截曲面得到的曲线在点$(x_0,y_0,f(x_0,y_0))$处的切线关于$y$轴的斜率，反映了在$x$固定为$x_0$时，函数$z$沿$y$方向的变化率。

五、偏导数的应用

（一）物理学中的应用

• 热传导问题：在热传导方程$\frac{\partial T}{\partial t}=\alpha (\frac{{\partial }^{2}T}{\partial x^2}+\frac{{\partial }^{2}T}{\partial y^2}+\frac{{\partial }^{2}T}{\partial z^2})$中，$T(x,y,z,t)$表示温度随空间$(x,y,z)$和时间$t$的变化。$\frac{\partial T}{\partial t}$表示温度随时间的变化率，而二阶偏导数$\frac{{\partial }^{2}T}{\partial x^2}$，$\frac{{\partial }^{2}T}{\partial y^2}$和$\frac{{\partial }^{2}T}{\partial z^2}$描述了温度在空间中的梯度变化，$\alpha$是热扩散系数。通过求解这个偏微分方程，可以分析热量在物体内的传播情况，例如在预测金属棒的温度分布随时间的变化，或者建筑物内的热量传递时非常有用。
• 流体力学：对于流体的速度场$v(x,y,z)=(v_x(x,y,z),v_y(x,y,z),v_z(x,y,z))$，偏导数$\frac{\partial v_x}{\partial x}$，$\frac{\partial v_y}{\partial y}$，$\frac{\partial v_z}{\partial z}$等描述了流体在不同方向上的速度变化率，可用于研究流体的流动特性，如是否存在湍流、漩涡等，对于设计飞机机翼、汽车外形等以减少流体阻力有重要意义。

（二）经济学中的应用

• 生产函数：对于生产函数$Q=f(K,L)$，其中$Q$表示产量，$K$表示资本投入，$L$表示劳动投入，偏导数$\frac{\partial Q}{\partial K}$表示资本的边际产量，即当劳动投入$L$固定时，增加一单位资本投入所带来的产量增加量；$\frac{\partial Q}{\partial L}$表示劳动的边际产量，即资本投入$K$固定时，增加一单位劳动投入带来的产量增加量。企业可以根据这些边际产量来优化资源配置，以实现利润最大化。

（三）计算机图形学中的应用

• 在三维图形学中，对于一个由函数$z=f(x,y)$表示的曲面，其法向量$n$可通过$n=(-\frac{\partial z}{\partial x},-\frac{\partial z}{\partial y},1)$（经过归一化处理）计算得到。法向量对于光照计算、阴影生成等非常重要，因为它决定了光线如何与表面相互作用，从而影响物体在屏幕上的渲染效果，例如在渲染山脉、地形等复杂表面时，通过偏导数计算法向量，让物体看起来更加逼真。