对微分的简单理解

研究生复试现场：

 T:“这位同学，请你解释一下微分是什么。”
 S:“啊，老师，微分的定义是~~~~”
 T:“嗯，定义背得不错，不过你能说下自己对微分的理解吗？”
 S:“这个，呃，这个… …”
 T:“好了，回去等通知吧！”

那微分到底是什么意思呢？ 一言以蔽之，曰"线性近似".

一、一元函数的可微性

  设函数 $f(x)$ 在 $x_0$ 的某邻域 $U(x_0)$ 内有定义，若对 $U(x_0)$ 中的任意一点 $x=x_0+\Delta x$，函数增量 $\Delta f$ 都可以表示为$$\Delta f=f(x_0+\Delta x)-f(x_0)=A\Delta x+o(\Delta x)$$其中 $A$ 为常数，仅与 $x_0$ 有关，则称函数 $f$ 在 $x_0$ 处可微.

另外，还可以求出 $A=\underset{\Delta x\to 0}{\lim }\frac{f(x_0+\Delta x)-f(x_0)}{\Delta x}=f^{\prime }(x_0)$.

可以看到，可微是函数 局部性质 的一个刻画.

二、偏导数

  设函数 $f(x)(x=(x_1,x_2,\cdots ,x_n))$ 在点 $P_0=(x_{10},x_{20},\cdots ,x_{n0})$ 处有定义. 将 $x_1$ 以外的其他变量当作常数，令 $g(x_1)=f(x_1,x_{20},\cdots ,x_{n0})$，则 $g(x_1)$ 是关于 $x_1$ 的一元函数. 若 $g(x_1)$ 在 $x_{10}$ 处的导数 $g^{\prime }(x_{10})$ 存在，则称其为函数 $f$ 在点 $P_0$ 处关于 $x_1$ 的偏导数，记作 $$f_{x_1}(P_0)\text{or}\frac{\partial f}{\partial x_1}{|}_{P_0}$$

三、二元函数的可微性

  设函数 $f(x,y)$ 在点 $P_0=(x_0,y_0)$ 的某邻域 $U(P_0)$ 内有定义，若对 $U(P_0)$ 中的任意一点 $P=(x,y)=(x_0+\Delta x,y_0+\Delta y)$，函数增量 $\Delta f$ 都可以表示为$$\begin{array}{rl}\Delta f& =f(x_0+\Delta x,y_0+\Delta y)-f(x_0,y_0)\\ & =A\Delta x+B\Delta y+o\left(\sqrt{(\Delta x{)}^2+(\Delta y{)}^2}\right)\end{array}$$其中 $A,B$ 为常数，仅与 $P_0$ 有关，则称函数 $f$ 在 $P_0$ 处可微.

  一元函数情形中，函数增量 $\Delta f$ 可以表示为$$\Delta f=f(x_0+\Delta x)-f(x_0)=A\Delta x+o(\Delta x)$$并求得 $A=f^{\prime }(x_0)$.

  那么在二元函数中 $A,B$又是什么呢？直觉性较强的读者应该能够猜到 $$A=f_x(x_0,y_0),B=f_y(x_0,y_0)$$(不然我为什么要先介绍偏导数呢？嘿嘿 )

下面来证明这个直觉是对的.
$1.$证明 $o\left(\sqrt{(\Delta x{)}^2+(\Delta y{)}^2}\right)=\alpha \Delta x+\beta \Delta y$，其中 $\alpha ,\beta$ 是 $(\Delta x,\Delta y)$ 的函数且满足 $$\underset{(\Delta x,\Delta y)\to (0,0)}{\lim }\alpha =\underset{(\Delta x,\Delta y)\to (0,0)}{\lim }\beta =0$$证明：
$(1)\Leftarrow :$ 证 $\alpha \Delta x+\beta \Delta y=o\left(\sqrt{(\Delta x{)}^2+(\Delta y{)}^2}\right)$ $$\begin{array}{rl}\left|\frac{\alpha \Delta x+\beta \Delta y}{\sqrt{(\Delta x{)}^2+(\Delta y{)}^2}}\right|& =|\alpha \frac{\Delta x}{\sqrt{(\Delta x{)}^2+(\Delta y{)}^2}}+\beta \frac{\Delta y}{\sqrt{(\Delta x{)}^2+(\Delta y{)}^2}}|\\ & \le |\alpha |\left|\frac{\Delta x}{\sqrt{(\Delta x{)}^2+(\Delta y{)}^2}}\right|+|\beta |\left|\frac{\Delta y}{\sqrt{(\Delta x{)}^2+(\Delta y{)}^2}}\right|\\ & \le |\alpha |+|\beta |\end{array}$$两边取极限，得 $$\underset{(\Delta x,\Delta y)\to (0,0)}{\lim }\frac{\alpha \Delta x+\beta \Delta y}{\sqrt{(\Delta x{)}^2+(\Delta y{)}^2}}=0$$因此，$\alpha \Delta x+\beta \Delta y=o\left(\sqrt{(\Delta x{)}^2+(\Delta y{)}^2}\right)$.
$(2)\Rightarrow :$ 证 $o\left(\sqrt{(\Delta x{)}^2+(\Delta y{)}^2}\right)=\alpha \Delta x+\beta \Delta y$，其中 $$\underset{(\Delta x,\Delta y)\to (0,0)}{\lim }\alpha =\underset{(\Delta x,\Delta y)\to (0,0)}{\lim }\beta =0$$  由定义易知，$o\left(\sqrt{(\Delta x{)}^2+(\Delta y{)}^2}\right)=\epsilon \sqrt{(\Delta x{)}^2+(\Delta y{)}^2}$，其中 $\epsilon$ 是 $(\Delta x,\Delta y)$ 的函数且满足 $\underset{(\Delta x,\Delta y)\to (0,0)}{\lim }\epsilon =0$.$$\begin{array}{rl}& \epsilon \sqrt{(\Delta x{)}^2+(\Delta y{)}^2}\\ =& \epsilon \frac{(\Delta x{)}^2+(\Delta y{)}^2}{\sqrt{(\Delta x{)}^2+(\Delta y{)}^2}}\\ =& \frac{\epsilon \Delta x}{\sqrt{(\Delta x{)}^2+(\Delta y{)}^2}}\Delta x+\frac{\epsilon \Delta y}{\sqrt{(\Delta x{)}^2+(\Delta y{)}^2}}\Delta y\end{array}$$令 $\alpha =\frac{\epsilon \Delta x}{\sqrt{(\Delta x{)}^2+(\Delta y{)}^2}},\beta =\frac{\epsilon \Delta y}{\sqrt{(\Delta x{)}^2+(\Delta y{)}^2}}$，则 $$\epsilon \sqrt{(\Delta x{)}^2+(\Delta y{)}^2}=\alpha \Delta x+\beta \Delta y$$ $$|\alpha |=|\epsilon |\left|\frac{\Delta x}{\sqrt{(\Delta x{)}^2+(\Delta y{)}^2}}\right|\le |\epsilon |$$两边取极限，得 $\underset{(\Delta x,\Delta y)\to (0,0)}{\lim }\alpha =0$. 同理可证 $\underset{(\Delta x,\Delta y)\to (0,0)}{\lim }\beta =0$.
因此，$o\left(\sqrt{(\Delta x{)}^2+(\Delta y{)}^2}\right)=\alpha \Delta x+\beta \Delta y$.

$2.$由上述结论，函数增量 $\Delta f$ 可以表示为
$$\begin{array}{rl}\Delta f& =A\Delta x+B\Delta y+o\left(\sqrt{(\Delta x{)}^2+(\Delta y{)}^2}\right)\\ & =A\Delta x+B\Delta y+\alpha \Delta x+\beta \Delta y\end{array}$$其中 $\underset{(\Delta x,\Delta y)\to (0,0)}{\lim }\alpha =\underset{(\Delta x,\Delta y)\to (0,0)}{\lim }\beta =0$.
取 $\Delta y=0$，则 $\Delta f=A\Delta x+\alpha \Delta x=A\Delta x+o(\Delta x)$.
由一元函数可微性及偏导数定义，可得 $A=f_x(x_0,y_0)$. 同理 $B=f_y(x_0,y_0)$.

于是 $$\begin{array}{rl}\Delta f& =f_x(x_0,y_0)\Delta x+f_y(x_0,y_0)\Delta y+o\left(\sqrt{(\Delta x{)}^2+(\Delta y{)}^2}\right)\\ & =c\Delta x+o(\Vert \Delta x\Vert )\end{array}$$其中，$c=(f_x(x_0,y_0),f_y(x_0,y_0)),\Delta x=(\Delta x,\Delta y{)}^T,\Vert \Delta x\Vert =\sqrt{(\Delta x{)}^2+(\Delta y{)}^2}$.

四、$n$ 元函数的可微性

新酒装旧壶
  设 $n$ 元函数 $f(x)(x=(x_1,x_2,\cdots ,x_n{)}^T)$ 在点 $x_0=(x_{10},x_{20},\cdots ,x_{n0}{)}^T$ 的某邻域 $U(x_0)$ 内有定义，若对 $U(x_0)$ 中的任意一点 $x=x_0+\Delta x(\Delta x=(\Delta x_1,\Delta x_2,\cdots ,\Delta x_n{)}^T)$，函数增量 $\Delta f$ 都可以表示为$$\begin{array}{rl}\Delta f& =f(x_0+\Delta x)-f(x_0)\\ & =c_1\Delta x_1+c_2\Delta x_2+\cdots +c_n\Delta x_n+o(\Vert \Delta x\Vert )\end{array}$$其中 $c_1,c_2,\cdots ,c_n$ 为常数，仅与 $x_0$ 有关，则称函数 $f$ 在 $x_0$ 处可微.

同理可证，$o(\Vert \Delta x\Vert )={\epsilon }_1\Delta x_1+{\epsilon }_2\Delta x_2+\cdots +{\epsilon }_n\Delta x_n$，其中 $\underset{\Delta x\to 0}{\lim }{\epsilon }_i=0$.
同理亦可证，$c_i=f_{x_i}(x_0)$.

令 $c=(c_1,c_2,\cdots ,c_n)=(f_{x_1}(x_0),f_{x_2}(x_0),\cdots ,f_{x_n}(x_0))$，

则 $\Delta f=c\Delta x+o(\Vert \Delta x\Vert )$，其中 $dy=c\Delta x$ 称为全微分.

由此推知 $n$ 元函数的导数为 $$f^{\prime }(x)=(f_{x_1}(x),f_{x_2}(x),\cdots ,f_{x_n}(x))=(\frac{\partial f}{\partial x_1},\frac{\partial f}{\partial x_2},\cdots ,\frac{\partial f}{\partial x_n})$$咦？这不就是梯度吗？或者说是梯度的转置

那，微分怎么就是线性近似了呢？
  不急不急，先来看下 $n$ 维空间中的超平面，定义为 $\{x|cx=d,c(c\ne 0)$ 为"平面"的法向量(行向量)，$d$ 为常数$\}\subset R^n$.
 $n=2$ 时，是平面 $R^2$ 中的一条直线；
 $n=3$ 时，是三维空间 $R^3$ 中的一个平面；
 $n>3$ 时，便是 $R^n$ 中的超平面.

  有了微分，我们便可以据此给出 $x_0$ 附近 $x$ 处函数的估计值，即 $\hat{f}(x)=f(x_0)+dy=f(x_0)+f^{\prime }(x_0)(x-x_0)$.

令 $c=(f^{\prime }(x_0),-1)$，令 $x_{new}=(x^T,\hat{f}(x){)}^T,x_{old}=(x_0^T,f(x_0){)}^T$，

则 $c{x}_{new}=c{x}_{old}=d_0$.

因此，近似点 $x_{new}$ 与已知点 $x_{old}$ 位于同一超平面上，这便是线性近似.

 一元函数，近似点位于切线上；
 二元函数，近似点位于切平面上；
 $n$ 元函数，近似点位于 $R^{n+1}$ 中的“切超平面”上.

五、向量函数的导数

(这部分可以跳过，不影响对“微分”的理解，写出来是为了保证文章的完整性)

换汤不换药
  什么是向量函数？简单来讲，就是函数"值"不再是数(实数或复数)，而是向量. 具体定义如下：
  设 $X\subset R^n,Y\subset R^m$，若对任意的 $x\in X$，都存在唯一的 $y\in Y$ 与之对应，则将此映射称为向量函数，记作 $$\begin{array}{rl}f:X& \to Y\\ x& \mapsto y\end{array}$$

嘶，向量到向量的映射，啊，这让人怎么想象？
  让我来给您解释一下：记 $f(x)=(f_1(x),f_2(x),\cdots ,f_m(x){)}^T$，则 $f_i(x)$ 为 $n$ 元函数. 于是，向量函数便可以理解为 $m$ 个 $n$ 元函数拼成的东东.

emm，$n$元函数的导数是个向量，那向量函数的导数该是什么？
数学直觉动起来，没错，答案就是——矩阵，下面来验证这一猜想.

  先来回顾下多元函数(可微时)函数增量的表达式
$$\Delta f_i=f_i(x_0+\Delta x)-f_i(x_0)=c_i\Delta x+o(\Vert \Delta x\Vert )$$其中 $c_i=f_i^{\prime }(x_0)$. 把这些 $\Delta f_i$ 拼起来，$$\Delta f=\left(\begin{array}{c}\Delta f_1\\ \Delta f_2\\ ⋮\\ \Delta f_m\end{array}\right)=\left(\begin{array}{c}{c}_1\\ c_2\\ ⋮\\ c_m\end{array}\right)\Delta x+o(\Vert \Delta x\Vert )=A\Delta x+o(\Vert \Delta x\Vert )$$其中 $$A=\left(\begin{array}{c}{c}_1\\ c_2\\ ⋮\\ c_m\end{array}\right)=\left(\begin{array}{c}{f}_1^{\prime }(x_0)\\ f_2^{\prime }(x_0)\\ ⋮\\ f_m^{\prime }(x_0)\end{array}\right)=\left(\begin{array}{cccc}\frac{\partial f_1}{\partial x_1}& \frac{\partial f_1}{\partial x_2}& \cdots & \frac{\partial f_1}{\partial x_n}\\ \frac{\partial f_2}{\partial x_1}& \frac{\partial f_2}{\partial x_2}& \cdots & \frac{\partial f_2}{\partial x_n}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{\partial f_m}{\partial x_1}& \frac{\partial f_m}{\partial x_2}& \cdots & \frac{\partial f_m}{\partial x_n}\end{array}\right)$$ $A$ 就是向量函数 $f$ 的导数，有时也被称为 $f$ 的 $Jacobi$ 矩阵，记作 $J_f(x_0)$.

  巧的是，这样得到的导数同样满足求导的链式法则.

补充两个例子

$1.f(x)=Ax$，$A$ 为 $m\times n$ 阶矩阵.
$$f(x)=\left(\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}& a_{m2}& \cdots & a_{mn}\end{array}\right)\left(\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right)=\left(\begin{array}{c}{a}_{11}{x}_1+a_{12}{x}_2+\cdots +a_{1n}{x}_n\\ a_{21}{x}_1+a_{22}{x}_2+\cdots +a_{2n}{x}_n\\ ⋮\\ a_{m1}{x}_1+a_{m2}{x}_2+\cdots +a_{mn}{x}_n\end{array}\right)=\left(\begin{array}{c}{f}_1\\ f_2\\ ⋮\\ f_n\end{array}\right)$$
则
$$f^{\prime }(x)=\left(\begin{array}{cccc}\frac{\partial f_1}{\partial x_1}& \frac{\partial f_1}{\partial x_2}& \cdots & \frac{\partial f_1}{\partial x_n}\\ \frac{\partial f_2}{\partial x_1}& \frac{\partial f_2}{\partial x_2}& \cdots & \frac{\partial f_2}{\partial x_n}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{\partial f_m}{\partial x_1}& \frac{\partial f_m}{\partial x_2}& \cdots & \frac{\partial f_m}{\partial x_n}\end{array}\right)=\left(\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}& a_{m2}& \cdots & a_{mn}\end{array}\right)=A$$
$2.f(x)=x^{T}Ax$，$A$ 为 $n$ 阶方阵.
$$\begin{array}{rl}f(x)& =a_{11}{x}_1{x}_1+a_{12}{x}_1{x}_2+\cdots +a_{1n}{x}_1{x}_n\\ & +a_{21}{x}_2{x}_1+a_{22}{x}_2{x}_2+\cdots +a_{2n}{x}_2{x}_n\\ & +\cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \\ & +a_{n1}{x}_n{x}_1+a_{n2}{x}_n{x}_2+\cdots +a_{nn}{x}_n{x}_n\end{array}$$则
$$\begin{array}{rl}\frac{\partial f}{\partial x_1}& =2a_{11}{x}_1+a_{12}{x}_2+\cdots +a_{1n}{x}_n+a_{21}{x}_2+a_{31}{x}_3+\cdots +a_{n1}{x}_n\\ & =(a_{11}+a_{11})x_1+(a_{12}+a_{21})x_2+\cdots +(a_{1n}+a_{n1})x_n\\ & =\left(\begin{array}{cccc}{a}_{11}+a_{11}& a_{12}+a_{21}& \cdots & a_{1n}+a_{n1}\end{array}\right)\left(\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right)\end{array}$$则
$$\nabla f=\left(\begin{array}{c}\frac{\partial f}{\partial x_1}\\ \frac{\partial f}{\partial x_2}\\ ⋮\\ \frac{\partial f}{\partial x_n}\end{array}\right)=\left(\begin{array}{cccc}{a}_{11}+a_{11}& a_{12}+a_{21}& \cdots & a_{1n}+a_{n1}\\ a_{21}+a_{12}& a_{22}+a_{22}& \cdots & a_{2n}+a_{n2}\\ ⋮& ⋮& \ddots & ⋮\\ a_{n1}+a_{1n}& a_{n2}+a_{2n}& \cdots & a_{nn}+a_{nn}\end{array}\right)\left(\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right)=(A+A^T)x$$  特别地，若 $A=A^T$，则 $\nabla f=2Ax$.

作者留言

  线性近似其实是"一次多项式"近似，那更高次数的多项式近似是什么？

  答案是泰勒展开，欲知后事如何，请看下回分解.

参考文献：
1.华东师范大学数学系.数学分析(下册)[M].第四版.北京:高等教育出版社,2010.

Plus: 如有错误、可以改进的地方、或任何想说的，请在评论区留言！