偏导数，雅可比矩阵（jacobi matrix），黑塞矩阵（Hessian matrix）

这里我们大致地复习一下偏导数，雅克比矩阵以及黑塞矩阵的定义和关系。

导数向量与雅克比矩阵（Jacobi matrix）

函数的某个因变量对某个自变量求的导数即为它们关于函数的偏导数。当因变量为一元的情况下，各个自变量的偏导数组成了导数向量.当函数因变量为多元的情况下，函数的导数可由jacobi matrix来描述。E.g., 现有一函数可将m维的自变量映射到n维的因变量上，也就是说该函数由n个子函数构成$y_1(x_1,...,x_m),...,y_n(x_1,...,x_m)$.而jacobi matrix则由这些自变量和因变量之间的偏导数组成，构成一个n行m列的矩阵：
$$\left[\begin{array}{ccc}\frac{\partial y_1}{\partial x_1}& \cdots & \frac{\partial y_1}{\partial x_m}\\ ⋮& \ddots & ⋮\\ \frac{\partial y_n}{\partial x_1}& \cdots & \frac{\partial y_n}{\partial x_m}\end{array}\right]\text{\hspace{1em}(3)}$$
这个Jacobi matrix可以写作$J_F(x_1,...,x_m)$,或者是$\frac{\partial (y_1,...,y_n)}{\partial (x_1,...,x_m)}$。

黑塞矩阵（Hessian matrix）

一句话来讲，Hessian matrix是多元函数（单因变量）的二阶偏导数组成的方阵，它也可以被理解为该函数的一阶导数向量的Jacobi matrix!当函数满足：
$$y=f(x_1,...,x_m)$$该函数存在一阶偏导数向量：
$$[\frac{\partial y}{\partial x_1},...\frac{\partial y}{\partial x_m}]$$.若该函数存在二阶导数，则其Hessian matrix $H(f)$为：
$$\left[\begin{array}{ccc}\frac{{\partial }^{2}y}{\partial x_1^2}& \cdots & \frac{{\partial }^{2}y}{\partial x_1\partial x_m}\\ ⋮& \ddots & ⋮\\ \frac{{\partial }^{2}y}{\partial x_m\partial x_1}& \cdots & \frac{{\partial }^{2}y}{\partial x_m^2}\end{array}\right]\text{\hspace{1em}(3)}$$