黑塞矩阵和雅可比矩阵理解

---

---

个人笔记：

1：一元泰勒展开公式

举例：f(x) = 3x² + 2x + 5 在x=0或x=1处的泰勒展开

当x=0时：

当x=1时：

不论Xk等于多少，最后展开得公式相加都是等于f(x) = 3x² + 2x + 5

2：二元泰勒展开公式

x 和 y在k处的泰勒展开：

简化：

简化：
①
$f_{xx}^{\prime \prime }$是对 x 求两次导。

②
$f_{xy}^{\prime \prime }$是先对x求一次导，然后再对y求一次导。

③
$f_{yx}^{\prime \prime }$是先对y求一次导，然后再对x求一次导。
（其中③ = ②）

④
$f_{yy}^{\prime \prime }$是对 y 求两次导。

3：二元函数的黑塞矩阵

二元函数点 $f(x_1,x_2)$ 在 $X^{(k)}(x_1^{(k)},x_2^{(k)})$处的泰勒展开式为：

其中$\Delta x_1$ = $x_1$ − $x_1^{(k)}$ , $\Delta x_2$ = $x_2$ − $x_2^{(k)}$

即：

（1）：其中

它是$f(X)$在$X^{(k)}$点处的梯度。

（2）：$G(X^{(k)})$是$f(x_1,x_2)$在$X^{(k)}$处的黑塞矩阵。它是由函数$f(x_1,x_2)$在$X^{(k)}$处的二阶偏导数所组成的方阵。

4：多元函数的黑塞矩阵

1：多元函数$f(x_1,x_2,...,x_n)$在点 $x^{(k)}$处的泰勒展开式为：
把泰勒（Taylor）展开式写成矩阵的形式：
其中：

它是$f(X)$在$X^{(k)}$点处的梯度。
（2）：$G(X^{(k)})$是$f(x_1,x_2,...,x_n)$在$X^{(k)}$处的黑塞矩阵。它是由函数$f(x_1,x_2,...,x_n)$在$X^{(k)}$处的二阶偏导数所组成 $n\ast n$阶方阵。

2：

举例：

5：多元函数的雅可比矩阵（Jacobian矩阵）

1.概述
设$f$: $R^n$ → $R^m$是一个函数，它的输入是向量$x\in R^n$，输出是向量 $y=f(x)\in R^m$，并且$m\ge n$是一个从欧式$n$维空间转换到欧式$m$维空间的函数，这个函数由$m$个实函数组成: $f_1(x_1,\dots ,x_n)$,…,$f_m(x_1,\dots ,x_n)$这些函数的偏导数(如果存在)可以组成一个$m\ast n$的矩阵, 这就是所谓的Jacobian矩阵：

那么雅可比矩阵是一个 $m\times n$ 矩阵，通常被定义为

2:举例
来看一个实际的数据拟合过程，输入：
自变量：$x=${ $1,2,4,5,8$ }
因变量：$y=${ $3.2939,4.2699,7.1749,9.3008,20.259$ }

目标：用函数 $f=p_1\ast e^{p_2\ast x}-y$ 进行拟合，这里自变量$x$，因变量$y$，参数$p_1$和$p_2$，对参数$p_1$和$p_2$进行求导：

$e^{p\ast x}$对$p$进行求导得：$x\ast e^{p\ast x}$

雅可比矩阵描述：

Jacobian矩阵 =

[   exp(p2),     p1*exp(p2)]
[ exp(2*p2), 2*p1*exp(2*p2)]
[ exp(4*p2), 4*p1*exp(4*p2)]
[ exp(5*p2), 5*p1*exp(5*p2)]
[ exp(8*p2), 8*p1*exp(8*p2)]

即：

参考文献

黑森矩阵

黑塞矩阵和雅克比矩阵

雅克比矩阵1

雅克比矩阵2
雅可比矩阵直观图像理解