人工智能数学基础-微积分-Hessian矩阵

微积分

Hessian矩阵

Hessain Matrix，又译作海森矩阵，海瑟矩阵，海塞矩阵等，是一个多元函数的二阶偏导数构成的方针，描述了函数的局部曲率。
定义1
设$f(x)$是一个二阶可微分的标量函数，其中
　　　　　　　　 $x$=($x$₁,$x$₂,…,$x$_n)^T。
那么定义$f(x)$对$x$的海森矩阵为 $\frac{{\partial }^{2}f(x)}{\partial x\partial x^T}$¹
[外链图片转存失败(img-Eb5h6ikx-1562341601098)(https://wikedia.ori/api/rest_v1/media/math/renmgder/svg/83089799598cb3ca80e455b65c499b4146138e7f2)]
理解： 二次微分矩阵就是对分母待微变量依次求导，最后得出来的结果就是二次微分结果，顺序任意！

正定矩阵(正定性)

• 广义定义：设M是n阶方阵，如果对任何非零向量z，都有$z^{T}Mz$> 0，其中$z^T$ 表示z的转置，就称M为正定矩阵。

---

1. Latex公式为：$\displaystyle\frac{\partial^2f(x)}{\partial x\partial x^T}$ ↩︎