海森矩阵(Hessian matrix 或 Hessian)

数学中,海森矩阵Hessian matrix 或 Hessian)是一个自变量为向量的实值函数的二阶偏导数组成的方块矩阵,此函数如下:

如果 f 所有的二阶导数都存在,那么 f 的海森矩阵即:

H(f)ij(x) = DiDjf(x)

其中 ,即

(也有人把海森定义为以上矩阵的行列式) 海森矩阵被应用于牛顿法解决的大规模优化问题。

混合偏导数和海森矩阵的对称性

海森矩阵的混合偏导数是海森矩阵非主对角线上的元素。假如他们是连续的,那么求导顺序没有区别,即

上式也可写为

在正式写法中,如果 f 函数在区域 D 内连续并处处存在二阶导数,那么 f的海森矩阵在 D 区域内为对称矩阵

在 → 的函数的应用

给定二阶导数连续的函数,海森矩阵的行列式,可用于分辨 f 的临界点是属于鞍点还是极值点

对于 f 的临界点 (x0,y0) 一点,有 ,然而凭一阶导数不能判断它是鞍点、局部极大点还是局部极小点。海森矩阵可能解答这个问题。

  • H > 0 :若,则(x0,y0)是局部极小点;若,则(x0,y0)是局部极大点。
  • H < 0 :(x0,y0)是鞍点。
  • H = 0 :二阶导数无法判断该临界点的性质,得从更高阶的导数以泰勒公式考虑。

你可能感兴趣的:(hessian)