理解雅可比矩阵和海森矩阵

简介

       二阶导数表示的导数的变化规律，如果函数是一条曲线，且曲线存在二阶导数，那么二阶导数表示的是曲线的曲率，曲率越大，曲线越是弯曲。以此类推，多维空间中的一个点的二阶导数就表示该点梯度下降的快慢。以二维图像为例，一阶导数是图像灰度变化即灰度梯度，二阶导数就是灰度梯度变化程度。

       Jacobian相当于一阶导数，Hessian相当于二阶导数， 一阶导数的零点是函数极值点，二阶导数的零点就是一阶导数的极值点。 信号的一阶导数的极值点反映了信号变化的最剧烈程度。有些时候求解极值点是不方便的，找到二阶导数的零点可以更好的帮助解决问题。

       在工程实际问题的优化设计中，所列的目标函数往往很复杂，为了使问题简化，常常将目标函数在某点邻域展开成泰勒多项式来逼近原函数，此时函数在某点泰勒展开式的矩阵形式中会涉及到海森矩阵。海森矩阵常用于牛顿法解决优化问题，利用海森矩阵可判定多元函数的极值问题。对于非线性优化问题, 牛顿法提供了一种求解的办法：假设任务是优化一个目标函数F(X), 求函数F(x)的极大极小问题,。可以转化为求解函数的导数F′=0的问题, 这样求可以把优化问题看成方程求解问题。海森矩阵被应用于牛顿法解决的大规模(多变量)优化问题。

雅各比矩阵

       雅可比矩阵类似于多元函数的导数，也即是函数对各个自变量的一阶导数.。在某个给定点的雅可比行列式提供了 在接近该点时的表现的重要信息. 例如, 如果连续可微函数F在p点的雅可比行列式不是零, 那么它在该点附近具有反函数. 这称为反函数定理. 更进一步, 如果p点的雅可比行列式是正数, 则F在p点的取向不变；如果是负数, 则F的取向相反. 而从雅可比行列式的绝对值, 就可以知道函数F在p点的缩放因子；

海森矩阵

       对于一个维度为n的函数f
                               
       其在n维空间某点处的海森矩阵可以表达为如下：

       在二维图像中，海森矩阵是二维正定矩阵，有两个特征值和对应的两个特征向量。两个特征值表示出了图像在两个特征向量所指方向上图像变化的各向异性。

       图像中的点性结构具有各项同性，而线性结构具有各向异性。因此我们可以利用海森矩阵对图像中的线性结构进行增强，滤去点状的结构和噪声点。同样，也可以用于找出图像中的点状结构，滤除其他信息。

       我们在使用海森矩阵时，不需要把图像进行泰勒展开，我们只需要直接求取矩阵中的元素即可。一般，对数字图像进行二阶求导使用的是以下方法；

       但是这种方法鲁棒性很差，容易受到图像中局部信号的干扰， 计算量很大也不实际拿来使用在图像计算中。根据线性尺度空间理论（LOG），对一个函数求导，等于函数与高斯函数导数的卷积。由于高斯模板可以将周围一矩形范围内所有的点的信息都包含进来，这样就不会有误差。所以利用图像求取hessian矩阵中的元素时，将图像与高斯函数的二阶导数做卷积即可，式子如下；

       下面是高斯函数的二阶偏导。

       使用高斯核进行卷积时候，参数sigma 大小以及窗口大小会影响最终结果。求导窗口的大小有关，求导窗口太小，很多粗的结构会出现中空的现象，因为中心区域被认为是点结构了；求导窗口太大，就容易出现细微结构丢失的情况。

更多详细内容可以参考链接