Jacobian矩阵的理解

Jacobian矩阵的理解

前言

学习RNN时看到Jacobian矩阵时我的内心是崩溃的，啥是Jacobian矩阵，怎么活生生就蹦出来一个Jacobian矩阵，说好的bp算法只用求导呢，然后就开始扒Jacobian矩阵的知识，顺便补点数学知识（对不起线代老师啊.泪目）

数学知识强补

这里数学知识的引用来自：向量/矩阵求导强行补救



看到第8条就够了，想看更多的原文链接已经贴在上面了

Jacobian矩阵的进一步理解

接着贴?：【数学】对向量的求导和Jacobian矩阵的几何意义与Hessian矩阵
这篇博文对雅各比矩阵进行了比较详细的解释和补充，但是可能还是有些地方不够详尽，我就根据自己的理解配合博文进行进一步解释

1.首先解释一下这里的符号 Rn-R指的是n元向一元的映射关系。同理，Rn-Rm就是指的n元（x）向m元（y）的映射关系。
2.所谓的换元变换（坐标变换）指的就是一个空间的基数向另一个空间的基数的映射。说白的就是线性变换

所以，说到底，雅各比矩阵就是方程组的求导所构成的一个矩阵

接下来进一步理解

第一行是直线近似代替曲线
这里说的就是一个线性方程组：
θ1，θ2——x
θ1，θ2——y
接着分别求x，y的梯度：

将上述方程组向量化：

然后我们就发现了Jacobian矩阵啊。这里的x相当于前面讲解的y1，y相当于y2，（就是说相当于向量(x,y)对向量（θ1，θ2）求导）。
这里也就能理解为什么说导数就是线性空间直线的线性变换，或者是导数就是在切空间到切空间之间的线性映射。说白了可以看作是从θ1和θ2微分到x,y微分的映射，映射关系就是向量(x,y)对向量（θ1，θ2）的导数，而这个倒数就是我们说的雅各比矩阵。
所以，到这里雅各比矩阵的理解就清晰许多了~~（吃完饭接着更）~~
——————————————————分割线————————————————————————
时隔两年，淦！！兄弟们我回来了。我也忘了下面要更啥的，应该是海森Hessian矩阵。既然这么多兄弟再看，所以就把这个坑补上吧（我也自己刚复习了一边上面自己讲的）

海森Hessian矩阵
理解玩雅各比矩阵以后hessian矩阵就好说了，无非是再求导而已：

我们可以把Jacobian矩阵看作是一个普通的函数，那么，再对这个函数就一阶导，同理就可以
由

得到

原谅我打公式实在太难收了，所以直接截图了。大家有问题可以私信联系我