矩阵，向量，以及标量之间的求导

不得不说矩阵真的是一门高深而又通用的学问。 关于雅可比行列式，雅可比矩阵，海森矩阵，协方差矩阵，KL散度，相关系数，F值/P
值，显著性分析，回归分析归一化([0,1],[-1,+1])，PCA/ZCA，矩阵求逆，奇异矩阵，幺矩阵，对角阵，对称矩阵，单位矩阵，矩阵的特征值分解，奇异值分解等等，发现相互之间都是有或多或少的联系。

本篇博客转载自：https://blog.csdn.net/daaikuaichuan/article/details/80620518

主要介绍矩阵，向量，以及标量之间的相互求导，对于深入理解深度学习梯度下降算法很有用(MLP/CNN我就不说了，像RNN中可能就会出现雅可比矩阵。。)，其实要是结合像现在的一些深度学习框架的代码学习就更好了，光看这个确实有点不够。
虽然暂时还没有完全弄懂，先记下来吧。。

一、矩阵求导

  一般来讲，我们约定x=(x1,x2,...xN)Tx=(x1,x2,...xN)T，这是分母布局。常见的矩阵求导方式有：向量对向量求导，标量对向量求导，向量对标量求导。

1、向量对向量求导

2、标量对向量求导

3、向量对标量求导

其他的可以参考wiki：维基百科矩阵求导公式

二、几种重要的矩阵

1、梯度（Gradient）

2、雅克比矩阵（Jacobian matrix）

3、海森矩阵（Hessian matrix）

三、常用的矩阵求导公式

参考：
https://blog.csdn.net/xtydtc/article/details/51133903
https://blog.csdn.net/yc461515457/article/details/49682473