矩阵求导和向量求导思想

矩阵求导和向量求导思想

其实这一篇教程，并不说告诉大家，怎么取做矩阵求导和向量求导，更多的讲，矩阵求导和向量求导的思想。
即使大家学过高等数学、线性代数，对于矩阵求导应该是是几乎不熟悉的，因为上面两门课程是不讲矩阵和向量怎么求导。
其实矩阵求导和向量求导应该说分为很多形式：
再说矩阵求导和向量求导的一些形式之前，我们要引入一些概念

（1）标量：标量其实就是一个值哈，大家先这么认为就可以了，就是一个值，这个值可能是自变量也可能是因变量的数值。
（2）向量：这个大家应该懂
（3）矩阵：矩阵大家应该也懂。

那么现在举例矩阵求导和向量求导的一些形式：

1.向量对标量求导

这个很简单了哈，比如
x是一个标量，就是一个值
f(x)=[x,x+2,x+2,x+3,x+4,xx]
f(x)是一个向量 (1 X 5)，那么这个怎么求导呢？
也就是f(x)怎么对x求导呢，这个求导，这里我们就要讲到矩阵求导和向量求导思想-逐项求导，注意逐项求导，很重要，当你进行矩阵求导和向量求导的时候就想起这句话：
那么f(x)对于x求导就等于一个向量[1,1,1,1,2x]。并不难哈

2.矩阵对标量求导，这个跟上面原理是一样的，逐项求导
就是w是一个矩阵
那么求导之后还是一个矩阵，其中对应着矩阵中每一项对每一个元素的求导。

3.标量对向量求导
标量对向量求导咋回事呢？
x是一个向量
$f(x)=3x_{T}x$
那么你可发现，f(x)是一个标量
此时f(x)对x求导得到的就是一个向量，求导方法，还是逐项求导，就是f(x)对x中每一项的值进行求导，求导后的值组成一个向量。

4.标量对矩阵求导

标量对矩阵求导思想还是逐项求导，但是得到的还是一个矩阵，就是反过来啊，标量每次分别对矩阵中的每个值进行一次求导，求导结果最后会组成一个矩阵，也就是梯度矩阵。

5.向量对向量求导
向量对向量求导，这个是什么意思呢
x是一个向量
$f(x)=[x_{T}x,2x_{T}x,,3x_{T}x,4x_{T}x]$

f(x)此时也是一个向量，且是一个向量函数，那么原理和上面还是一样，逐项求导，
我们先把问题转化为值对向量求导，就是先用f(x)中的每个值先对x求导，每一个求导结果作为一个向量的组成项，之后值对向量求导，每一项有转化成一个向量，所以，向量对向量求导得到的是一个矩阵。

总结一下哈：主要还是逐项求导的原则。