矩阵求导和向量求导思想

矩阵求导和向量求导思想

其实这一篇教程,并不说告诉大家,怎么取做矩阵求导和向量求导,更多的讲,矩阵求导和向量求导的思想。
即使大家学过高等数学、线性代数,对于矩阵求导应该是是几乎不熟悉的,因为上面两门课程是不讲矩阵和向量怎么求导。
其实矩阵求导和向量求导应该说分为很多形式:
再说矩阵求导和向量求导的一些形式之前,我们要引入一些概念

(1)标量:标量其实就是一个值哈,大家先这么认为就可以了,就是一个值,这个值可能是自变量也可能是因变量的数值。
(2)向量:这个大家应该懂
(3)矩阵:矩阵大家应该也懂。

那么现在举例矩阵求导和向量求导的一些形式:

1.向量对标量求导

这个很简单了哈,比如
x是一个标量,就是一个值
f(x)=[x,x+2,x+2,x+3,x+4,xx]
f(x)是一个向量 (1 X 5),那么这个怎么求导呢?
也就是f(x)怎么对x求导呢,这个求导,这里我们就要讲到矩阵求导和向量求导思想-逐项求导,注意逐项求导,很重要,当你进行矩阵求导和向量求导的时候就想起这句话:
那么f(x)对于x求导就等于一个向量[1,1,1,1,2
x]。并不难哈

2.矩阵对标量求导,这个跟上面原理是一样的,逐项求导
就是w是一个矩阵
那么求导之后还是一个矩阵,其中对应着矩阵中每一项对每一个元素的求导。

3.标量对向量求导
标量对向量求导咋回事呢?
x是一个向量
f ( x ) = 3 x T x f(x)=3x_Tx f(x)=3xTx
那么你可发现,f(x)是一个标量
此时f(x)对x求导得到的就是一个向量,求导方法,还是逐项求导,就是f(x)对x中每一项的值进行求导,求导后的值组成一个向量。

4.标量对矩阵求导

标量对矩阵求导思想还是逐项求导,但是得到的还是一个矩阵,就是反过来啊,标量每次分别对矩阵中的每个值进行一次求导,求导结果最后会组成一个矩阵,也就是梯度矩阵。

5.向量对向量求导
向量对向量求导,这个是什么意思呢
x是一个向量
f ( x ) = [ x T x , 2 x T x , , 3 x T x , 4 x T x ] f(x)=[x_Tx,2x_Tx,,3x_Tx,4x_Tx] f(x)=[xTx,2xTx,,3xTx,4xTx]

f(x)此时也是一个向量,且是一个向量函数,那么原理和上面还是一样,逐项求导,
我们先把问题转化为值对向量求导,就是先用f(x)中的每个值先对x求导,每一个求导结果作为一个向量的组成项,之后值对向量求导,每一项有转化成一个向量,所以,向量对向量求导得到的是一个矩阵。

总结一下哈:主要还是逐项求导的原则。

你可能感兴趣的:(数学,机器学习,矩阵,线性代数,机器学习)