矩阵求导

参考博客:
矩阵求导、几种重要的矩阵及常用的矩阵求导公式
闲话矩阵求导

1.布局

矩阵的求导是有布局的概念的,布局主要分为分子布局和分母布局,在我看来,分子布局就是被积项是一个行向量,分母布局被积项使列向量,而我们大部分情况都是默认一个向量为列向量,所以我们一般的求导都是分母布局,而本文所有的公式都是依照分母布局

2.基本公式

依我所见,矩阵求导只不过是矩阵的各部分对各个变量分开求导,然后又将分开求导的结果写成矩阵形式

规定$\mathbf{x}$为列向量:
$$\mathbf{x}=(x_1,x_2,\cdots ,x_n{)}^T$$

2.1标量对向量求导

也就是分别对每个元素求导

$$\frac{\partial y}{\partial \mathbf{x}}=\left[\begin{array}{c}\frac{\partial y}{\partial x_1}\\ \\ \frac{\partial y}{\partial x_2}\\ \\ ⋮\\ \\ \frac{\partial y}{\partial x_n}\end{array}\right]$$

2.2 向量对向量求导

规定列向量$\mathbf{y}$为
$$\mathbf{y}=(y_1,y_2,...,y_n{)}^T$$
那么此时
$$\frac{\partial \mathbf{y}}{\partial \mathbf{x}}=\left[\begin{array}{cccc}\frac{\partial y_1}{\partial \mathbf{x}}& \frac{\partial y_2}{\partial \mathbf{x}}& \cdots & \frac{\partial y_n}{\partial \mathbf{x}}\end{array}\right]=\left[\begin{array}{cccc}\frac{\partial y_1}{\partial x_1}& \frac{\partial y_2}{\partial x_1}& \cdots & \frac{\partial y_n}{\partial x_1}\\ & & & \\ \frac{\partial y_1}{\partial x_2}& \frac{\partial y_2}{\partial x_2}& \cdots & \frac{\partial y_n}{\partial x_2}\\ & & & \\ ⋮& ⋮& \ddots & ⋮\\ & & & \\ \frac{\partial y_1}{\partial x_n}& \frac{\partial y_2}{\partial x_n}& \cdots & \frac{\partial y_n}{\partial x_n}\end{array}\right]$$
假如$\mathbf{y}$为行向量,也是同样的结果

可以看到分母布局,所以矩阵每一行的被积元素对应着分母的每一个元素

这里没有设计到矩阵的求导,因为我们可以吧矩阵考虑为一个向量再去分析

3.推导公式

3.1

对任意行向量$\mathbf{w}$
$$\mathbf{w}=(w_1,w_2,\cdots ,w_n)$$
都有
$$\begin{gathered} \frac{\partial (\mathbf{w}\mathbf{x})}{\partial \mathbf{x}}= \\ \left[\begin{array}{c}\frac{\partial (\mathbf{w}\mathbf{x})}{x_1}\\ \\ \frac{\partial (\mathbf{w}\mathbf{x})}{x_2}\\ \\ ⋮\\ \\ \frac{\partial (\mathbf{w}\mathbf{x})}{x_n}\end{array}\right]=\left[\begin{array}{c}\frac{\partial (w_1{x}_1+w_2{x}_2+\cdots +w_n{x}_n)}{x_1}\\ \\ \frac{\partial (w_1{x}_1+w_2{x}_2+\cdots +w_n{x}_n)}{x_2}\\ \\ ⋮\\ \\ \frac{\partial (w_1{x}_1+w_2{x}_2+\cdots +w_n{x}_n)}{x_n}\end{array}\right]=\left[\begin{array}{c}{w}_1\\ \\ w_2\\ \\ ⋮\\ \\ w_n\end{array}\right]={\mathbf{w}}^T \end{gathered}$$
同时注意,如果$\mathbf{w}$表示一个列向量,则
$$\frac{\partial ({\mathbf{x}}^{\mathbf{T}}\mathbf{w})}{\partial \mathbf{x}}=\mathbf{w}$$
(这个可以自己推导)

3.2第二

$\mathbf{A}$表示一个矩阵,其中${\mathbf{a}}_1,{\mathbf{a}}_2,\cdots ,{\mathbf{a}}_{\mathbf{n}}$表示行向量
$$\mathbf{A}=({\mathbf{a}}_1,{\mathbf{a}}_2,\cdots ,{\mathbf{a}}_{\mathbf{n}}{)}^T$$
都有
$$\frac{\partial (\mathbf{A}\mathbf{x})}{\partial \mathbf{x}}=\frac{\partial ({\mathbf{a}}_1\mathbf{x},{\mathbf{a}}_2\mathbf{x},\cdots ,{\mathbf{a}}_{\mathbf{n}}\mathbf{x}{)}^T}{\partial \mathbf{x}}=({{\mathbf{a}}_1}^T,{{\mathbf{a}}_2}^T,\cdots ,{{\mathbf{a}}_{\mathbf{n}}}^T)={\mathbf{A}}^T$$
(这里用到了上面的3.1的公式)

$\mathbf{B}$表示一个矩阵,其中${\mathbf{b}}_1,{\mathbf{b}}_2,\cdots ,{\mathbf{b}}_{\mathbf{n}}$表示列向量(注意这个和刚才不同,这里表示列向量)
$$\mathbf{B}=({\mathbf{b}}_1;{\mathbf{b}}_2;\cdots ;{\mathbf{b}}_{\mathbf{n}})$$
都有
$$\frac{\partial ({\mathbf{x}}^{\mathbf{T}}\mathbf{B})}{\partial \mathbf{x}}=\frac{\partial ({\mathbf{x}}^{\mathbf{T}}{\mathbf{b}}_1,{\mathbf{x}}^{\mathbf{T}}{\mathbf{b}}_2,\cdots ,{\mathbf{x}}^{\mathbf{T}}{\mathbf{b}}_{\mathbf{n}}{)}^T}{\partial \mathbf{x}}=({\mathbf{b}}_1,{\mathbf{b}}_2,\cdots ,{\mathbf{b}}_{\mathbf{n}})=\mathbf{B}$$

3.3

$$\begin{gathered} \frac{\partial ({\mathbf{x}}^{\mathbf{T}}\mathbf{x})}{\partial \mathbf{x}}= \\ \left[\begin{array}{c}\frac{\partial {\mathbf{x}}^{\mathbf{T}}\mathbf{x}}{x_1}\\ \\ \frac{\partial {\mathbf{x}}^{\mathbf{T}}\mathbf{x}}{x_2}\\ \\ ⋮\\ \\ \frac{\partial {\mathbf{x}}^{\mathbf{T}}\mathbf{x}}{x_n}\end{array}\right]=\left[\begin{array}{c}\frac{\partial (x_1^2+x_2^2+\cdots +x_n^2)}{x_1}\\ \\ \frac{\partial (x_1^2+x_2^2+\cdots +x_n^2)}{x_2}\\ \\ ⋮\\ \\ \frac{\partial (x_1^2+x_2^2+\cdots +x_n^2)}{x_n}\end{array}\right]=\left[\begin{array}{c}2x_1\\ \\ 2x_2\\ \\ ⋮\\ \\ 2x_n\end{array}\right]=2\mathbf{x} \end{gathered}$$
还有些较为复杂的推导,这里不再做推导,例如:
$$\frac{\partial ({\mathbf{x}}^{\mathbf{T}}\mathbf{A}\mathbf{x})}{\partial \mathbf{x}}=(\mathbf{A}+{\mathbf{A}}^{\mathbf{T}})\mathbf{x}$$
$$\frac{\partial ({\mathbf{a}}^{\mathbf{T}}\mathbf{x}{\mathbf{x}}^{\mathbf{T}}\mathbf{b})}{\partial \mathbf{x}}=(\mathbf{a}{\mathbf{b}}^{\mathbf{T}}+{\mathbf{a}}^{\mathbf{T}}\mathbf{b})\mathbf{x}$$
$$\cdots$$
更多求导的示例结果可以参考这里

同时还要注意,矩阵求导是满足链式法则的,就是要注意相乘的时候位置,如果原来在自变量的左边依然在左边,原来在自变量的右边依然在右边

4.线性回归

考虑一个简单的线性回归的例子,我们有$\mathbf{X}$,它是一个nxm的矩阵,也就是有n个实例,每个实例有m个特征,这里我们假定n>m
它的标签是$\mathbf{y}$,那么就是一个nx1的列向量
我们需要调整的参数就是$\mathbf{w}$,它是一个mx1的列向量
那么我们预测的结果就是
$$\mathbf{y}=\mathbf{X}\mathbf{w}$$
相应的损失函数就是
$${\mathbf{E}}_{\mathbf{w}}=(\mathbf{y}-\mathbf{X}\mathbf{w}{)}^{\mathbf{T}}(\mathbf{y}-\mathbf{X}\mathbf{w})$$
然后我们计算梯度

可以通过链式法则

这个式子类似于$\frac{\partial {\mathbf{x}}^{\mathbf{T}}\mathbf{x}}{\partial \mathbf{x}}$,先把$\mathbf{y}-\mathbf{X}\mathbf{w}$看成整体,得到$2(\mathbf{y}-\mathbf{X}\mathbf{w})$
然后计算$\mathbf{y}-\mathbf{X}\mathbf{w}$对$\mathbf{w}$的导数,其中$\mathbf{y}$里面没有包含$\mathbf{w}$,结果为0,然后$-\mathbf{w}\mathbf{X}$对$\mathbf{w}$的导数得到$-{\mathbf{X}}^{\mathbf{T}}$,最终结果就是
$$\frac{\partial {\mathbf{E}}_{\mathbf{w}}}{\partial \mathbf{w}}=2{\mathbf{X}}^{\mathbf{T}}(\mathbf{X}\mathbf{w}-\mathbf{y})$$

可以将式子拆开然后每个项求导

$$\begin{gathered} {\mathbf{E}}_{\mathbf{w}}=(\mathbf{y}-\mathbf{X}\mathbf{w}{)}^{\mathbf{T}}(\mathbf{y}-\mathbf{X}\mathbf{w}) \\ =({\mathbf{y}}^{\mathbf{T}}-{\mathbf{w}}^{\mathbf{T}}\mathbf{X})(\mathbf{y}-\mathbf{X}\mathbf{w}) \\ ={\mathbf{y}}^{\mathbf{T}}\mathbf{y}-{\mathbf{y}}^{\mathbf{T}}\mathbf{X}\mathbf{w}-{\mathbf{w}}^{\mathbf{T}}{\mathbf{X}}^{\mathbf{T}}\mathbf{y}+{\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}^{\mathbf{T}}\mathbf{x}\mathbf{w} \end{gathered}$$
注意$\mathbf{y}{\mathbf{y}}^{\mathbf{T}}$中不含$\mathbf{w}$,求个导就没了,然后依次对每项求导结果如下
$$\frac{\partial {\mathbf{E}}_{\mathbf{w}}}{\partial \mathbf{w}}=-{\mathbf{X}}^{\mathbf{T}}\mathbf{y}-{\mathbf{X}}^{\mathbf{T}}\mathbf{y}+2{\mathbf{X}}^{\mathbf{T}}\mathbf{X}\mathbf{w}=2{\mathbf{X}}^{\mathbf{T}}(\mathbf{X}\mathbf{w}-\mathbf{y})$$
此时零导数等于0,得到结果
$$\mathbf{w}=({\mathbf{X}}^{\mathbf{T}}\mathbf{X}{)}^{-1}{\mathbf{X}}^{\mathbf{T}}\mathbf{y}$$