矩阵求导笔记

矩阵求导

所谓向量对标量的求导，其实就是向量里的每个分量分别对标量求导，最后把求导的结果排列在一起，按一个向量表示而已。类似的结论也存在于标量对向量的求导，向量对向量的求导，向量对矩阵的求导，矩阵对向量的求导，以及矩阵对矩阵的求导等。

总而言之，所谓的向量矩阵求导本质上就是多元函数求导，仅仅是把把函数的自变量，因变量以及标量求导的结果排列成了向量矩阵的形式，方便表达与计算，更加简洁而已。

为了便于描述，后面如果没有指明，则求导的自变量用$x$表示标量，$\text{x}$表示$n$维向量，$X$表示$m\times n$维度的矩阵，求导的因变量用$y$表示标量，$y$表示$m$维向量，$Y$表示$p\times q$维度的矩阵。

矩阵向量求导定义

根据求导的自变量和因变量是标量，向量还是矩阵，我们有9种可能的矩阵求导定义

自变量\因变量	标量$y$	向量$\text{y}$	矩阵$Y$
标量$x$	$\frac{\partial y}{\partial x}$	$\frac{\partial \text{y}}{\partial x}$	$\frac{\partial Y}{\partial x}$
向量$\text{x}$	$\frac{\partial y}{\partial \text{x}}$	$\frac{\partial \text{y}}{\partial \text{x}}$	$\frac{\partial Y}{\partial \text{x}}$
矩阵$X$	$\frac{\partial y}{\partial X}$	$\frac{\partial \text{y}}{\partial X}$	$\frac{\partial Y}{\partial X}$

矩阵向量求导布局

为了解决矩阵向量求导的结果不唯一，我们引入求导布局。最基本的求导布局有两个：分子布局和分母布局。

对于分子布局来说，我们求导结果的维度以分子为主，比如对于我们上面对标量求导的例子，结果的维度和分子的维度是一致的。也就是说，如果向量$\text{y}$是一个$m$维的列向量，那么求导结果$\frac{\partial \text{y}}{\partial x}$也是一个$m$维列向量。如果如果向量$\text{y}$是一个$m$维的行向量，那么求导结果$\frac{\partial \text{y}}{\partial x}$也是一个$m$维行向量。

对于分母布局来说，我们求导结果的维度以分母为主，比如对于我们上面对标量求导的例子，如果向量$\text{y}$是一个$m$维的列向量，那么求导结果$\frac{\partial \text{y}}{\partial x}$是一个$m$维行向量。如果如果向量$\text{y}$是一个$m$维的行向量，那么求导结果$\frac{\partial \text{y}}{\partial x}$是一个$m$维的列向量向量。

列向量对列向量求导

比如$m$维列向量$y$对$n$维列向量$x$求导。它的求导结果在分子布局和分母布局各是什么呢？对于这2个向量求导，那么一共有$mn$个标量对标量的求导。求导的结果一般是排列为一个矩阵。如果是分子布局，则矩阵的第一个维度以分子为准，即结果是一个$m\times n$的矩阵，如下：
$$\frac{\partial \mathbf{y}}{\partial \mathbf{x}}={\left(\begin{array}{cccc}\frac{\partial y_1}{\partial x_1}& \frac{\partial y_1}{\partial x_2}& \cdots & \frac{\partial y_1}{\partial x_n}\\ \frac{\partial y_2}{\partial x_1}& \frac{\partial y_2}{\partial x_2}& \cdots & \frac{\partial y_2}{\partial x_n}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{\partial y_m}{\partial x_1}& \frac{\partial y_m}{\partial x_2}& \cdots & \frac{\partial y_m}{\partial x_n}\end{array}\right)}_{m\times n}$$
上边这个按分子布局的向量对向量求导的结果矩阵，我们一般叫做雅克比矩阵。如果是按分母布局，则求导的结果矩阵的第一维度会以分母为准，即结果是一个$n\times m$的矩阵，如下：
$$\frac{\partial \mathbf{y}}{\partial \mathbf{x}}=\left(\begin{array}{cccc}\frac{\partial y_1}{\partial x_1}& \frac{\partial y_2}{\partial x_1}& \dots & \frac{\partial y_m}{\partial x_1}\\ \frac{\partial y_1}{\partial x_2}& \frac{\partial y_2}{\partial x_2}& \cdots & \frac{\partial y_m}{\partial x_2}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{\partial y_1}{\partial x_n}& \frac{\partial y_2}{\partial x_n}& \dots & \frac{\partial y_m}{\partial x_n}\end{array}\right)$$
上边这个按分母布局的向量对向量求导的结果矩阵，我们一般叫做梯度矩阵。

有了布局的概念，我们对于上面5种求导类型，可以各选择一种布局来求导。但是对于某一种求导类型，不能同时使用分子布局和分母布局求导。

一般来说我们会使用一种叫混合布局的思路，即如果是向量或者矩阵对标量求导，则使用分子布局为准，如果是标量对向量或者矩阵求导，则以分母布局为准。

自变量\因变量	标量$y$	向量$\text{y}$	矩阵$Y$
标量$x$	/	$\frac{\partial \text{y}}{\partial x}$分子布局	$\frac{\partial Y}{\partial x}$分子布局
向量$\text{x}$	$\frac{\partial y}{\partial \text{x}}$分母布局	$\frac{\partial \text{y}}{\partial \text{x}}$分子布局	$\frac{\partial Y}{\partial \text{x}}$
矩阵$X$	$\frac{\partial y}{\partial X}$分母布局	$\frac{\partial \text{y}}{\partial X}$	$\frac{\partial Y}{\partial X}$

用定义法求解标量对向量求导

首先我们想到的是基于矩阵求导的定义来做，由于所谓标量对向量的求导，其实就是标量对向量里的每个分量分别求导，最后把求导的结果排列在一起，按一个向量表示而已。那么我们可以将实值函数对向量的每一个分量来求导，最后找到规律，得到求导的结果向量。

首先我们来看一个简单的例子：$y=a^T\text{x}$，求解$\frac{\partial a^T\text{x}}{\partial \text{x}}$，根据定义，我们先对$\text{x}$的第$i$个分量进行求导，这是一个标量对标量的求导，如下：
$$\frac{\partial {\mathbf{a}}^T\mathbf{x}}{\partial x_i}=\frac{\partial \sum _{j=1}^n{a}_j{x}_j}{\partial x_i}=\frac{\partial a_i{x}_i}{\partial x_i}=a_i$$
可见，对向量的第$i$个分量的求导结果就等于向量$a$的第$i$个分量。由于我们是分母布局，最后所有求导结果的分量组成的是一个$n$维向量。那么其实就是向量$a$。也就是说：
$$\frac{\partial {\mathbf{a}}^T\mathbf{x}}{\partial \mathbf{x}}=\mathbf{a}$$
同理
$$\frac{\partial {\mathbf{x}}^T\mathbf{a}}{\partial \mathbf{x}}=\mathbf{a}$$

$$\frac{\partial {\mathbf{x}}^T\mathbf{x}}{\partial \mathbf{x}}=2\mathbf{x}$$

$y={\mathbf{x}}^T\mathbf{A}\mathbf{x}$，求解 $\frac{\partial {\mathbf{x}}^T\mathbf{A}\mathbf{x}}{\partial \mathbf{x}}$，对$\text{x}$的第$k$个分量进行求导如下
$$\frac{\partial {\mathbf{x}}^T\mathbf{A}\mathbf{x}}{\partial x_k}=\frac{\partial {\sum }_{i=1}^n{\sum }_{j=1}^n{x}_i{A}_{ij}{x}_j}{\partial x_k}=\sum _{i=1}^n{A}_{ik}{x}_i+\sum _{j=1}^n{A}_{kj}{x}_j$$
仔细观察一下，第一部分是矩阵$A$的第$k$列转置后和$x$相乘得到，第二部分是矩阵$A$的第$k$行和$x$相乘得到，排列好就是:
$$\frac{\partial {\mathbf{x}}^T\mathbf{A}\mathbf{x}}{\partial \mathbf{x}}={\mathbf{A}}^T\mathbf{x}+\mathbf{A}\mathbf{x}$$

标量对向量求导的一些基本法则

标量对向量求导的一些基本法则：

1. 常量对向量的求导结果为0。

2. 线性法则：如果$f,g$都是实值函数，$c_1,c_2$为常数，则：
   $$\frac{\partial (c_{1}f(\mathbf{x})+c_{2}g(\mathbf{x})}{\partial \mathbf{x}}=c_1\frac{\partial f(\mathbf{x})}{\partial \mathbf{x}}+c_2\frac{\partial g(\mathbf{x})}{\partial \mathbf{x}}$$

3. 乘法法则：如果$f,g$都是实值函数，则：
   $$\frac{\partial f(\mathbf{x})g(\mathbf{x})}{\partial \mathbf{x}}=f(\mathbf{x})\frac{\partial g(\mathbf{x})}{\partial \mathbf{x}}+\frac{\partial f(\mathbf{x})}{\partial \mathbf{x}}g(\mathbf{x})$$

4. 除法法则：如果$f,g$都是实值函数，且$g(x)\ne 0$，则：
   $$\frac{\partial f(\mathbf{x})/g(\mathbf{x})}{\partial \mathbf{x}}=\frac{1}{g^2(\mathbf{x})}\left(g(\mathbf{x})\frac{\partial f(\mathbf{x})}{\partial \mathbf{x}}-f(\mathbf{x})\frac{\partial g(\mathbf{x})}{\partial \mathbf{x}}\right)$$

用定义法求解标量对矩阵求导

现在来看看定义法如何解决标量对矩阵的求导问题，其最后的结果是一个和自变量同型的矩阵。

$y={\mathbf{a}}^T\mathbf{X}\mathbf{b},$ 求解 $\frac{\partial {\mathbf{a}}^T\mathbf{X}\mathbf{b}}{\partial \mathbf{X}}$，其中, $a$是$m$维向量, $b$是$n$维向量, $X$是 $m\times n$ 的矩阵。对矩阵$X$的任意一个位置的$X_{ij}$求导，如下：
$$\frac{\partial {\mathbf{a}}^T\mathbf{X}\mathbf{b}}{\partial X_{ij}}=\frac{\partial {\sum }_{p=1}^m{\sum }_{q=1}^n{a}_p{A}_{pq}{b}_q}{\partial X_{ij}}=\frac{\partial a_i{A}_{ij}{b}_j}{\partial X_{ij}}=a_i{b}_j$$
即求导结果在$(i\cdot j)$位置的求导结果是$a$向量第$i$个分量和$b$第$j$个分量的乘积，将所有的位置的求导结果排列成一个$m\times n$的矩阵，即为$a{b}^T$，这样最后的求导结果为：
$$\frac{\partial {\mathbf{a}}^T\mathbf{X}\mathbf{b}}{\partial \mathbf{X}}=a{b}^T$$

用定义法求解向量对向量求导

先来一个简单的例子: $\text{y = Ax}$，其中$A$为 $n\times m$ 的矩阵。$x,y$分别为 $m,n$ 维向量。需要求导 $\frac{\partial \mathbf{A}\mathbf{x}}{\partial \mathbf{x}}$,根据定 义, 结果应该是一个 $n\times m$ 的矩阵，先求矩阵的第i行和向量的内积对向量的第j分量求导，用定义法求解过程如下：
$$\frac{\partial {\mathbf{A}}_{\mathbf{i}}\mathbf{x}}{\partial {\mathbf{x}}_{\mathbf{j}}}=\frac{\partial A_{ij}{x}_j}{\partial {\mathbf{x}}_{\mathbf{j}}}=A_{ij}$$
可见矩阵 $A$ 的第$i$行和向量的内积对向量的第$j$分量求导的结果就是矩阵 $A$的 $(i,j)$ 位置的值。排列起来就是 一个矩阵了，由于我们分子布局, 所以排列出的结果是$A$，而不是 $A^T$。

链式法则

向量对向量求导的链式法则

设多个向量存在依赖关系，比如三个向量$x\to y\to z$存在依赖关系，则我们有下面的链式求导法则：
$$\frac{\partial \mathbf{z}}{\partial \mathbf{x}}=\frac{\partial \mathbf{z}}{\partial \mathbf{y}}\frac{\partial \mathbf{y}}{\partial \mathbf{x}}$$
该法则也可以推广到更多的向量依赖关系。但是要注意的是要求所有有依赖关系的变量都是向量，如果有一个$Y$是矩阵，比如$x\to Y\to z$， 则上式并不成立。

从维度理解链式法则

标量对多个向量的链式求导法则

在我们的机器学习算法中，最终要优化的一般是一个标量损失函数，因此最后求导的目标是标量，无法使用上一节的链式求导法则，比如2向量，最后到1标量的依赖关系：$\text{x}\to \text{y}\to z$，此时很容易发现维度不相容。

假设$x,y$分别是 $m,n$ 维向量, 那么 $\frac{\partial z}{\partial \mathbf{x}}$ 的求导结果是一个 $m\times 1$ 的向量, $,$ 而 $\frac{\partial z}{\partial \mathbf{y}}$ 是一个 $n\times 1$ 的向量, $\frac{\partial \mathbf{y}}{\partial \mathbf{x}}$ 是一 个 $n\times m$ 的雅克比矩阵，右边的向量和矩阵是没法直接乘的。

但是假如我们把标量求导的部分都做一个转置，那么维度就可以相容了，也就是：
$${\left(\frac{\partial z}{\partial \mathbf{x}}\right)}^T={\left(\frac{\partial z}{\partial \mathbf{y}}\right)}^T\frac{\partial \mathbf{y}}{\partial \mathbf{x}}$$
但是毕竟我们要求导的是$(\frac{\partial z}{\partial \text{x}})$，而不是它的转置，因此两边转置我们可以得到标量对多个向量求导的链式法则：
$$\frac{\partial z}{\partial \mathbf{x}}={\left(\frac{\partial \mathbf{y}}{\partial \mathbf{x}}\right)}^T\frac{\partial z}{\partial \mathbf{y}}$$
如果是标量对更多的向量求导，比如${\mathbf{y}}_1\to {\mathbf{y}}_2\to \dots \to {\mathbf{y}}_{\mathbf{n}}\to z$，则其链式求导表达式可以表示为：
$$\frac{\partial z}{\partial {\mathbf{y}}_1}={\left(\frac{\partial {\mathbf{y}}_{\mathbf{n}}}{\partial {\mathbf{y}}_{\mathbf{n}-1}}\frac{\partial {\mathbf{y}}_{\mathbf{n}-1}}{\partial {\mathbf{y}}_{\mathbf{n}-2}}\dots \frac{\partial {\mathbf{y}}_2}{\partial {\mathbf{y}}_1}\right)}^T\frac{\partial z}{\partial {\mathbf{y}}_{\mathbf{n}}}$$

最小二乘法求导的例子。最小二乘法优化的目标是最小化如下损失函数：
$$l=(X\theta -y{)}^T(X\theta -y)$$
我们优化的损失函数$l$是一个标量, 而模型参数$\theta$是一个向量, 期望$L$对$\theta$求导, 并求出导数等于0时候的机制点。我们假设向量 $z=X\theta -y,$ 则 $l=z^{T}z,\theta \to z\to l$ 存在链式求导的关系, 因此：
$$\frac{\partial l}{\partial \theta }={\left(\frac{\partial z}{\partial \theta }\right)}^T\frac{\partial l}{\partial \mathbf{z}}=X^T(2z)=2X^T(X\theta -y)$$

标量对多个矩阵的链式求导法则

假设有这样的依赖关系：$\mathbf{X}\to \mathbf{Y}\to z$，那么我们有：
$$\frac{\partial z}{\partial x_{ij}}=\sum _{k,l}\frac{\partial z}{\partial Y_{kl}}\frac{\partial Y_{kl}}{\partial X_{ij}}=\mathrm{tr}\left({\left(\frac{\partial z}{\partial Y}\right)}^T\frac{\partial Y}{\partial X_{ij}}\right)$$
　这里大家会发现我们没有给出基于矩阵整体的链式求导法则，主要原因是矩阵对矩阵的求导是比较复杂的定义，我们目前也未涉及。因此只能给出对矩阵中一个标量的链式求导方法。这个方法并不实用，因为我们并不想每次都基于定义法来求导最后再去排列求导结果。

我们来看这个常见问题：$A$, $X,B,Y$ 都是矩阵, $z$ 是标量, 其中 $z=f(Y),Y=AX+B$，先使用上面的标量链式求导公式：
$$\frac{\partial z}{\partial x_{ij}}=\sum _{k,l}\frac{\partial z}{\partial Y_{kl}}\frac{\partial Y_{kl}}{\partial X_{ij}}$$
再来看看后半部分的导数：
$$\frac{\partial Y_{kl}}{\partial X_{ij}}=\frac{\partial {\sum }_s\left(A_{ks}{X}_{sl}\right)}{\partial X_{ij}}=\frac{\partial A_{ki}{X}_{il}}{\partial X_{ij}}=A_{ki}{\delta }_{lj}$$
其中${\delta }_{lj}$在$l=j$时为1，否则为0。那么最终的标签链式求导公式转化为：
$$\frac{\partial Y_{kl}}{\partial X_{ij}}=\frac{\partial {\sum }_s\left(A_{ks}{X}_{sl}\right)}{\partial X_{ij}}=\frac{\partial A_{ki}{X}_{il}}{\partial X_{ij}}=A_{ki}{\delta }_{lj}$$
即矩阵 $A^T$ 的第$i$行和 $\frac{\partial z}{\partial Y}$ 的第$j$列的内积。排列成矩阵即为：
$$\frac{\partial z}{\partial X}=A^T\frac{\partial z}{\partial Y}$$
总结下就是：
$$z=f(Y),Y=AX+B\to \frac{\partial z}{\partial X}=A^T\frac{\partial z}{\partial Y}$$
这结论在$x$是一个向量的时候也成立，即：
$$z=f(\mathbf{y}),\mathbf{y}=A\mathbf{x}+\mathbf{b}\to \frac{\partial z}{\partial \mathbf{x}}=A^T\frac{\partial z}{\partial \mathbf{y}}$$
如果要求导的自变量在左边，线性变换在右边，也有类似稍有不同的结论如下，证明方法是类似的
$$\begin{array}{l}z=f(Y),Y=XA+B\to \frac{\partial z}{\partial X}=\frac{\partial z}{\partial Y}{A}^T\\ z=f(\mathbf{y}),\mathbf{y}=X\mathbf{a}+\mathbf{b}\to \frac{\partial z}{\partial \mathbf{X}}=\frac{\partial z}{\partial \mathbf{y}}{a}^T\end{array}$$