90 矩阵——矩阵微分与求导

矩阵线性代数笔记整理汇总，超全面

本文符号定义

• $x:$ 标量
• $\mathrm{x}$ 或者 $\mathbf{x}:\mathrm{n}$ 维向量
• $X:m\times n$ 维的矩阵
• $y:$ 标量
• $\mathrm{y}$ 或者 $\mathbf{y}:\mathrm{m}$ 维向量
• $Y$ $:p\times q$ 维的矩阵

1 求导定义与布局方式

1.1 矩阵求导术

根据求导的自变量和因变量是标量，向量还是矩阵，我们有9种可能的矩阵求导定义，如下：

1.2 分子布局和分母布局

依旧使用一个m维向量$\mathrm{y}$ 对标量 $x$ 的求导，结果也是个$m$维向量 $\frac{\partial \mathrm{y}}{\partial x}$ 来举例，我们很确定 $\frac{\partial \mathrm{y}}{\partial x}$ 是一个$m$维向量，可问题是：它究竟应该表示成行向量，还是表示成列向量呢？

答案是：都可以。求导的本质是把导数信息，即求导的结果排列起来，至于是按行排列还是按列排列都是可以的。但是这样也有问题，在我们机器学习算法法优化过程中，如果行向量或者列向量随便写，那么结果就不唯一，所以为了解决这个问题，我们引入求导布局的概念。

• 分子布局：导数的维度以分子为主。
• 分母布局：导数的维度以分母为主。

向量对标量求导(表第2项)：

比如上面的 $\frac{\partial \mathrm{y}}{\partial x}$ (单独提到 $\mathrm{x}$ 或者 $\mathrm{y}$ 均按照列向量讨论)，如果按照分子布局，结果就会是$m$维列向量，与分子维度一致。如果按照分母布局，结果就会是$m$维行向量。

标量对向量求导(表第4项)：

比如 $\frac{\partial \mathrm{y}}{\partial x}$ ，注意这次自变量是列向量，因变量是标量了。如果按照分子布局，结果就会是**$m$维行向量**。如果按照分母布局，结果就会是$m$维列向量，与分母维度一致。

标量对矩阵求导(表第7项)：

比如，标量 $y$ 对矩阵 $X$ 求导，那么如果按分母布局，则求导结果的维度和矩阵 $X$ 的维度 $m\times n$ 是一致的。如果是分子布局, 则求导结果的维度为 $n\times m$.

矩阵对标量求导(表第3项) :

比如, 矩阵 $Y$ 对标量 $x$ 求导，那么如果按分子布局, 则求导结果的维度和矩阵 $Y$ 的维度 $p\times q$ 是一致的。如果是分母布局, 则求导结果的维度为 $q\times p$ 。

向量对向量求导(表第5项)：

比如, $m$ 维的向量 $\mathrm{y}$ 对 $n$ 维的向量 $\mathrm{x}$ 求导, 一共有 $mn$ 个标量对标量的求导。求导的结果 一般是排列为一个矩阵。那么如果按分子布局，则结果矩阵的第一个维度以分子为准,$m$, 即结果是个 $m\times n$ 维的矩阵:
$$\frac{\partial \mathrm{y}}{\partial \mathrm{x}}=\left(\begin{array}{cccc}\frac{\partial y_1}{\partial x_1}& \frac{\partial y_1}{\partial x_2}& \cdots & \frac{\partial y_1}{\partial x_n}\\ \frac{\partial y_2}{\partial x_1}& \frac{\partial y_2}{\partial x_2}& \cdots & \frac{\partial y_2}{\partial x_n}\\ ⋮& ⋮& \cdots & ⋮\\ \frac{\partial y_m}{\partial x_1}& \frac{\partial y_m}{\partial x_2}& \cdots & \frac{\partial y_m}{\partial x_n}\end{array}\right)$$
如果按分母布局，则结果矩阵的第一个维度以分母为准，$n$,即结果是个
$$\frac{\partial \mathrm{y}}{\partial \mathrm{x}}=\left(\begin{array}{cccc}\frac{\partial y_1}{\partial x_1}& \frac{\partial y_2}{\partial x_1}& \cdots & \frac{\partial y_m}{\partial x_1}\\ \frac{\partial y_1}{\partial x_2}& \frac{\partial y_2}{\partial x_2}& \cdots & \frac{\partial y_m}{\partial x_2}\\ ⋮& ⋮& \cdots & ⋮\\ \frac{\partial y_1}{\partial x_n}& \frac{\partial y_2}{\partial x_n}& \cdots & \frac{\partial y_m}{\partial x_n}\end{array}\right)$$
结论：分子布局和分母布局的结果相差一个转置。

在机器学习的算法推导里，通常遵循以下布局的规范：

• 如果向量或者矩阵对标量求导，则以分子布局为准。
• 如果标量对向量或者矩阵求导，则以分母布局为准。
• 对于向量对对向量求导，有些分歧，一般以分子布局的雅克比矩阵为主。

总结如下：

2 标量对矩阵的求导术的基本思想

在进行标量对矩阵的求导时我们默认按照分母布局，即求导的结果与矩阵的维度一致。比如 $y={\mathrm{a}}^{T}X\mathrm{b}$, 其中 $y$ 是标量, $\mathrm{a}$ 是$m$维向量, $\mathrm{b}$ 是$n$维向量, $X$ 是 $m\times n$ 维的矩阵。

如果求 $\frac{\partial y}{\partial X}$, 则结果是也应当是 $m\times n$ 维的矩阵。这个矩阵里面的每一个元素应该是标量 $y$ 对 $X$ 里面的每个元素 $X_{ij}$ 的导数。因为结果是分母布局，所以:
$$\frac{\partial y}{\partial X}{|}_{ij}=\frac{\partial y}{\partial X_{ij}}=\frac{\partial {\mathrm{a}}^{T}X\mathrm{b}}{\partial X_{ij}}=\frac{\partial {\mathrm{a}}_i{X}_{ij}{\mathrm{b}}_j}{\partial X_{ij}}=a_i{b}_j$$
所以最后的结果应该长成这个样子：
$$\frac{\partial y}{\partial X}=\left(\begin{array}{cccc}{a}_1{b}_1& a_1{b}_2& a_1{b}_n& \\ a_2{b}_1& a_2{b}_2& a_2{b}_n& \\ ⋮& ⋮& \cdots & \\ a_m{b}_1& a_m{b}_2& a_m{b}_n& \end{array}\right)=a{b}^T$$
是 $m\times n$ 维的矩阵。

当然，上面的做法相当于是硬生生把标量对矩阵的求导拆成了一堆标量对标量的求导，再把这些结果按照分母布局给组合了起来。这种方法可以称为定义法，但是它只适用于表达式不复杂，你能展开的情况。就像上面的
$$y={\mathrm{a}}^{T}X\mathrm{b}=a_1{X}_{11}{b}_1+a_1{X}_{12}{b}_2+\cdot \cdot \cdot +a_m{X}_{mn}{b}_n$$
但如果表达式很复杂，你没法展开成分量的形式，那就没法转化成标量对标量的求导，这种方法就不再适用了。定义法所遵循的逐元素求导破坏了整体性。求导时不宜拆开矩阵，而是要找一个从整体出发的算法。即下面的微分法。

2.2 微分法

• 在数学分析的一元微积分中，导数（标量对标量的导数）与微分有联系：

• $$df=f^{\prime }(x)dx$$

• 在多元微积分中，梯度（标量对向量的导数）也与微分有联系：

• $$df=\sum _{i=1}^n\frac{\partial f}{\partial x_i}d{x}_i={\frac{\partial f}{\partial \mathbf{x}}}^{T}d\mathbf{x}$$

这里第一个等号是全微分公式，第二个等号表达了梯度与微分的联系。

全微分 $df$ 是梯度向量 $\frac{\partial f}{\partial \mathbf{x}}(n\times 1)$ 与微分向量 $d\mathbf{x}(n\times 1)$ 的内积; 受此启发，我们将矩阵导数与微分建立联系。在这之前要先了解一个关于矩阵迹的性质：

对尺寸相同的矩阵 $A,B,\mathrm{tr}\left(A^{T}B\right)={\sum }_{i,j}{A}_{ij}{B}_{ij}$, 即 $\mathrm{tr}\left(A^{T}B\right)$ 是矩阵$A$, $B$ 的内积。

• 把多元微积分中的梯度与微分之间的联系扩展到矩阵, 则有:
  $$df=\sum _{i=1}^m\sum _{j=1}^n\frac{\partial f}{\partial X_{ij}}d{X}_{ij}=\mathrm{tr}\left(\frac{\partial f^T}{\partial X}dX\right)$$

其中tr代表迹(trace)是方阵对角线元素之和, 最后一步的变换是根据上面的矩阵迹的性质。

从上面矩阵微分的式子，我们可以看到矩阵微分和它的导数也有一个转置的关系, 不过在外面套了一个迹函数而已。由于标量的迹函数就是它本身，那么矩阵微分和向量微分可以统一表 示，即：
$$\begin{gathered} df=\text{tr}\left({\frac{\partial f}{\partial X}}^{T}dX\right) \\ df={\frac{\partial f}{\partial \mathbf{x}}}^{T}d\mathbf{x} \end{gathered}$$
得到这2个式子的作用是什么？

答: 这2个式子里面的 $\frac{\partial f}{\partial X}$ 和 $\frac{\partial f}{\partial \mathbf{x}}$, 正是我们要求的标量对矩阵/向量的导数。

换句话说，假定题目给任意一个函数 $f($ 就比如说 $f={\mathbf{a}}^{T}X\mathbf{b})$, 求它对于里面的某个矩阵 $X$ 的导数。

我们只需要先想方设法搞出来 $df$, 那么再套上迹 $\mathrm{t}\mathrm{r}$, 则 $\frac{\partial f}{\partial X}$ 就可以得到了。

这就是微分法求对矩阵导数的基本思想, 算法如下:

Algorithms:

1. 根据给定的 $f$ 寻找 $d{f}_{}$ .

2. 给 $df$ 套上迹 ${\mathrm{t}\mathrm{r}}_{\circ }$ 等号左边因为 $df$ 是 个标量, 所以不受影响, 等号右边根据迹的技巧进行化简。

3. 等号右边化简之后先找到 $dX$, 根据导数与微分的联素 $df=\text{tr}\left({\frac{\partial f}{\partial X}}^{T}dX\right)$ 得到 $\frac{\partial f}{\partial X}$ 。

根据上述Algorithms, 理论上对于任何求对矩阵导数的问题可以三步搞定。

但只有基本思想还远远不够，因为要搞出来 $df$，你还需要掌握一些矩阵微分的操作，如下面常用的矩阵微分运算法则所示，这些法则更详细的解读可以参考张贤达的**《矩阵分析与应用》**。

常用的矩阵微分运算法则：

1. 加减法:
   $$d(X\pm Y)=dX\pm dY$$

2. 矩阵乘法:
   $$d(XY)=(dX)Y+XdY$$

3. 转置:
   $$d\left(X^T\right)=(dX{)}^T$$

4. 迹:
   $$d\mathrm{tr}(X)=\mathrm{tr}(dX)$$

5. 逐元素乘法:
   $$d(X\odot Y)=dX\odot Y+X\odot dY$$

   $\odot$ 表示尺寸相同的矩阵 $X,Y$ 逐元素相乘。

6. 逆:
   $$d{X}^{-1}=-X^{-1}dX{X}^{-1}$$

   此式可在 $X{X}^{-1}=I^{}$ 两侧求微分来证明。

7. 行列式:
   $$d|X|=\text{tr}(X^{\ast }dX)$$

   其中 $X^{\ast }$表示$X$的伴随矩阵，在 $X$ 可逆时又可以写作
   $$d|X|=|X|\text{tr}(X^{-1}dX)$$

8. 逐元素函数:
   $$d\sigma (X)={\sigma }^{\prime }(X)\odot dX$$

$\sigma (X)=\left[\sigma (X_{ij})\right]$是逐元素标量函数运算, ${\sigma }^{\prime }(X)=[{\sigma }^{\prime }(X_{ij})]$ 是逐元素求导数。

例如：
$$X=\left[\begin{array}{cc}{X}_{11}& X_{12}\\ X_{21}& X_{22}\end{array}\right],d\sin (X)=\left[\begin{array}{cc}\cos X_{11}d{X}_{11}& \cos X_{12}d{X}_{12}\\ \cos X_{21}d{X}_{21}& \cos X_{22}d{X}_{22}\end{array}\right]=\cos (X)\odot dX$$

2.3 迹技巧

除此之外，微分法求对矩阵导数的基本思想的很重要的一步是给 $df$ 套上迹 $\mathrm{t}\mathrm{r}$, 所以, 矩阵的迹技巧(trace trick)也非常重要, 下面列举一些：

• 标量的迹等于自己:

• $$a=\mathrm{tr}(a)$$

• 转置:

• $$\mathrm{tr}\left(A^T\right)=\mathrm{tr}(A)$$

• 线性:

• $$\mathrm{tr}(A\pm B)=\mathrm{tr}(A)\pm \mathrm{tr}(B)$$

• 交换律:

• $$\mathrm{tr}(AB)=\mathrm{tr}(BA)$$

• 其中 $A$ 与 $B^T$ 尺寸相同。两侧都等于 ${\sum }_{i,j}{A}_{ij}{B}_{ji}$ 。

• 矩阵乘法/逐元素乘法交换:

• $$\mathrm{tr}\left(A^T(B\odot C)\right)=\mathrm{tr}\left((A\odot B{)}^{T}C\right)$$

• 其中 $A,B,C$ 尺寸相同。两侧都等于 ${\sum }_{i,j}{A}_{ij}{B}_{ij}{C}_{ij}$ 。

以上就是微分法求对矩阵导数的方法，在实际操作时万不可随意套用微积分中标量导数的结论, 比如认为 $AX$ 对 $X$ 的导数为 $A$, 这是没有根据的。

下面举很经典的例子：

$例1$ $f={\mathbf{a}}^{T}X\mathbf{b}$, 求 $\frac{\partial f}{\partial X}$ 。其中 $\mathbf{a}$ 是 $m\times 1$ 列向量, $X$ 是 $m\times n$ 矩阵, $\mathbf{b}$ 是 $n\times 1$ 列向量, $f$ 是标量。

解：根据上面的Algorithms:

1. 先使用矩阵乘法法则求微分 $df:$
   $$df=d{\mathbf{a}}^{T}X\mathbf{b}+{\mathbf{a}}^{T}dX\mathbf{b}+{\mathbf{a}}^{T}Xd\mathbf{b}={\mathbf{a}}^{T}dX\mathbf{b}$$

这里的 $\mathbf{a},\mathbf{b}$ 是常量, $d\mathbf{a}=0,d\mathbf{b}=0$, 故有：
$$df={\mathbf{a}}^{T}dX\mathbf{b}$$

2. 给 $df$ 套上迹 $tr$:
   $$df=\mathrm{t}\mathrm{r}df=\mathrm{tr}\left({\mathbf{a}}^{T}dX\mathbf{b}\right)$$

3. 使用迹技巧做矩阵乘法交换。根据 $\mathrm{tr}(AB)=\mathrm{tr}(BA)$ 有:
   $$\mathrm{tr}\left({\mathbf{a}}^{T}dX\mathbf{b}\right)=\mathrm{tr}\left(\mathbf{b}{\mathbf{a}}^{T}dX\right)=\mathrm{tr}\left({\left(\mathbf{a}{\mathbf{b}}^T\right)}^{T}dX\right)$$
   根据导数与微分的联系 $df=\text{tr}\left({\frac{\partial f}{\partial X}}^{T}dX\right)$ 有:
   $$\frac{\partial f}{\partial X}=\mathbf{a}{\mathbf{b}}^T$$

与一开始所用的定义法结果吻合。

$例2$ $f={\mathbf{a}}^T\exp (X\mathbf{b})$, 求 $\frac{\partial f}{\partial X}.$ 其中 $\mathbf{a}$ 是 $m\times 1$ 列向量, $X$ 是 $m\times n$ 矩阵, $\mathbf{b}$ 是$n\times 1$ 列向量, $\exp$ 表示逐元素求指数, $f$ 是标量。

解：根据上面的Algorithms:

1. 先使用矩阵乘法法则求微分 $df:$
   $$df={\mathbf{a}}^T(\exp (X\mathbf{b})\odot (dX\mathbf{b}))$$

2. 给 $df$ 套上迹 $\mathrm{t}\mathrm{r}$ :
   $$df=\mathrm{tr}\left({\mathbf{a}}^T(\exp (X\mathbf{b})\odot (dX\mathbf{b}))\right)$$

3. 使用迹技巧做矩阵乘法交换:

根据 $\mathrm{tr}\left(A^T(B\odot C)\right)=\mathrm{tr}\left((A\odot B{)}^{T}C\right)$ 有:
$$\begin{array}{ll}df& =\mathrm{tr}\left({\mathbf{a}}^T(\exp (X\mathbf{b})\odot (dX\mathbf{b}))\right)=\mathrm{tr}\left((\mathbf{a}\odot \exp (X\mathbf{b}){)}^{T}dX\mathbf{b}\right)\\ & =\mathrm{tr}\left(\mathbf{b}(\mathbf{a}\odot \exp (X\mathbf{b}){)}^{T}dX\right)\\ & =\mathrm{tr}\left({\left((\mathbf{a}\odot \exp (X\mathbf{b})){\mathbf{b}}^T\right)}^{T}dX\right)\end{array}$$

根据导数与微分的联系 $df=\mathrm{tr}\left(\frac{\partial f^T}{\partial X}dX\right)$ 有:
$$\frac{\partial f}{\partial X}=(\mathbf{a}\odot \exp (X\mathbf{b})){\mathbf{b}}^T$$

$例3$ $l=\Vert X\mathbf{w}-\mathbf{y}{\Vert }^2$, 求 $\mathbf{w}$ 的最小二乘估计，即求 $\frac{\partial l}{\partial \mathbf{w}}$ 的零点。其中 $\mathbf{y}$ 是 $m\times 1$ 列向量, $X$ 是 $m\times n$ 矩阵, $\mathbf{w}$ 是 $n\times 1$ 列向量, $l$ 是标量。

解：依然是求标量对向量的导数。首先解决这个向量模的平方的问题：
$$l=\Vert X\mathbf{w}-\mathbf{y}{\Vert }^2=(X\mathbf{w}-\mathbf{y}{)}^T(X\mathbf{w}-\mathbf{y})$$
根据上面的Algorithms:

1. 先使用矩阵衫法法则求微分 $dl$ :
   $$dl=(X\mathbf{d}\mathbf{w}{)}^T(X\mathbf{w}-\mathbf{y})+(X\mathbf{w}-\mathbf{y}{)}^T(X\mathbf{d}\mathbf{w})$$

2. 给 $dl$ 套上迹 tr：
   $$\begin{array}{ll}dl& =\text{tr}(X\mathbf{d}\mathbf{w}{)}^T(X\mathbf{w}-\mathbf{y})+(X\mathbf{w}-\mathbf{y}{)}^T(X\mathbf{d}\mathbf{w})\\ & =\mathrm{tr}\left[2(X\mathbf{w}-\mathbf{y}{)}^T(X\mathbf{d}\mathbf{w})\right]\end{array}$$

根据导数与微分的联系 $dl=\mathrm{tr}\left(\frac{\partial l^T}{\partial \mathbf{w}}d\mathbf{w}\right)$ 有:
$$\frac{\partial f}{\partial \mathbf{w}}=2X^T(X\mathbf{w}-\mathbf{y})$$
令 $\frac{\partial l}{\partial \mathbf{w}}=0$ ，有：

$X^{T}X\mathbf{w}=X^T\mathbf{y}$ ,得到 $\mathbf{w}$ 的最小二乘估计为 $\mathbf{w}=(X^{T}X{)}^{-1}{X}^T\mathbf{y}$

$例4$ 样本 ${\mathbf{x}}_1,\dots ,{\mathbf{x}}_N\sim \mathcal{N}(\mathbf{\mu },\Sigma )$, 求方差 $\Sigma$ 的最大似然估计。写成数学式是:
$$l=\log |\Sigma |+\frac{1}{N}\sum _{i=1}^N{\left({\mathbf{x}}_i-\overline{\mathbf{x}}\right)}^T{\Sigma }^{-1}\left({\mathbf{x}}_i-\overline{\mathbf{x}}\right)$$
, 求 $\frac{\partial l}{\partial \Sigma }$ 的零点。其中 ${\mathbf{x}}_i$ 是 $m\times 1$ 列向量, $\overline{\mathbf{x}}=\frac{1}{N}{\sum }_{i=1}^N{\mathbf{x}}_i$ 是样本均值, $\Sigma$ 是 $m\times m$ 对称正定矩阵, $l$ 是标量, $\log$ 表示自然对数。

解: 本题可以转化成求 $\frac{\partial l}{\partial \Sigma }$ 的问题。

根据上面的Algorithms:

1. 先使用矩阵乘法法则求微分 $dl$ :

但是要求出 $dl$ 需要用到之前讲解的几个关于矩阵微分的性质：

逆: $d{X}^{-1}=-X^{-1}dX{X}^{-1}$ 。 行列式: $d|X|=\mathrm{tr}\left(X^{\ast }dX\right)$, $d|X|=|X|\text{tr}(X^{-1}dX)$

第1项:
$$d\log |\Sigma |=|\Sigma {|}^{-1}d|\Sigma |=|\Sigma {|}^{-1}|\Sigma |\mathrm{tr}\left({\Sigma }^{-1}d\Sigma \right)=\mathrm{tr}\left({\Sigma }^{-1}d\Sigma \right)$$

第2项:
$$\frac{1}{N}\sum _{i=1}^N({\mathbf{x}}_i-\bar{\mathbf{x}}{)}^{T}d{\Sigma }^{-1}({\mathbf{x}}_i-\bar{\mathbf{x}})=-\frac{1}{N}\sum _{i=1}^N({\mathbf{x}}_i-\bar{\mathbf{x}}{)}^T{\Sigma }^{-1}d\Sigma {\Sigma }^{-1}({\mathbf{x}}_i-\bar{\mathbf{x}})$$

2. 再给第二项套上迹 $\text{tr}$ :
   $$\begin{array}{rl}\text{tr}& \left(\frac{1}{N}\sum _{i=1}^N({\mathbf{x}}_i-\bar{\mathbf{x}}{)}^T{\Sigma }^{-1}d\Sigma {\Sigma }^{-1}({\mathbf{x}}_i-\bar{\mathbf{x}})\right)\\ & =\frac{1}{N}\sum _{i=1}^N\left(\text{tr}({\mathbf{x}}_i-\bar{\mathbf{x}}{)}^T{\Sigma }^{-1}d\Sigma {\Sigma }^{-1}({\mathbf{x}}_i-\bar{\mathbf{x}})\right)\\ & =\frac{1}{N}\sum _{i=1}^N\left(\text{tr}({\Sigma }^{-1}({\mathbf{x}}_i-\bar{\mathbf{x}})({\mathbf{x}}_i-\bar{\mathbf{x}}{)}^T{\Sigma }^{-1}d\Sigma \right)\\ & =\text{tr}({\Sigma }^{-1}S{\Sigma }^{-1}d\Sigma )\end{array}$$
   其中定义
   $$S=\frac{1}{N}\sum _{i=1}^N({\mathbf{x}}_i-\bar{\mathbf{x}})({\mathbf{x}}_i-\bar{\mathbf{x}}{)}^T$$
   为样本方差矩阵。

   综上，$dl=\text{tr}\left(\left({\Sigma }^{-1}-{\Sigma }^{-1}S{\Sigma }^{-1}\right)d\Sigma \right)$

3. 根据导数与微分的联系 $df=\text{tr}\left({\frac{\partial f}{\partial \Sigma }}^{T}d\Sigma \right)$ 有：
   $$\frac{\partial l}{\partial \Sigma }=({\Sigma }^{-1}-{\Sigma }^{-1}S{\Sigma }^{-1}{)}^T$$
   , 其零点即 $\Sigma$ 的最大似然估计为 $\Sigma =S_{}$

$例5$ $l=-{\mathbf{y}}^T\log \mathrm{softmax}(W\mathbf{x})$, 求 $\frac{\partial l}{\partial W}$. 其中 $\mathbf{y}$ 是除一个元素为1外其它元素为0的$m\times 1$ 列向量, $W$ 是 $m\times n$ 矩阵, $\mathbf{x}$ 是 $n\times 1$ 列向量, $l$ 是标量; $\log$ 表示自然对数, $\mathrm{softmax}(\mathbf{a})=\frac{\exp (\mathbf{a})}{1^T\exp (\mathbf{a})}$, 其中 $\exp (\mathbf{a})$ 表示逐元素求指数, $1$ 代表全1向量。

解：首先把 $\mathrm{softmax}$ 展开，注意逐元素log满足等式 $\log (\mathbf{u}/c)=\log (\mathbf{u})-1\log (c)$,以及 $\mathbf{y}$ 满足 ${\mathbf{y}}^{T}1=1$ 。得到:
$$\begin{array}{rl}l& =-{\mathbf{y}}^T\log \exp (\mathbf{W}\mathbf{x})+1{\mathbf{y}}^T\log 1^T\exp (\mathbf{W}\mathbf{x})\\ & =-{\mathbf{y}}^T\mathbf{W}\mathbf{x}+\log \left(1^T\exp (\mathbf{W}\mathbf{x})\right)\end{array}$$
根据上面的Algorithms:

1. 先使用矩阵乘法法则求微分 $dl$ ：
   $$\begin{array}{rl}dl& =-{\mathbf{y}}^{T}dW\mathbf{x}+\frac{1^T\left(\exp (W\mathbf{x})\odot (dW\mathbf{x})\right)}{1^T\exp (W\mathbf{x})}\\ & \\ & =-{\mathbf{y}}^{T}dW\mathbf{x}+\frac{\exp (W\mathbf{x}{)}^T(dW\mathbf{x})}{1^T\exp (W\mathbf{x})}\\ & =-\mathbf{x}(\text{softmax}(W\mathbf{x})-\mathbf{y}{)}^{T}dW\end{array}$$

   根据迹技巧:

   矩阵乘法/逐元素乘法交换: $\mathrm{tr}\left(A^T(B\odot C)\right)=\mathrm{tr}\left((A\odot B{)}^{T}C\right)$, 其中 $A,B,C$ 尺寸相同。两侧都等于 ${\sum }_{i,j}{A}_{ij}{B}_{ij}{C}_{ij}.$

2. 给 $dl$ 套上迹 tr:
   $$dl=-\text{tr}\left(\mathbf{x}(\text{softmax}(W\mathbf{x})-\mathbf{y}{)}^{T}dW\right)$$

3. 根据导数与微分的联系 $dl=\text{tr}\left({\frac{\partial l}{\partial W}}^{T}dW\right)$有：
   $$\frac{\partial l}{\partial W}=(\text{softmax}(W\mathbf{x})-\mathbf{y}){\mathbf{x}}^T$$

2.4 迹函数对向量或矩阵的求导

迹函数对对向量矩阵求导这一大类问题, 其实更简单，因为它省去了Algorithms中的第1,2 步，相当于已经帮你套上了 $\mathrm{t}\mathrm{r}$ 。

$例6$: 求 $\mathrm{tr}(AB)$ 对于矩阵 $A$ 的导数。

解：直接假设 $f=\mathrm{tr}(AB)$, 按照Algorithms一步一步来：

1. 先使用矩阵乘法法则求微分 $df$ :
   $$df=d\mathrm{tr}(AB)=\mathrm{tr}d(AB)=\mathrm{tr}dA\cdot B+\mathrm{tr}B\cdot dA$$
   矩阵 $B$ 相当于常数，故有：
   $$df=\mathrm{tr}dA\cdot B=\mathrm{tr}BdA$$
   根据导数与微分的联系 $df=\mathrm{tr}\left(\frac{\partial f^T}{\partial X}dX\right)$ 有:$\frac{\partial f}{\partial A}=B^T$

$例7$ 求 $\mathrm{tr}\left(B^T{X}^{T}CXB\right)$ 对于矩阵 $X$ 的导数。

解: 直接假设 $f=\mathrm{tr}\left(B^T{X}^{T}CXB\right)$, 按照Algorithms一步一步来:

1. 先使用矩阵乘法法则求微分 $df:$
   $$df=d\text{tr}(B^T{X}^{T}CXB)=\text{tr}d(B^T{X}^{T}CXB)=\text{tr}(B^{T}d{X}^{T}CXB)+\text{tr}(B^T{X}^{T}CdXB)$$

我们一项一项化简:

第1项 $\mathrm{tr}\left(B^{T}d{X}^{T}CXB\right)$ 里面有个烦人的 $d{X}^T$, 想办法把它化简掉, 根据迹的转置不变性和交换律有：
$$\mathrm{tr}\left(B^{T}d{X}^{T}CXB\right)=\mathrm{tr}\left(B^T{X}^T{C}^{T}dXB\right)=\mathrm{tr}\left(B{B}^T{X}^T{C}^{T}dX\right)$$
第2项 $\mathrm{tr}\left(B^T{X}^{T}CdXB\right)=\mathrm{tr}\left(B{B}^T{X}^{T}CdX\right)$

所以:
$$df=\mathrm{tr}\left(B{B}^T{X}^T{C}^{T}dX\right)+\mathrm{tr}\left(B{B}^T{X}^{T}CdX\right)$$

2. 根据导数与微分的联系 $df=\mathrm{tr}\left(\frac{\partial f^T}{\partial X}dX\right)$ 有:
   $$\begin{array}{rl}\frac{\partial f}{\partial X}& ={\left(B{B}^T{X}^T{C}^T\right)}^T+{\left(B{B}^T{X}^{T}C\right)}^T\\ & =CXB{B}^T+C^{T}XB{B}^T\end{array}$$

3、矩阵对矩阵求导

矩阵对矩阵的求导采用了向量化的思路，常应用于二阶方法中Hessian矩阵的分析。

首先来塚磨一下定义。矩阵对矩阵的导数，需要什么样的定义?

• 第一, 矩阵 $F(p\times q)$ 对矩阵 $X(m\times n)$ 的导数应包含所有$mnpq$个偏导数 $\frac{\partial F_{kl}}{\partial X_{ij}}$, 从而不损失信息;
• 第二，导数与微分有简明的联系，因为在计算导数和应用中需要这个联系；
• 第三，导数有简明的从整体出发的算法。

我们先定义向量 $\mathbf{f}(\mathrm{p}\times 1)$ 对向量 $\mathbf{x}(\mathrm{m}\times 1)$ 的导数
$$\frac{\partial \mathbf{f}}{\partial \mathbf{x}}={\left[\begin{array}{cccc}\frac{\partial f_1}{\partial x_1}& \frac{\partial f_2}{\partial x_1}& \cdots & \frac{\partial f_p}{\partial x_1}\\ \frac{\partial f_1}{\partial x_2}& \frac{\partial f_2}{\partial x_2}& \cdots & \frac{\partial f_p}{\partial x_2}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{\partial f_1}{\partial x_m}& \frac{\partial f_2}{\partial x_m}& \cdots & \frac{\partial f_p}{\partial x_m}\end{array}\right]}_{(\mathrm{m}\times \mathrm{p})}$$
有$d\mathbf{f}=\frac{\partial {\mathbf{f}}^T}{\partial \mathbf{x}}d\mathbf{x};$ 再定义矩阵的 (按列优先) 向量化
$$\mathrm{vec}(X)={\left[X_{11},\dots ,X_{m1},X_{12},\dots ,X_{m2},\dots ,X_{1n},\dots ,X_{mn}\right]}_{(\mathrm{m}\mathrm{n}\times 1)}^T$$
并定义矩阵$F$对矩阵$X$的导数 $\frac{\partial F}{\partial X}={\frac{\partial \mathrm{vec}(F)}{\partial \mathrm{vec}(X)}}_{(\mathrm{m}\mathrm{n}\times \mathrm{p}\mathrm{q})}$

导数与微分有联系: $\mathrm{vec}(dF)=\frac{\partial F^T}{\partial X}\mathrm{vec}(dX)$ .

几点说明如下:

1. 按此定义，标量对矩阵 $X(\mathrm{m}\times \mathrm{n})$ 的导数 $\frac{\partial f}{\partial X}$ 是 $\mathrm{m}\mathrm{n}\times 1$ 向量, 与上节的定义不兼容, 不过二者容易相互转换。为避免混淆, 用记号 ${\nabla }_{X}f$ 表示上节定义的m $\times$ n矩阵, 则有 $\frac{\partial f}{\partial X}=\mathrm{vec}\left({\nabla }_{X}f\right)$ 。

2. 标量对矩阵的二阶导数，又称Hessian矩阵，定义为 ${\nabla }_X^{2}f=\frac{{\partial }^{2}f}{\partial X^2}=\frac{\partial {\nabla }_{X}f}{\partial X}$ $(\mathrm{m}\mathrm{n}\times \mathrm{m}\mathrm{n})$, 是对称矩阵。对向量 $\frac{\partial f}{\partial X}$ 或矩阵 ${\nabla }_{X}f$ 求导都可以得到Hessian矩阵，但从矩阵 ${\nabla }_{X}f$ 出发更方便。

3. $\frac{\partial F}{\partial X}=\frac{\partial \mathrm{vec}(F)}{\partial X}=\frac{\partial F}{\partial \mathrm{vec}(X)}=\frac{\partial \mathrm{vec}(F)}{\partial \mathrm{vec}(X)}$, 求导时矩阵被向量化，弊端是这在一定程度破坏了矩阵的结构，会导致结果变得形式复杂；好处是多元微积分中关于梯度、Hessian矩阵的结论可以沿用过来，只需将矩阵向量化。例如优化问题中，牛顿法的更新 $\Delta X$, 满足vec $(\Delta X)=-{\left({\nabla }_X^{2}f\right)}^{-1}\mathrm{vec}\left({\nabla }_{X}f\right)$

4. 在资料中, 矩阵对矩阵的导数还有其它定义, 比如 $\frac{\partial F}{\partial X}=\left[\frac{\partial F_{kl}}{\partial X}\right](\mathrm{m}\mathrm{p}\times \mathrm{n}\mathrm{q})$, 或是$\frac{\partial F}{\partial X}=\left[\frac{\partial F}{\partial X_{ij}}\right](\mathrm{m}\mathrm{p}\times \mathrm{n}\mathrm{q})$, 它能兼容上节中的标量对矩阵导数的定义, 但微分与导数的联系 $($ dF等于 $\frac{\partial F}{\partial X}$ 中逐个 $m\times n$ 子块分别与 $\mathrm{d}\mathrm{X}$ 做内积 $)$ 不够简明, 不便于计算和应用。资料 [5]综述了以上定义，并批判它们是坏的定义，能配合微分运算的才是好的定义。

5. 在资料中，有分子布局和分母布局两种定义，其中向量对向量的导数的排布有所不同。本文使用的是分母布局，机器学习和优化中的梯度矩阵采用此定义。而控制论等领域中的 Jacobian矩阵采用分子布局, 向量 $\mathbf{f}$ 对向量 $\mathbf{x}$ 的导数定义是
   $$\frac{\partial \mathbf{f}}{\partial \mathbf{x}}=\left[\begin{array}{cccc}\frac{\partial f_1}{\partial x_1}& \frac{\partial f_1}{\partial x_2}& \cdots & \frac{\partial f_1}{\partial x_m}\\ \frac{\partial f_2}{\partial x_1}& \frac{\partial f_2}{\partial x_2}& \cdots & \frac{\partial f_2}{\partial x_m}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{\partial f_p}{\partial x_1}& \frac{\partial f_p}{\partial x_2}& \cdots & \frac{\partial f_p}{\partial x_m}\end{array}\right]$$
   ，对应地导数与微分的联系是 $d\mathbf{f}=\frac{\partial \mathbf{f}}{\partial \mathbf{x}}d\mathbf{x}$ ；同样通过向量化定义矩阵F对矩阵X的导数 $\frac{\partial F}{\partial X}=\frac{\partial \mathrm{v}\mathrm{e}\mathrm{c}(F)}{\partial \mathrm{v}\mathrm{e}\mathrm{c}(X)}$ ，有 $\mathrm{v}\mathrm{e}\mathrm{c}(dF)=\frac{\partial F}{\partial X}\mathrm{v}\mathrm{e}\mathrm{c}(dX)$ 。两种布局下的导数互为转置，二者求微分的步骤是相同的，仅在对照导数与微分的联系时有一个转置的区别，读者可根据所在领域的习惯选定一种布局。

3.1 微分技巧

微分得到导数需要一些向量化的技巧：

1. 线性:
   $$\mathrm{vec}(A+B)=\mathrm{vec}(A)+\mathrm{vec}(B)$$

2. 矩阵乘法：
   $$\mathrm{v}\mathrm{e}\mathrm{c}(AXB)=(B^T\otimes A)\mathrm{v}\mathrm{e}\mathrm{c}(X)$$
   ，其中 $\otimes$表示Kronecker积，A(m×n)与$\mathrm{B}(\mathrm{p}\times \mathrm{q})$ 的Kronecker积是 $A\otimes B=\left[A_{ij}{B}_{}\right](\mathrm{m}\mathrm{p}\times \mathrm{n}\mathrm{q}{)}_{。}$ Kronecker积

3. 转置:
   $$\mathrm{vec}\left(A^T\right)=K_{mn}\mathrm{vec}(A)$$

$A$是$m\times n$ 矩阵, 其中 $K_{mn}(\mathrm{m}\mathrm{n}\times \mathrm{m}\mathrm{n})$ 是交换矩阵(commutation matrix), 将按列优先的向量化变为按行优先的向量化。例如
K 22 = [ 1 0 0 0 0 0 1 0 0 1 0 0 0 0 0 1 ] , vec ⁡ ( A T ) = [ A 11 A 12 A 21 A 22 ] , vec ⁡ ( A ) = [ A 11 A 21 A 12 A 22 ] \large \color{green}{K_{22}=\left[\begin{array}{cccc} 1 & 0 & 0 & 0 \\ 0 & 0 & 1 & 0 \\ 0 & 1 & 0 & 0 \\ 0 & 0 & 0 & 1 \end{array}\right], \operatorname{vec}\left(A^{T}\right)=\left[\begin{array}{c} A_{11} \\ A_{12} \\ A_{21} \\ A_{22} \end{array}\right], \operatorname{vec}(A)=\left[\begin{array}{c} A_{11} \\ A_{21} \\ A_{12} \\ A_{22} \end{array}\right]} K22​=⎣⎢⎢⎢⎡​1000​0010​0100​0001​⎦⎥⎥⎥⎤​,vec(AT)=⎣⎢⎢⎢⎡​A11​A12​A21​A22​​⎦⎥⎥⎥⎤​,vec(A)=⎣⎢⎢⎢⎡​A11​A21​A