矩阵求导总结

矩阵求导总结

参考文章：https://zhuanlan.zhihu.com/p/24709748

一、标量对矩阵求导术

​ 首先，标量$f$对矩阵$\mathbf{X}$的导数，定义为：

​ $\frac{\partial f}{\partial \mathbf{X}}=[\frac{\partial f}{\partial {\mathbf{X}}_{\mathbf{ij}}}]$，

即$f$对$\mathbf{X}$逐个元素求导排列成和$\mathbf{X}$尺寸相同的矩阵。这个定义在计算中并不好用，原因有二：

• 实用上的原因是对函数较复杂的情形难以逐元素求导；
• 哲理上的原因是逐元素求导破坏了整体性。

​ 通过回顾：

• 一元微积分中的导数（标量对标量的导数）与微分的联系：$df=f^{\prime }(x)dx$

• 多元微积分中的梯度（标量对向量的导数）也与微分有联系：$df={\sum }_{i=1}^n\frac{\partial f}{\partial x_i}d{x}_i=(\frac{\partial f}{\partial \mathbf{x}}{)}^{\top }d\mathbf{x}$，第一个等号是全微分公式，第二个等号表达了梯度与微分的联系。全微分$df$是梯度向量$\frac{\partial f}{\partial \mathbf{x}}(n\times 1)$与微分向量$d\mathbf{x}(1\times n)$的内积

• 受此启发，将矩阵导数与微分建立联系：

  • $$df=\sum _{i=1}^m\sum _{j=1}^n\frac{\partial f}{\partial X_{ij}}d{X}_{ij}=tr((\frac{\partial f}{\partial \mathbf{X}}{)}^{\top }d\mathbf{X})$$

  其中tr代表迹(trace)是方阵对角线元素之和，满足性质：对尺寸相同的矩阵A,B，$tr(A^{\top }B)$即是矩阵A,B的内积(A、B对应位置元素乘积之和)。与梯度相似，这里第一个等号是全微分公式，第二个等号表达了矩阵导数与微分的联系：全微分$df$是导数$\frac{\partial f}{\partial X}(m\times n)$与微分矩阵$dX(m\times n)$的内积。

​ 矩阵微分的运算法则：

1. 加减法：$d(X\pm Y)=dX\pm dY$

2. 矩阵乘法:$d(XY)=(dX)Y+XdY$

3. 转置：$d(X^\top )=(dX)^ \top $

4. 迹：$dtr(X)=tr(dX)$

5. 逆：$d{X}^{-1}=-X^{-1}dX{X}^{-1}$(此式可在$X{X}^{-1}=I$两侧去求微分证明)

6. 行列式：$d|X|=tr(X^{\ast }dX)$ 其中，$X^{\ast }$表示$X$的伴随矩阵；在$X$可逆时又可写作：$d|X|=|X|tr(X^{-1}dX)$

7. 逐元素乘法：$$d(X\odot Y)=dX\odot Y+X\odot dY$$ $\odot$表示尺寸相同的矩阵 X、Y逐个元素相乘

8. 逐元素函 数：$d\sigma (X)={\sigma }^{\prime }(X)\odot dX$ ,$\sigma (X)=[\sigma (X_{ij})]$是逐元素标量函数运算，$\sigma ’(X)=[{\sigma }^{\prime }(X_{ij})]$是逐元素求导数。例如：
   $$\begin{gathered} X=\left[\begin{array}{cc}{X}_{11}& X_{12}\\ X_{21}& X_{22}\end{array}\right], \\ dsin(X)=\left[\begin{array}{cc}cos{X}_{11}d{X}_{11}& cos{X}_{12}d{X}_{12}\\ cos{X}_{21}d{X}_{21}& cos{X}_{22}d{X}_{22}\end{array}\right]=cos(X)\odot dX \end{gathered}$$

​ 试图利用矩阵导数与微分的联系$df=tr((\frac{\partial f}{\partial \mathbf{X}}{)}^{\top }d\mathbf{X})$,在求出左侧的微分$df$后，该如何写成右侧的形式并得到导数呢？

​ 需要一些迹的技巧:

1. 套上迹的标量：$a=tr(a)$
2. 转置：$tr(A^{\top })=tr(A)$，转置不改变对角线元素位置故迹不变
3. 线性：$tr(A\pm B)=tr(A)\pm tr(B)$，矩阵加减求迹相当于对角线元素相加减
4. 矩阵乘法交换：$tr(AB)=tr(BA)$，其中$A和B^{\top }$尺寸相同。
5. 矩阵乘法/逐元素乘法交换：$tr(A^{\top }(B\odot C))=tr((A\odot B{)}^{\top }C)$，其中$A、B、C$尺寸相同，两侧都等于${\sum }_{ij}{A}_{ij}{B}_{ij}{C}_{ij}$

​ 观察一下可以断言，若标量函数$f$是矩阵X经加减乘法、逆、行列式、逐元素函数等运算构成，则使用相应的运算法则对f求微分，再使用迹技巧给$df$套上迹并将其它项交换至$dX$左侧，对照导数与微分的联系$df=tr((\frac{\partial f}{\partial \mathbf{X}}{)}^{\top }d\mathbf{X})$，即能得到导数。

特别地，若矩阵退化为向量，对照导数与微分的联系$df={\frac{\partial f}{\partial \mathbf{x}}}^{\top }d\mathbf{x}$，即能得到导数。

​ 再看复合，假设已经求得$\frac{\partial f}{\partial Y}$，而$Y$是$X$的函数，如何求$\frac{\partial f}{\partial X}$呢？

从微分入手建立复合法则：先写出$df=tr({\frac{\partial f}{\partial Y}}^{\top }dY)$，再将$dY$用$dX$表示出来代入，并用迹技巧将其他项交换至$dX$左侧，即可得到$\frac{\partial f}{\partial X}$

​ 看一个例子：$Y=AXB$，此时
$$\begin{gathered} df=tr({\frac{\partial f}{\partial Y}}^{\top }dY)=tr({\frac{\partial f}{\partial Y}}^{\top }AdXB) \\ =tr(B{\frac{\partial f}{\partial Y}}^{\top }AdX)=tr((A^{\top }\frac{\partial f}{\partial Y}{B}^{\top }{)}^{\top }dX) \end{gathered}$$
可以得到，$$\frac{\partial f}{\partial X}=A^{\top }\frac{\partial f}{\partial Y}{B}^{\top }$$

注意:
$$\begin{gathered} dY=(dA)XB+AdXB+AXdB=AdXB, \\ 由于A，B是常量，dA=dB=0 \end{gathered}$$