标量函数对矩阵求导全破

标量函数对矩阵的梯度

定义

实值函数$f(\mathbf{X})$对变元$\mathbf{X}\in {\mathbb{R}}^{m\times n}$的导数有两种定义方式：

1. Jacobi矩阵：
   $$D_{\mathbf{X}}f(\mathbf{X})=\frac{\partial f(\mathbf{X})}{\partial {\mathbf{X}}^T}=(\frac{\partial f(\mathbf{X})}{\partial x_{ji}}{)}_{n\times m}$$
   实际上一般对矩阵求导的时候更方便用梯度矩阵，即Jacobi矩阵的转置：
   $${\nabla }_{\mathbf{X}}f(\mathbf{X})=\frac{\partial f(\mathbf{X})}{\partial \mathbf{X}}=(\frac{\partial f(\mathbf{X})}{\partial x_{ij}}{)}_{m\times n}$$
2. 行向量偏导：
   $$vec\mathbf{X}=[x_{11},x_{21},\dots ,x_{m1},\dots ,x_{1n},\dots ,x_{mn}{]}^T$$
   $$D_{vec\mathbf{X}}f(\mathbf{X})=\frac{\partial f(\mathbf{X})}{\partial (vec\mathbf{X}{)}^T}=\left[\frac{\partial f(\mathbf{X})}{\partial x_{11}},\dots ,\frac{\partial f(\mathbf{X})}{\partial x_{m1}},\dots ,\frac{\partial f(\mathbf{X})}{\partial x_{1n}},\dots ,\frac{\partial f(\mathbf{X})}{\partial x_{mn}}\right]$$
   Jacobi矩阵沿水平方向展开就可以得到行向量偏导，所以说我们对一个实值函数求$m\times n$阶矩阵的偏导，实际上与求对应的$mn$维向量的梯度无异，所以参照梯度的用途，我们令${\nabla }_{\mathbf{X}}f(\mathbf{X})=0$，就得到了一个$f(\mathbf{X})$取最大值的必要条件（除去不连续点）。
   BTW，Wiki上的Matrix Calculus里提到Numerator layout与Denominator layout就分别对应这里定义的Jacobi矩阵和梯度矩阵。

求梯度矩阵的方法

逐个元素进行比较

Ex 1： $\mathbf{A},\mathbf{B}\in {\mathbb{R}}^{n\times n}$，show that $\frac{\partial tr(\mathbf{A}\mathbf{B})}{\partial \mathbf{A}}={\mathbf{B}}^T$
Pf： $tr(AB)=\sum _{i,j}{a}_{ij}{b}_{ji}$，so $\frac{\partial tr(AB)}{\partial a_{ij}}=b_{ji}$, then by definition$\frac{\partial tr(\mathbf{A}\mathbf{B})}{\partial \mathbf{A}}={\mathbf{B}}^T$

Ex 2： $f(\mathbf{X})={\mathbf{a}}^T\mathbf{X}{\mathbf{X}}^T\mathbf{b}$，求对$\mathbf{X}$的梯度矩阵
Sol： $$f(\mathbf{X})={\mathbf{a}}^T\mathbf{X}{\mathbf{X}}^T\mathbf{b}=\sum _{k=1}^m\sum _{l=1}^m{a}_k(\sum _{p=1}^n{x}_{kp}{x}_{lp})b_l=\sum _{k,l,p}{a}_k{x}_{kp}{x}_{lp}{b}_l$$
$$\frac{\partial f(\mathbf{X})}{x_{ji}}=\sum _{k,l,p}[a_k{x}_{lp}{b}_l\frac{\partial x_{kp}}{\partial x_{ji}}+a_k{x}_{kp}{b}_l\frac{x_{lp}}{\partial x_{ji}}]$$

$$\begin{array}{rl}\frac{\partial f(\mathbf{X})}{x_{ji}}& =\sum _{k,l,p}[a_k{x}_{lp}{b}_l\frac{\partial x_{kp}}{\partial x_{ji}}+a_k{x}_{kp}{b}_l\frac{x_{lp}}{\partial x_{ji}}]\\ & =\sum _{i,l,j}{a}_j{x}_{li}{b}_l+\sum _{k,i,j}{a}_k{x}_{ki}{b}_j\\ & =\sum _{i,j}[{\mathbf{X}}^T\mathbf{b}{]}_i{a}_j+[{\mathbf{X}}^T\mathbf{a}{]}_i{b}_j\end{array}$$
故$D_{\mathbf{X}}f(\mathbf{X})={\mathbf{X}}^T({\mathbf{b}\mathbf{a}}^T+{\mathbf{a}\mathbf{b}}^T)$ 及${\nabla }_{\mathbf{X}}f(\mathbf{X})=({\mathbf{a}\mathbf{b}}^T+{\mathbf{b}\mathbf{a}}^T)\mathbf{X}$

利用矩阵微分与迹函数

（注意：下面的性质和定理虽然都是对矩阵讨论，但是向量情形完全适用）
矩阵微分用$d\mathbf{X}$表示，定义为$d\mathbf{X}=[d{X}_{ij}{]}_{i=1,j=1}^{m,n}$，是${\mathbb{R}}^{m\times n}$上的一个线性算子，提一下几个性质，我们会用到前4条：

1. $d({\mathbf{X}}^T)=(d\mathbf{X}{)}^T$
2. $d(\mathbf{A}\mathbf{X}\mathbf{B})=\mathbf{A}(d\mathbf{X})\mathbf{B}$
3. $d(tr(\mathbf{X}))=tr(d\mathbf{X})$
4. $d(vec(\mathbf{X}))=vec(d\mathbf{X})$
5. $d|\mathbf{X}|=|\mathbf{X}|tr({\mathbf{X}}^{-1}d\mathbf{X})$
6. $d({\mathbf{X}}^{-1})=-{\mathbf{X}}^{-1}(d\mathbf{X}){\mathbf{X}}^{-1}$（这个式子在ode习题中坑过我，记忆犹新）
   接下来是本文最重要的一个定理：
   定理：$$df(\mathbf{X})=tr({\mathbf{A}}^{T}d\mathbf{X})\iff \frac{\partial f(\mathbf{X})}{\partial \mathbf{X}}=\mathbf{A}$$
   证明： $$\begin{array}{rl}df(\mathbf{X})& =\frac{\partial f(\mathbf{X})}{\partial {\mathbf{x}}_1}d{\mathbf{x}}_1+\cdots +\frac{\partial f(\mathbf{X})}{\partial {\mathbf{x}}_{\mathbf{n}}}d{\mathbf{x}}_{\mathbf{n}}\\ & =[\frac{\partial f(\mathbf{X})}{\partial x_{11}},\dots ,\frac{\partial f(\mathbf{X})}{\partial x_{m1}}]\left[\begin{array}{c}d{x}_{11}\\ ⋮\\ d{x}_{m1}\end{array}\right]+\cdots +[\frac{\partial f(\mathbf{X})}{\partial x_{1n}},\dots ,\frac{\partial f(\mathbf{X})}{\partial x_{mn}}]\left[\begin{array}{c}d{x}_{1n}\\ ⋮\\ d{x}_{mn}\end{array}\right]\\ & =\left[\frac{\partial f(\mathbf{X})}{\partial x_{11}},\dots ,\frac{\partial f(\mathbf{X})}{\partial x_{m1}},\dots ,\frac{\partial f(\mathbf{X})}{\partial x_{1n}},\dots ,\frac{\partial f(\mathbf{X})}{\partial x_{mn}}\right]\left[\begin{array}{c}d{x}_{1n}\\ ⋮\\ d{x}_{m1}\\ ⋮\\ d{x}_{1n}\\ ⋮\\ d{x}_{mn}\end{array}\right]\\ & =D_{vec\mathbf{X}}f(\mathbf{X})d(vec\mathbf{X})\end{array}$$
   设$\mathbf{A}$为$f(\mathbf{X})$的梯度矩阵，即
   $$\mathbf{A}=\frac{\partial f(\mathbf{X})}{\partial \mathbf{X}}$$
   则由梯度矩阵和行向量偏导的关系得$D_{vec\mathbf{X}}f(\mathbf{X})=(vec({\nabla }_{\mathbf{X}}f(\mathbf{X})){)}^T$，结合微分的性质4得
   $$df(\mathbf{X})=(vec\mathbf{A}{)}^{T}vec(d\mathbf{X})$$
   向量化算子vec和迹函数之间关系易证：$tr({\mathbf{B}}^T\mathbf{C})=\sum _{i,j}{b}_{ij}{c}_{ij}=(vec\mathbf{B}{)}^{T}vec\mathbf{C}$
   所以$$df(\mathbf{X})=tr({\mathbf{A}}^{T}d\mathbf{X})$$

Ex 3： 求$tr({\mathbf{X}}^T\mathbf{A}\mathbf{X})$的梯度矩阵
Sol： $$\begin{array}{rl}dtr({\mathbf{X}}^T\mathbf{A}\mathbf{X})& =tr(d({\mathbf{X}}^T\mathbf{A}\mathbf{X}))\\ & =tr((d\mathbf{X}{)}^T\mathbf{A}\mathbf{X}+{\mathbf{X}}^T\mathbf{A}d\mathbf{X})\\ & =tr((d\mathbf{X}{)}^T\mathbf{A}\mathbf{X})+tr({\mathbf{X}}^T\mathbf{A}d\mathbf{X})\\ & =tr((\mathbf{A}\mathbf{X}{)}^{T}d\mathbf{X})+tr({\mathbf{X}}^T\mathbf{A}d\mathbf{X})\\ & =tr({\mathbf{X}}^T({\mathbf{A}}^T+\mathbf{A})d\mathbf{X})\end{array}$$
所以由定理知，$\frac{\partial tr({\mathbf{X}}^T\mathbf{A}\mathbf{X})}{\partial \mathbf{X}}=(\mathbf{A}+{\mathbf{A}}^T)\mathbf{X}$

这个方法具有极强的实用性，原因在于：

1. 标量函数$f(\mathbf{X})$总可以表示成迹函数的形式：$tr(f(\mathbf{X}))$
2. 迹函数的交换顺序不变性和求转置不变性的性质可以保证微分的结果可以转化成形式$tr(\mathbf{A}d\mathbf{X})$

更多例子可以看《矩阵分析与应用》（清华大学出版社）这本书，以及参考Wiki-Matrix Calculus