常用矩阵求导公式速查

参考资料

• Matrix Calculu
• The Matrix Cookbook

常用矩阵求导公式

对于一个矩阵A，向量$\mathrm{x}$，有如下求导公式：
$$\frac{{\mathrm{dx}}^{\mathrm{T}}}{\mathrm{dx}}=I\text{,}\frac{\mathrm{dx}}{{\mathrm{dx}}^{\mathrm{T}}}=I\text{\hspace{1em}(1)}$$

$$\begin{array}{c}\frac{{\mathrm{dx}}^{\mathrm{T}}\mathrm{A}}{\mathrm{dx}}=\mathrm{A}\text{,}\frac{\mathrm{dAx}}{{\mathrm{dx}}^{\mathrm{T}}}=\mathrm{A}\end{array}\text{\hspace{1em}(2)}$$

$$\begin{array}{c}\frac{\mathrm{dAx}}{\mathrm{dx}}={\mathrm{A}}^{\mathrm{T}}\text{,}\frac{\mathrm{dxA}}{\mathrm{dx}}={\mathrm{A}}^{\mathrm{T}}\end{array}\text{\hspace{1em}(3)}$$

$$\begin{array}{c}\frac{{\mathrm{dx}}^{\mathrm{T}}\mathrm{x}}{\mathrm{dx}}=2\mathrm{x}\text{,}\frac{{\mathrm{dx}}^{\mathrm{T}}\mathrm{Ax}}{\mathrm{dx}}=\left(\mathrm{A}+{\mathrm{A}}^{\mathrm{T}}\right)\mathrm{x}\end{array}\text{\hspace{1em}(4-1)}$$
$$\frac{{\mathrm{dx}}^{\mathrm{T}}\mathrm{Ax}}{{\mathrm{dxx}}^{\mathrm{T}}}=\frac{d}{\mathrm{dx}}\left(\frac{{\mathrm{dx}}^{\mathrm{T}}\mathrm{Ax}}{\mathrm{dx}}\right)={\mathrm{A}}^{\mathrm{T}}+\mathrm{A}\text{\hspace{1em}(4-2)}$$

$$\frac{\partial \mathrm{u}}{\partial {\mathrm{x}}^{\mathrm{T}}}={\left(\frac{\partial {\mathrm{u}}^{\mathrm{T}}}{\partial \mathrm{x}}\right)}^{\mathrm{T}}\text{\hspace{1em}(5-1)}$$
$$\begin{array}{r}\frac{\partial {\mathrm{u}}^{\mathrm{T}}\mathrm{v}}{\partial \mathrm{x}}=\frac{\partial {\mathrm{u}}^{\mathrm{T}}}{\partial \mathrm{x}}\mathrm{v}+\frac{\partial {\mathrm{v}}^{\mathrm{T}}}{\partial \mathrm{x}}{\mathrm{u}}^{\mathrm{T}}\text{,}\frac{\partial {\mathrm{uv}}^{\mathrm{T}}}{\partial \mathrm{x}}=\frac{\partial \mathrm{u}}{\partial \mathrm{x}}{\mathrm{v}}^{\mathrm{T}}+\mathrm{u}\frac{\partial {\mathrm{v}}^{\mathrm{T}}}{\partial \mathrm{x}}\end{array}\text{\hspace{1em}(5-2)}$$

$$\frac{\partial \left[(\mathrm{xu}-\mathrm{v}{)}^{\mathrm{T}}(\mathrm{x}u-\mathrm{v})\right]}{\partial \mathrm{x}}=2(\mathrm{xu}-\mathrm{v}){\mathrm{u}}^{\mathrm{T}}\text{\hspace{1em}(6)}$$

$$\begin{array}{c}\frac{\partial {\mathrm{u}}^{\mathrm{T}}\mathrm{xv}}{\partial \mathrm{x}}={\mathrm{uv}}^{\mathrm{T}}\text{,}\frac{\partial {\mathrm{u}}^{\mathrm{T}}{\mathrm{x}}^{\mathrm{T}}\mathrm{xu}}{\partial \mathrm{x}}=2{\mathrm{xuu}}^{\mathrm{T}}\end{array}\text{\hspace{1em}(7)}$$

特别地，当$A=A^T$时，公式(4-1)和公式(4-2)有
$$\begin{array}{c}\frac{{\mathrm{dx}}^{\mathrm{T}}\mathrm{Ax}}{\mathrm{dx}}=2\mathrm{Ax}\end{array}\text{\hspace{1em}(8)}$$
$$\frac{{\mathrm{dx}}^{\mathrm{T}}\mathrm{Ax}}{{\mathrm{dxx}}^{\mathrm{T}}}=2\mathrm{A}\text{\hspace{1em}(9)}$$