矩阵求导简介

---

前言

提示：本文简要介绍矩阵求导方面的知识

标量函数的求导读者应该非常熟悉了。假设$f(x)$对$x$求导，那么将得到$\frac{df}{dx}$这样一个导数，显然它仍然是一个标量。然后下面分别介绍当$x$为向量或者$f$为向量函数的情况。

---

提示：以下是本篇文章正文内容，可供参考

一、标量函数对向量求导

先考虑$x$为向量的情况。假设$x\in {\mathbb{R}}^m$，为列向量，那么：
$$\frac{df}{dx}={\left[\frac{df}{d{x}_1},...,\frac{df}{d{x}_m}\right]}^T\in {\mathbb{R}}_m\text{\hspace{1em}(1)}$$
这将得到一个$m\cdot 1$的向量。有时也写成对$x^T$的求导：
$$\frac{df}{d{x}^T}=\left[\frac{df}{d{x}_1},...,\frac{df}{d{x}_m}\right]\text{\hspace{1em}(2)}$$
这得到一个行向量。一般称为$\frac{df}{dx}$为梯度或者Jacobian，不同领域习惯可能不同。

二、向量函数对向量求导

一个向量函数也可以对向量求导。考虑$F(x)$为一个向量函数：
$$F(x)={\left[f_1(x),...,f_n(x)\right]}^T$$
其中每一个$f_k$都是一个自变量为向量，取值为标量的函数。考虑这样的函数对$x$求导时，通常的做法是写为
∂ F ∂ x T = [ ∂ f 1 ∂ x T ⋮ ∂ f n ∂ x T ] = [ ∂ f 1 ∂ x 1 ∂ f 1 ∂ x 2 ⋯ ∂ f 1 ∂ x m ∂ f 2 ∂ x 1 ∂ f 2 ∂ x 2 ⋯ ∂ f 2 ∂ x m ⋮ ⋮ ⋱ ⋮ ∂ f n ∂ x 1 ∂ f n ∂ x 2 ⋯ ∂ f n ∂ x m ] ∈ R n × m (3) \frac{\partial F}{\partial x^T} = \begin{bmatrix} \frac{\partial f_1}{\partial x^T} \\ \vdots \\ \frac{\partial f_n}{\partial x^T} \end{bmatrix} = \begin{bmatrix} \frac{\partial f_1}{\partial x_1} & \frac{\partial f_1}{\partial x_2} & \cdots & \frac{\partial f_1}{\partial x_m} \\ \frac{\partial f_2}{\partial x_1} & \frac{\partial f_2}{\partial x_2} & \cdots & \frac{\partial f_2}{\partial x_m} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial f_n}{\partial x_1} & \frac{\partial f_n}{\partial x_2} & \cdots & \frac{\partial f_n}{\partial x_m} \end{bmatrix} \in \mathbb R^{n\times m} \tag{3} ∂xT∂F​= ​∂xT∂f1​​⋮∂xT∂fn​​​ ​= ​∂x1​∂f1​​∂x1​∂f2​​⋮∂x1​∂fn​​​∂x2​∂f1​​∂x2​∂f2​​⋮∂x2​∂fn​​​⋯⋯⋱⋯​∂xm​∂f1​​∂xm​∂f2​​⋮∂xm​∂fn​​​ ​∈Rn×m(3)
也就是写成列函数对行向量求导的形式，这将得到一个$n\times m$的雅克比矩阵。这种写法是规范的，典型的例子：
$$\frac{\partial Ax}{\partial x^T}=A\text{\hspace{1em}(4)}$$
反之，一个行向量函数也可以对列向量求导，结果为之前的转置：
$$\frac{\partial F^T}{\partial x}={\left(\frac{\partial F}{\partial x^T}\right)}^T\text{\hspace{1em}(5)}$$