矩阵求导（一）-- 求导的定义和布局约定

        本系列主要参考张贤达的《矩阵分析与应用》第三章 矩阵微分和下面的博客内容进行学习，并整理成学习笔记。学习路线参考SinclairWang的文章——矩阵求导入门学习路线，按下面推荐顺序学习，效果更佳。

简介	链接
矩阵求导——本质篇：矩阵求导中分子布局、分母布局的本质	https://zhuanlan.zhihu.com/p/263777564
矩阵求导——基础篇：基本的向量/矩阵变元的实值标量函数的求导	https://zhuanlan.zhihu.com/p/273729929
矩阵求导——进阶篇： 矩阵的迹 $tr(A\text{A}A)$ 与一阶实矩阵微分 $dX\text{X}X$	https://zhuanlan.zhihu.com/p/288541909
矩阵求导术(上)：标量对矩阵的求导	https://zhuanlan.zhihu.com/p/24709748
矩阵求导术(下)：矩阵对矩阵的求导	https://zhuanlan.zhihu.com/p/24863977

        矩阵微分（Matrix Differential）也称矩阵求导（Matrix Derivative），在机器学习、图像处理、最优化等领域的公式推导过程中经常用到。本篇将对各种形式下的矩阵求导进行简单的介绍。

        本文使用小写字母 $x$ 表示标量，粗体小写字母 $x\text{x}x$ 表示(列)向量，粗体大写字母 $X\text{X}X$ 表示矩阵。

1 引言

        本篇主要讨论实值标量函数、实值向量函数和实值矩阵函数相对于实向量变元或矩阵变元的偏导。为了方便理解，首先对变元和函数作统一的符号规定：
                        $x\text{x}x=[x_1,x_2,\cdots ,x_m{]}^T\in {\mathbb{R}}^m$ 为实向量变元；$X\text{X}X=[x_1\text{x1}{x}_1,x_2\text{x2}{x}_2,\cdots ,x_n\text{xn}{x}_n{]}^T\in {\mathbb{R}}^{m\times n}$ 为实矩阵变元。

        实值函数，是指这样的函数 $f(X):X\to Y$，其中 $Y$ 是实数集 $R$，$X$ 可以是复数域的子集。“实值函数”是指函数值是“实数”，不可以取虚数或 $\pm \infty$ 的。实值函数有以下分类：

函数类型\变元类型	标量变元 $x\in \mathbb{R}$	向量变元 $\mathbf{x}\in {\mathbb{R}}^m$	矩阵变元 $\mathbf{X}\in {\mathbb{R}}^{m\times n}$
标量函数 $f\in \mathbb{R}$	$f(x)\{f:\mathbb{R}\to \mathbb{R}\}$	$f(\mathbf{x})\{f:{\mathbb{R}}^m\to \mathbb{R}\}$	$f(\mathbf{X})\{f:{\mathbb{R}}^{m\times n}\to \mathbb{R}\}$
向量函数 $\mathbf{f}\in {\mathbb{R}}^p$	$\mathbf{f}(x)\{\mathbf{f}:\mathbb{R}\to {\mathbb{R}}^p\}$	$\mathbf{f}(\mathbf{x})\{\mathbf{f}:{\mathbb{R}}^m\to {\mathbb{R}}^p\}$	$\mathbf{f}(\mathbf{X})\{\mathbf{f}:{\mathbb{R}}^{m\times n}\to {\mathbb{R}}^p\}$
矩阵函数 $\mathbf{F}\in {\mathbb{R}}^{p\times q}$	$\mathbf{F}(x)\{\mathbf{F}:\mathbb{R}\to {\mathbb{R}}^{p\times q}\}$	$\mathbf{F}(\mathbf{x})\{\mathbf{F}:{\mathbb{R}}^m\to {\mathbb{R}}^{p\times q}\}$	$\mathbf{F}(\mathbf{X})\{\mathbf{F}:{\mathbb{R}}^{m\times n}\to {\mathbb{R}}^{p\times q}\}$

        矩阵微分是实函数微分对矩阵函数的推广，矩阵求导为标量函数，向量函数和矩阵函数的梯度矩阵与Hessian矩阵的计算提供了便捷的算法。

---

2 定义

2.1 引入

        在高数里，我们学习过多元函数求偏导，如：$f(x_1,x_2,x_3)=(x_1{)}^2+(x_2{)}^2+(x_3{)}^2+x_1{x}_2{x}_3$，将 $f$ 对 $x_1,x_2,x_3$ 分别求偏导，
$$\{\begin{array}{l}\frac{\partial f}{\partial x_1}=2x_1+x_2{x}_3\\ \frac{\partial f}{\partial x_2}=2x_2+x_1{x}_3\\ \frac{\partial f}{\partial x_3}=2x_3+x_1{x}_2\end{array}\text{\hspace{1em}(2-1)}$$
        并把这组标量写成向量的形式，即可得到一个标量 $f$ 对一个 $3$ 维向量 $\mathbf{x}$ 的求导，则结果也是一个 $3$ 维的向量：$\frac{\partial y}{\partial \mathbf{x}}$。矩阵求导也是类似的，本质就是 $\mathbf{F}$ 中的每个 $f$ 分别对变元中的每个元素逐个求偏导，只不过写成了向量、矩阵形式而已。因此，所谓标量对向量的求导，其实就是标量对向量里的每个分量分别求导，最后把求导的结果排列在一起，按一个向量表示而已。 类似的结论也存在于向量对标量的求导，向量对向量的求导，向量对矩阵的求导，矩阵对向量的求导，以及矩阵对矩阵的求导等。

        所谓的矩阵求导本质上就是把因变量的每个元素逐个对自变量的元素求导，并把求导的结果排列成了矩阵的形式。但逐元素求导破坏了整体性，使用矩阵运算也更整洁。所以在求导时不宜拆开矩阵，而是要找一个从整体出发的算法。

        根据求导的自变量和因变量是标量，向量还是矩阵，我们有9种可能的矩阵求导定义，如下：

因变量\自变量	标量 $x$	向量 $x\text{x}x$	矩阵 $X\text{X}X$
标量 $f$	$\frac{\partial f}{\partial x}$	$\frac{\partial f}{\partial \mathbf{x}}$	$\frac{\partial f}{\partial \mathbf{X}}$
向量 $\mathbf{f}$	$\frac{\partial \mathbf{f}}{\partial x}$	$\frac{\partial \mathbf{f}}{\partial \mathbf{x}}$	$\frac{\partial \mathbf{F}}{\partial \mathbf{X}}$
矩阵 $\mathbf{F}$	$\frac{\partial \mathbf{F}}{\partial x}$	$\frac{\partial \mathbf{F}}{\partial \mathbf{x}}$	$\frac{\partial \mathbf{F}}{\partial \mathbf{X}}$

        这里我们主要以实值标量函数对向量变元、矩阵变元和矩阵函数对矩阵的求导为主。

2.2 矩阵向量求导布局

        对于上面多元函数求导的例子，也许会想是写成行向量还是列向量的形式呢？当分子分母都是向量，且一个是行向量，另一个是列向量，或者分子分母一个是标量，另一个是行向量或列向量，我们才会讨论求导的布局。最基本的求导布局有两个：分子布局(numerator layout)和分母布局(denominator layout )。
        对于分子布局来说，我们求导结果的维度以分子为主，即结果的维度和分子的维度是一致的。对于分母布局来说，我们求导结果的维度以分母为主。但是对于某一种求导类型，不能同时使用分子布局和分母布局求导。通常，对于分子布局和分母布局的结果来说，两者相差一个转置。 在实际应用中，一般来说我们会使用一种叫混合布局的思路，即如果是向量或者矩阵对标量求导，则使用分子布局为准，如果是标量对向量或者矩阵求导，则以分母布局为准。下面分析具体的矩阵求导结果布局。

2.2.1 向量变元的实值标量函数

        设 $f(x\text{x}x)，x\text{x}x=[x_1,x_2,\cdots ,x_m{]}^T$，定义行向量偏导算子为：
$$D_{\mathbf{x}}\stackrel{def}{=}\frac{\partial }{\partial {\mathbf{x}}^T}=\left[\frac{\partial }{\partial x_1},\frac{\partial }{\partial x_2},\cdots ,\frac{\partial }{\partial x_m}\right]\text{\hspace{1em}(2-2)}$$
        列向量偏导算子即梯度算子定义为：
$${\nabla }_{\mathbf{x}}\stackrel{def}{=}\frac{\partial }{\partial \mathbf{x}}={\left[\frac{\partial }{\partial x_1},\frac{\partial }{\partial x_2},\cdots ,\frac{\partial }{\partial x_m}\right]}^T\text{\hspace{1em}(2-3)}$$

1. 行向量偏导形式
$${\text{D}}_{\mathbf{x}}f(x\text{x}x)=\frac{\partial f(x\text{x}x)}{\partial {x\text{x}x}^T}=\left[\frac{\partial f}{\partial x_1},\frac{\partial f}{\partial x_2},\cdots ,\frac{\partial f}{\partial x_m}\right]\text{\hspace{1em}(2-4)}$$
        式（2-4）又称为行偏导向量形式，为了方便，下面统一称作行向量偏导形式。
2. 梯度向量形式
$${\nabla }_{\mathbf{x}}f(x\text{x}x)=\frac{\partial f(x\text{x}x)}{\partial x\text{x}x}={\left[\frac{\partial f}{\partial x_1},\frac{\partial f}{\partial x_2},\cdots ,\frac{\partial f}{\partial x_m}\right]}^T\text{\hspace{1em}(2-5)}$$
        式（2-5）又称为列向量偏导形式或列偏导向量形式，为了方便，下面统一称作梯度向量形式。可以看到式（2-4）和（2-5）互为转置。

2.2.2 向量变元的实向量函数

        设 $f(x\text{x}x)=[f_1,f_2,\cdots ,f_n{]}^T，x\text{x}x=[x_1,x_2,\cdots ,x_m{]}^T$
        分子布局（Jacobian 矩阵形式），就是分子是列向量形式，分母是行向量形式，即：
$$\frac{\partial {f\text{f}f}_{n\times 1}(x\text{x}x)}{\partial {x\text{x}x}_{m\times 1}^T}={\left[\begin{array}{cccc}\frac{\partial f_1}{\partial x_1}& \frac{\partial f_1}{\partial x_2}& \cdots & \frac{\partial f_1}{\partial x_m}\\ & & & \\ \frac{\partial f_2}{\partial x_1}& \frac{\partial f_2}{\partial x_2}& \cdots & \frac{\partial f_2}{\partial x_m}\\ ⋮& ⋮& ⋮& ⋮\\ \frac{\partial f_n}{\partial x_1}& \frac{\partial f_n}{\partial x_2}& \cdots & \frac{\partial f_n}{\partial x_m}\end{array}\right]}_{n\times m}\text{\hspace{1em}(2-6)}$$
        分母布局（梯度矩阵形式），就是分母是列向量形式，分子是行向量形式，即：
$$\frac{\partial {f\text{f}f}_{n\times 1}^T(x\text{x}x)}{\partial {x\text{x}x}_{m\times 1}}={\left[\begin{array}{cccc}\frac{\partial f_1}{\partial x_1}& \frac{\partial f_2}{\partial x_1}& \cdots & \frac{\partial f_n}{\partial x_1}\\ & & & \\ \frac{\partial f_1}{\partial x_2}& \frac{\partial f_2}{\partial x_2}& \cdots & \frac{\partial f_n}{\partial x_2}\\ ⋮& ⋮& ⋮& ⋮\\ \frac{\partial f_1}{\partial x_m}& \frac{\partial f_2}{\partial x_m}& \cdots & \frac{\partial f_n}{\partial x_m}\end{array}\right]}_{m\times n}\text{\hspace{1em}(2-7)}$$

2.2.3 矩阵变元的实值标量函数

        设 $f(X\text{X}X)，{X\text{X}X}_{m\times n}=(x_{ij}{)}_{i=1,j=1}^{m,n}$
        这里引入一个新的概念，矩阵 $X\text{X}X\in {\mathbb{R}}^{m\times n}$ 的向量化 $\text{vec}(X\text{X}X)$ 是一线性变换，作用是将矩阵 $X\text{X}X$ 按列堆栈来向量化。换言之，$\text{vec}(X\text{X}X)$ 就是把矩阵 $X\text{X}X$ 的第 $1$ 列，第 $2$ 列，直到第 $n$ 列取出来，然后按顺序组成一个 $mn\times 1$ 的列向量，即：
$$\text{vec}(X\text{X}X)={\left[x_{11},x_{21},\cdots ,x_{m1},x_{12},x_{22},\cdots ,x_{m2},\cdots ,x_{1n},x_{2n},\cdots ,x_{mn}\right]}^T\text{\hspace{1em}(2-8)}$$
        矩阵 $X\text{X}X$ 也可以按行堆栈来向量化，称为矩阵的行向量化，用符号 $rvec(X\text{X}X)$ 表示，定义为：$$\text{rvec}(X\text{X}X)=\left[x_{11},x_{12},\cdots ,x_{1n},x_{21},x_{22},\cdots ,x_{2n},\cdots ,x_{m1},x_{m2},\cdots ,x_{mn}\right]$$
        矩阵的向量化和行向量化之间存在下列关系：
$$\text{rvec}(X\text{X}X)=(\text{vec}({X\text{X}X}^T){)}^T，\text{vec}({X\text{X}X}^T)=(\text{rvec}(X\text{X}X){)}^T$$
1. 行向量偏导形式
        先把矩阵变元 $X\text{X}X$ 按 $vec$ 向量化，转换成向量变元，再对该向量变元使用式（2-2）：
$$\begin{array}{rl}{\text{D}}_{\text{vec}\mathbf{X}}f(X\text{X}X)& =\frac{\partial f(X\text{X}X)}{\partial {\text{vec}}^T(X\text{X}X)}\\ & \\ & =\left[\frac{\partial f}{\partial x_{11}},\frac{\partial f}{\partial x_{21}},\cdots ,\frac{\partial f}{\partial x_{m1}},\frac{\partial f}{\partial x_{12}},\frac{\partial f}{\partial x_{22}},\cdots ,\frac{\partial f}{\partial x_{m2}},\cdots ,\frac{\partial f}{\partial x_{1n}},\frac{\partial f}{\partial x_{2n}},\cdots ,\frac{\partial f}{\partial x_{mn}}\right]\end{array}\text{\hspace{1em}(2-9)}$$

2. Jacobian 矩阵形式
        先把矩阵变元 $\mathbf{X}$ 进行转置，再对转置后的每个位置的元素逐个求偏导，结果布局和转置布局一样。
$$\begin{array}{rlr}{\text{D}}_{\mathbf{X}}f(X\text{X}X)& =\frac{\partial f(X\text{X}X)}{\partial {X\text{X}X}_{m\times n}^T}& ={\left[\begin{array}{cccc}\frac{\partial f}{\partial x_{11}}& \frac{\partial f}{\partial x_{21}}& \cdots & \frac{\partial f}{\partial x_{m1}}\\ & & & \\ \frac{\partial f}{\partial x_{12}}& \frac{\partial f}{\partial x_{22}}& \cdots & \frac{\partial f}{\partial x_{m2}}\\ ⋮& ⋮& ⋮& ⋮\\ \frac{\partial f}{\partial x_{1n}}& \frac{\partial f}{\partial x_{2n}}& \cdots & \frac{\partial f}{\partial x_{mn}}\end{array}\right]}_{n\times m}\end{array}\text{\hspace{1em}(2-10)}$$
3. 梯度向量形式
        先把矩阵变元 $\mathbf{X}$ 按 $vec$ 向量化，转换成向量变元，再对该变元使用式（2-5）：
$$\begin{array}{rl}{\nabla }_{\text{vec}\mathbf{X}}f(X\text{X}X)& =\frac{\partial f(X\text{X}X)}{\partial \text{vec}X\text{X}X}\\ & \\ & ={\left[\frac{\partial f}{\partial x_{11}},\frac{\partial f}{\partial x_{21}},\cdots ,\frac{\partial f}{\partial x_{m1}},\frac{\partial f}{\partial x_{12}},\frac{\partial f}{\partial x_{22}},\cdots ,\frac{\partial f}{\partial x_{m2}},\cdots ,\frac{\partial f}{\partial x_{1n}},\frac{\partial f}{\partial x_{2n}},\cdots ,\frac{\partial f}{\partial x_{mn}}\right]}^T\end{array}\text{\hspace{1em}(2-11)}$$
4. 梯度矩阵形式
        直接对原矩阵变元 $\mathbf{X}$ 的每个位置的元素逐个求偏导，结果布局和原矩阵布局一样。
$$\begin{array}{rlr}{\nabla }_{\mathbf{X}}f(X\text{X}X)& =\frac{\partial f(X\text{X}X)}{\partial {X\text{X}X}_{m\times n}}& ={\left[\begin{array}{cccc}\frac{\partial f}{\partial x_{11}}& \frac{\partial f}{\partial x_{12}}& \cdots & \frac{\partial f}{\partial x_{1n}}\\ & & & \\ \frac{\partial f}{\partial x_{21}}& \frac{\partial f}{\partial x_{22}}& \cdots & \frac{\partial f}{\partial x_{2n}}\\ ⋮& ⋮& ⋮& ⋮\\ \frac{\partial f}{\partial x_{m1}}& \frac{\partial f}{\partial x_{m2}}& \cdots & \frac{\partial f}{\partial x_{mn}}\end{array}\right]}_{m\times n}\end{array}\text{\hspace{1em}(2-12)}$$

        小结： 由上面的定义，我们可以发现当矩阵变元 $\mathbf{X}$ 本身就是一个列向量 $x\text{x}x=[x_1,x_2,\cdots ,x_n{]}^T$ 时，式（2-4）、（2-9）、（2-10）相等，式（2-5）、（2-11）、（2-12）相等。所以说，对于向量变元的实值标量函数 $f(x\text{x}x)$，$x\text{x}x=[x_1,x_2,\cdots ,x_n{]}^T$，结果布局本质上有两种形式，一种是Jacobian矩阵（已经成行向量了）形式，一种是梯度矩阵（已经成列向量了）形式。两种形式互为转置。一句话概括，就是向量变元的实值标量函数是矩阵变元的实值标量函数的特例（变元由矩阵变为向量）。

2.2.4 矩阵变元的实矩阵函数

        设 $F\text{F}F(X\text{X}X)，{X\text{X}X}_{m\times n}=(x_{ij}{)}_{i=1,j=1}^{m,n}，{F\text{F}F}_{p\times q}=(f_{ij}{)}_{i=1,j=1}^{p,q}$
1. Jacobian 矩阵形式
        同样先把矩阵变元 $\mathbf{X}$ 按 $vec$ 向量化，转换成向量变元：
$$\text{vec}(X\text{X}X)={\left[x_{11},x_{21},\cdots ,x_{m1},x_{12},x_{22},\cdots ,x_{m2},\cdots ,x_{1n},x_{2n},\cdots ,x_{mn}\right]}^T\text{\hspace{1em}(2-13)}$$
        再把实矩阵函数 $\mathbf{F}$ 按 $vec$ 向量化，转换成实向量函数：

$$\text{vec}(F\text{F}F(X\text{X}X))={\left[f_{11}(X\text{X}X),f_{21}(X\text{X}X),\cdots ,f_{p1}(X\text{X}X),f_{12}(X\text{X}X),f_{22}(X\text{X}X),\cdots ,f_{p2}(X\text{X}X),\cdots ,f_{1q}(X\text{X}X),f_{2q}(X\text{X}X),\cdots ,f_{pq}(X\text{X}X)\right]}^T\text{\hspace{1em}(2-14)}$$
        这样，我们就把一个矩阵变元的实矩阵函数 $F\text{F}F(X\text{X}X)$，转换成了向量变元的实向量函数 $f\text{f}f(X\text{X}X)$ 。接着，对照式（2-2）写出结果布局为 $pq\times mn$ 的矩阵：
$$\begin{array}{rl}{\text{D}}_{\mathbf{X}}F\text{F}F(X\text{X}X)& =\frac{\partial {\text{vec}}_{pq\times 1}({F\text{F}F}_{}(X\text{X}X))}{\partial {\text{vec}}_{mn\times 1}^{T}X\text{X}X}\\ & \\ & ={\left[\begin{array}{ccccccccccccc}\frac{\partial f_{11}}{\partial x_{11}}& \frac{\partial f_{11}}{\partial x_{21}}& \cdots & \frac{\partial f_{11}}{\partial x_{m1}}& \frac{\partial f_{11}}{\partial x_{12}}& \frac{\partial f_{11}}{\partial x_{22}}& \cdots & \frac{\partial f_{11}}{\partial x_{m2}}& \cdots & \frac{\partial f_{11}}{\partial x_{1n}}& \frac{\partial f_{11}}{\partial x_{2n}}& \cdots & \frac{\partial f_{11}}{\partial x_{mn}}\\ & & & & & & & & & & & & \\ \frac{\partial f_{21}}{\partial x_{11}}& \frac{\partial f_{21}}{\partial x_{21}}& \cdots & \frac{\partial f_{21}}{\partial x_{m1}}& \frac{\partial f_{21}}{\partial x_{12}}& \frac{\partial f_{21}}{\partial x_{22}}& \cdots & \frac{\partial f_{21}}{\partial x_{m2}}& \cdots & \frac{\partial f_{21}}{\partial x_{1n}}& \frac{\partial f_{21}}{\partial x_{2n}}& \cdots & \frac{\partial f_{21}}{\partial x_{mn}}\\ ⋮& ⋮& ⋮& ⋮& ⋮& ⋮& ⋮& ⋮& ⋮& ⋮& ⋮& ⋮& ⋮\\ \frac{\partial f_{p1}}{\partial x_{11}}& \frac{\partial f_{p1}}{\partial x_{21}}& \cdots & \frac{\partial f_{p1}}{\partial x_{m1}}& \frac{\partial f_{p1}}{\partial x_{12}}& \frac{\partial f_{p1}}{\partial x_{22}}& \cdots & \frac{\partial f_{p1}}{\partial x_{m2}}& \cdots & \frac{\partial f_{p1}}{\partial x_{1n}}& \frac{\partial f_{p1}}{\partial x_{2n}}& \cdots & \frac{\partial f_{p1}}{\partial x_{mn}}\\ & & & & & & & & & & & & \\ \frac{\partial f_{12}}{\partial x_{11}}& \frac{\partial f_{12}}{\partial x_{21}}& \cdots & \frac{\partial f_{12}}{\partial x_{m1}}& \frac{\partial f_{12}}{\partial x_{12}}& \frac{\partial f_{12}}{\partial x_{22}}& \cdots & \frac{\partial f_{12}}{\partial x_{m2}}& \cdots & \frac{\partial f_{12}}{\partial x_{1n}}& \frac{\partial f_{12}}{\partial x_{2n}}& \cdots & \frac{\partial f_{12}}{\partial x_{mn}}\\ & & & & & & & & & & & & \\ \frac{\partial f_{22}}{\partial x_{11}}& \frac{\partial f_{22}}{\partial x_{21}}& \cdots & \frac{\partial f_{22}}{\partial x_{m1}}& \frac{\partial f_{22}}{\partial x_{12}}& \frac{\partial f_{22}}{\partial x_{22}}& \cdots & \frac{\partial f_{22}}{\partial x_{m2}}& \cdots & \frac{\partial f_{22}}{\partial x_{1n}}& \frac{\partial f_{22}}{\partial x_{2n}}& \cdots & \frac{\partial f_{22}}{\partial x_{mn}}\\ ⋮& ⋮& ⋮& ⋮& ⋮& ⋮& ⋮& ⋮& ⋮& ⋮& ⋮& ⋮& ⋮\\ \frac{\partial f_{p2}}{\partial x_{11}}& \frac{\partial f_{p2}}{\partial x_{21}}& \cdots & \frac{\partial f_{p2}}{\partial x_{m1}}& \frac{\partial f_{p2}}{\partial x_{12}}& \frac{\partial f_{p2}}{\partial x_{22}}& \cdots & \frac{\partial f_{p2}}{\partial x_{m2}}& \cdots & \frac{\partial f_{p2}}{\partial x_{1n}}& \frac{\partial f_{p2}}{\partial x_{2n}}& \cdots & \frac{\partial f_{p2}}{\partial x_{mn}}\\ ⋮& ⋮& ⋮& ⋮& ⋮& ⋮& ⋮& ⋮& ⋮& ⋮& ⋮& ⋮& ⋮\\ \frac{\partial f_{1q}}{\partial x_{11}}& \frac{\partial f_{1q}}{\partial x_{21}}& \cdots & \frac{\partial f_{1q}}{\partial x_{m1}}& \frac{\partial f_{1q}}{\partial x_{12}}& \frac{\partial f_{1q}}{\partial x_{22}}& \cdots & \frac{\partial f_{1q}}{\partial x_{m2}}& \cdots & \frac{\partial f_{1q}}{\partial x_{1n}}& \frac{\partial f_{1q}}{\partial x_{2n}}& \cdots & \frac{\partial f_{1q}}{\partial x_{mn}}\\ & & & & & & & & & & & & \\ \frac{\partial f_{2q}}{\partial x_{11}}& \frac{\partial f_{2q}}{\partial x_{21}}& \cdots & \frac{\partial f_{2q}}{\partial x_{m1}}& \frac{\partial f_{2q}}{\partial x_{12}}& \frac{\partial f_{2q}}{\partial x_{22}}& \cdots & \frac{\partial f_{2q}}{\partial x_{m2}}& \cdots & \frac{\partial f_{2q}}{\partial x_{1n}}& \frac{\partial f_{2q}}{\partial x_{2n}}& \cdots & \frac{\partial f_{2q}}{\partial x_{mn}}\\ ⋮& ⋮& ⋮& ⋮& ⋮& ⋮& ⋮& ⋮& ⋮& ⋮& ⋮& ⋮& ⋮\\ \frac{\partial f_{pq}}{\partial x_{11}}& \frac{\partial f_{pq}}{\partial x_{21}}& \cdots & \frac{\partial f_{pq}}{\partial x_{m1}}& \frac{\partial f_{pq}}{\partial x_{12}}& \frac{\partial f_{pq}}{\partial x_{22}}& \cdots & \frac{\partial f_{pq}}{\partial x_{m2}}& \cdots & \frac{\partial f_{pq}}{\partial x_{1n}}& \frac{\partial f_{pq}}{\partial x_{2n}}& \cdots & \frac{\partial f_{pq}}{\partial x_{mn}}\end{array}\right]}_{pq\times mn}\end{array}\text{\hspace{1em}(2-15)}$$

2. 梯度矩阵形式
        同样先把矩阵变元 $\mathbf{X}$ 按 $vec$ 向量化，转换成向量变元：
$$\text{vec}(X\text{X}X)={\left[x_{11},x_{21},\cdots ,x_{m1},x_{12},x_{22},\cdots ,x_{m2},\cdots ,x_{1n},x_{2n},\cdots ,x_{mn}\right]}^T\text{\hspace{1em}(2-16)}$$
        再把实矩阵函数 $\mathbf{F}$ 按 $vec$ 向量化，转换成实向量函数：