矩阵论（八）：矩阵微分与矩阵求导

矩阵论专栏：专栏（文章按照顺序排序）

---

做机器学习的几乎避免不了矩阵求导，尤其是神经网络方面的，反向传播算法说白了就是在做矩阵求导，拿到代价函数对模型中每个参数矩阵的导数，才能找到一个下降方向，进而更新这些参数来降低损失。虽然实际编程时大可不必考虑这些繁琐的数学计算，但是要真正理解凸优化中的一些方法，掌握这个基本的数学工具还是有必要的。

【1】下面的探讨均在实数域内进行。
【2】虽然$R^n$定义为实数域$R$中的$n$个数组成的有序数组$(x_1,x_2,...,x_n)$的集合，但当我们讨论$R^n$中向量时，总是约定它是列向量的形式，即总是一个$n\times 1$矩阵。这样更符合一般的习惯，比如线性方程组的表达：$Ax=b,A\in R^{m\times n},x\in R^n,b\in R^m$。
【3】我们讨论三种情形。向量对向量求导、矩阵对标量求导、标量对矩阵求导。标量对标量求导、标量对向量求导、向量对标量求导都可以看作是向量对向量求导的特例，而向量对矩阵求导、矩阵对向量求导和矩阵对矩阵求导涉及到高阶张量的运算，可以通过把矩阵向量化，从而把高阶运算用低阶运算代替。这样的方法需要向量化运算vec和kronecker积的基础，本篇博客不引入这两个概念，后面的博客探讨矩阵函数的微分时再引入。
【4】符号$\frac{\partial y}{\partial x}$表示偏导，本文为表示方便，用$\frac{\partial y}{\partial x}(a)$表示在点$a$处的偏导的值（原本的表示应为$\frac{\partial y}{\partial x}{|}_{x=a}$或$\frac{\partial f(x)}{\partial x}{|}_{x=a}$）

• 矩阵微分与矩阵求导
  • 布局约定
  • 向量对向量求导
    • 可微与可导的关系
    • 复合函数的链式求导法则
    • 微分的形式不变性
    • 例子
  • 矩阵对标量求导
    • 链式法则
    • 几个公式
  • 标量对矩阵求导
    • 微分的定义
    • 复合函数的微分
    • 常用的微分公式
    • 例子
• 应用
  • 线性回归问题的最小二乘解
    • L2正则化情形
  • 多层前馈网络（BP网络）的反向传播
  • 循环神经网络（RNN）的反向传播

---

矩阵微分与矩阵求导

布局约定

详细请见数学-矩阵计算（4）两种布局。在本文中，多数情况下采用分子布局。分子布局和分母布局实际上无需刻意区分，只要两种布局采用不同的符号就可以了。然而，有时候有些作者对分子布局和分母布局采用相同的符号，这时候就必须事先知道作者采用的是什么样的布局，才能确定该符号表达的布局是怎样的。例如，设有m维向量$y$和n维向量$x$，$\frac{\partial y}{\partial x}$如果采用的是分子布局，则是$m\times n$矩阵，而如果采用的是分母布局，则是$n\times m$矩阵。在本文中，我们通过符号来区分分子布局和分母布局（实际上，有了符号的约定以后，可以抛却这两个概念不谈）。

首先，正如文章开头所提，我们默认一个未显式指出究竟是行还是列的向量为列的形式，即任取$x\in R^n$，我们默认$x$是列向量。接下来，导数的布局通过微商符号的分子和分母的形式推定。以向量对向量的偏导为例，$\frac{\partial y}{\partial x^T}$分子上(即$y$)是列向量，分母上(即$x^T$)是行向量，则在该矩阵的布局中，$y$的分量$y_1,y_2,...,y_m$是按列排布的，$x$的分量$x_1,x_2,...,x_n$是按行排布的（这里真不知道怎么表达才好，实际上我是想说$\partial y_1,\partial y_2,...\partial y_m$这样的顺序总是出现在矩阵的一列上，$\partial x_1,\partial x_2,...\partial x_n$总是出现在矩阵的一行上），即$$\frac{\partial y}{\partial x^T}=\left[\begin{array}{cccc}\frac{\partial y_1}{\partial x_1}& \frac{\partial y_1}{\partial x_2}& ...& \frac{\partial y_1}{\partial x_n}\\ \frac{\partial y_2}{\partial x_1}& \frac{\partial y_2}{\partial x_2}& ...& \frac{\partial y_2}{\partial x_n}\\ ...& ...& ...& ...\\ \frac{\partial y_m}{\partial x_1}& \frac{\partial y_m}{\partial x_2}& ...& \frac{\partial y_m}{\partial x_n}\end{array}\right]$$
这就是所谓的分子布局。而$$\frac{\partial y^T}{\partial x}=\left[\begin{array}{cccc}\frac{\partial y_1}{\partial x_1}& \frac{\partial y_2}{\partial x_1}& ...& \frac{\partial y_m}{\partial x_1}\\ \frac{\partial y_1}{\partial x_2}& \frac{\partial y_2}{\partial x_2}& ...& \frac{\partial y_m}{\partial x_2}\\ ...& ...& ...& ...\\ \frac{\partial y_1}{\partial x_n}& \frac{\partial y_2}{\partial x_n}& ...& \frac{\partial y_m}{\partial x_n}\end{array}\right]$$就是所谓的分母布局。这两种布局间的关系是$\frac{\partial y^T}{\partial x}=(\frac{\partial y}{\partial x^T}{)}^T$。总结一下就是，我们可以通过符号推定导数的布局是什么样的，在符号（微商）中，一个向量本来是什么形式，它在导数中就是怎样的排布，矩阵也同理。例如设有标量$x\in R$和矩阵$Y=[Y_{ij}]\in R^{m\times n}$，则$$\frac{\partial x}{\partial Y}=\left[\begin{array}{cccc}\frac{\partial x}{\partial Y_{11}}& \frac{\partial x}{\partial Y_{12}}& ...& \frac{\partial x}{\partial Y_{1n}}\\ \frac{\partial x}{\partial Y_{21}}& \frac{\partial x}{\partial Y_{22}}& ...& \frac{\partial x}{\partial Y_{2n}}\\ ...& ...& ...& ...\\ \frac{\partial x}{\partial Y_{m1}}& \frac{\partial x}{\partial Y_{m2}}& ...& \frac{\partial x}{\partial Y_{mn}}\end{array}\right]$$而$$\frac{\partial x}{\partial Y^T}=\left[\begin{array}{cccc}\frac{\partial x}{\partial Y_{11}}& \frac{\partial x}{\partial Y_{21}}& ...& \frac{\partial x}{\partial Y_{m1}}\\ \frac{\partial x}{\partial Y_{12}}& \frac{\partial x}{\partial Y_{22}}& ...& \frac{\partial x}{\partial Y_{m2}}\\ ...& ...& ...& ...\\ \frac{\partial x}{\partial Y_{1n}}& \frac{\partial x}{\partial Y_{2n}}& ...& \frac{\partial x}{\partial Y_{mn}}\end{array}\right]$$

---

向量对向量求导

在谈求导前，有必要谈一下微分的概念。一方面在后面可以看到可微是比可导更强的概念，在可微的条件下运用一阶微分的形式不变性可以简化复合函数的求导运算；另一方面，凸优化中的很多结论都是以可微为前提的，仅仅可导是远远不够的。
可微的定义：

• 定义1：设$c\in R^n$，函数$f:D\to R^m$在$c$的某个半径为$r>0$的邻域$U(c)$内有定义。若存在矩阵$A\in R^{m\times n}$，使得对于任意的$u\in \mathring{U}(0)$（$0\in R^n$是零向量，去心邻域$\mathring{U}(0)$的半径为$r$）有如下关系成立：$$f(c+u)-f(c)=Au+o(||u|{|}_2)$$，其中$o(||u|{|}_2)$是当$u\to 0$时的一个高阶无穷小，则称$f$在点$c$处是可微的，称$u$的线性函数$Au$（又叫$f$在点$c$处的线性主部）为$f$在点$c$处的微分，记作$df(c)=Au$，并称$A$是$f$在点$c$处的一阶导数矩阵，简称一阶导数。
  【注1】“$f$在$c$的某个半径为$r>0$的邻域$U(c)$内有定义”中“某个”的意思是指存在一个邻域$U(c)$，它在$f$的定义域内
  【注2】当点$c$给定后，$A$就是一个常矩阵，即要求$A$与$u$是无关的，$A$可以看做是$c$的函数$A(c)$
  【注3】微分的基本思想是将非线性函数局部线性化。$f(c+u)-f(c)$可以看做是$f$在点$c$处，自变量改变量为$u$时的函数值改变量（因变量改变量），若忽略高阶无穷小项$o(||u|{|}_2)$则得到$f(c+u)-f(c)=Au$，即在点$c$的某个邻域内（即“局部”的意思）将$f$用一个线性函数$Au$替代
  【注4】符号$df(c)$直观上可以理解为$f$在点$c$处的一个微小改变量，相应地$u$则是$f$的自变量的一个微小改变量，常记作$dc$，故微分的式子可以写作$df(c)=Adc$（为什么自变量的改变量要采用微分符号d，实际上后面证明了一阶微分的形式不变性后就知道了）
  【注5】高阶无穷小$o(||u|{|}_2)$在$u=0$处是无定义的，常补充定义$o(0)=0$，这样定义中的关系式无论$u$是否为零都成立

可微是比可导更强的概念，我们在说一个多元向量值函数可导时，往往是指它的每个分量对自变量的每个分量的偏导都存在。再严格一点的，就是指函数的每个分量对自变量的任意方向导数都存在。可微一定可导，可导不一定可微（在一元数量值函数的情形下，这个结论退化成可微与可导等价）。下面给出偏导的概念并证明可微与可导间的关系。

偏导的定义：

• 定义2：设$c\in R^n$，函数$f:D\to R^m$在$c$的某个半径为$r>0$的邻域$U(c)$内有定义。设$0\ne t<r$，称极限（若存在的话）$$\underset{t\to 0}{\lim }\frac{f_i(c+t{e}_j)-f_i(c)}{t}$$（其中$e_j$是第j个标准向量，其第$j$个分量为1，其他分量为零）为$f$的分量$f_i$在点$c$处对自变量$x\in R^n$的第$j$个分量的偏导，记作$\frac{\partial f_i}{\partial x_j}(c)$。
• 定义3（Jacobian矩阵）：函数$f:D\to R^m(D\subseteq R^n)$在点$c$处对自变量$x$的Jacobian矩阵定义如下$$\frac{\partial f}{\partial x^T}(c)=\left[\begin{array}{cccc}\frac{\partial f_1}{\partial x_1}(c)& \frac{\partial f_1}{\partial x_2}(c)& ...& \frac{\partial f_1}{\partial x_n}(c)\\ \frac{\partial f_2}{\partial x_1}(c)& \frac{\partial f_2}{\partial x_2}(c)& ...& \frac{\partial f_2}{\partial x_n}(c)\\ ...& ...& ...& ...\\ \frac{\partial f_m}{\partial x_1}(c)& \frac{\partial f_m}{\partial x_2}(c)& ...& \frac{\partial f_m}{\partial x_n}(c)\end{array}\right]$$
  【注1】当$f$是数量值函数时，Jacobian矩阵退化为一维行向量，即$f$的梯度的转置（梯度常常写作列向量）；需要注意的是，Jacobian矩阵的第i行就是$f$的第i个分量$f_i$的梯度的转置；当$f$是一元数量值函数时，Jacobian矩阵退化为一元情形下的导数的概念。
  【注2】需要区分Jacobian矩阵和梯度矩阵的概念：梯度矩阵是Jacobian矩阵的转置

可微与可导间的关系：

• 定理1：设$c\in R^n$，若$f$在点$c$处可微，则$f$在$c$处的Jacobian矩阵存在，且导数矩阵$A(c)=\frac{\partial f}{\partial x^T}(c)$。
  证明：
  根据可微的定义，存在$r>0$，对任意$u$满足$0<||u|{|}_2<r$，有$f(c+u)-f(c)=A(c)u+o(||u|{|}_2)$，故$$\underset{u\to 0}{\lim }\frac{f(c+u)-f(c)-A(c)u}{||u|{|}_2}=0$$令$u=t{e}_j,t<r$，则$$\underset{t\to 0}{\lim }\frac{f(c+t{e}_j)-f(c)-tA(c)e_j}{t}=0$$故对任意$i=1,2,...,m$及$j=1,2,...,n$有$$\frac{\partial f_i}{\partial x_j}{|}_c=\underset{t\to 0}{\lim }\frac{f_i(c+t{e}_j)-f_i(c)}{t}=e_i^{T}A(c)e_j=a_{ij}$$其中$a_{ij}$是导数矩阵$A(c)$的$(i,j)$元素。得证。

这个定理告诉我们，可微一定可导，且导数矩阵就是Jacobian矩阵。可导不一定可微，有很多反例，这里不再列举。反向传播算法是以复合函数链式求导法则为基础的，实际上，链导法是复合函数微分法则的一个附带结果，下面给出复合函数微分法则，并导出复合函数的链导法则。

• 定理2：若函数$f:D_f\to R^m(D_f\subseteq R^n)$在点$a$处可微，函数$g:D_g\to R^r(D_g\supseteq R(f))$在点$b=f(a)$处可微，则复合函数$g\circ f$在点$a$处可微，且$dg(f(a))=B(b)A(a)da$，其中$B(b)$是$g$在点$b$处的导数，$A(a)$是$f$在点$a$处的导数
  证明：（下面涉及到的所有高阶无穷小都在点$0$处补充定义$o(0)=0$）
  由可微的定义，存在半径为$r_1>0$的邻域$U(a)$，使得任意$||u|{|}_2<r_1$有$$f(a+u)-f(a)=A(a)u+o_1(||u|{|}_2)(1)$$存在半径为$r_2>0$的邻域$U(b)$，其中$b=f(a)$，使得任意$||v|{|}_2<r_2$有$$g(b+v)-g(b)=B(b)v+o_2(||v|{|}_2)(2)$$令$\Delta f=f(a+u)-f(a)$，令（1）式两端$u\to 0$得到$\Delta f\to 0$，故$||\Delta f|{|}_2\to 0$，由极限的定义知存在$r_3>0$使得任意$||u|{|}_2<r_3$有$||\Delta f|{|}_2<r_2$。由（2）知可将$v=\Delta f$代入，得$g(b+\Delta f)-g(b)=B(b)\Delta f+o_2(||\Delta f|{|}_2)$，即$g(f(a+u))-g(f(a))=B(b)A(a)u+\alpha$对任意$||u|{|}_2<\min \{r_1,r_3\}$成立，其中$\alpha =B(b)o_1(||u|{|}_2)+o_2(||\Delta f|{|}_2)$。要证明$g\circ f$在点$a$处可微，只需证明${\lim }_{u\to 0}\frac{\alpha }{||u|{|}_2}=0$即可。由于${\lim }_{u\to 0}B(b)\frac{o_1(||u|{|}_2)}{||u|{|}_2}=0$，故只需证明${\lim }_{u\to 0}\frac{o_2(||\Delta f|{|}_2)}{||u|{|}_2}=0$。引入函数$Q(u)=\{\begin{array}{ll}\frac{o_2(||\Delta f|{|}_2)}{||\Delta f|{|}_2}& \Delta f\ne 0\\ 0& \Delta f=0\end{array}$，其中$||u|{|}_2<\min \{r_1,r_3\}$，可以证明当$u\to 0$时$Q(u)\to 0$，此处略去，证明见注释。由于$\frac{o_2(||\Delta f|{|}_2)}{||u|{|}_2}=Q(u)\frac{||\Delta f|{|}_2}{||u|{|}_2}$，$\frac{||\Delta f|{|}_2}{||u|{|}_2}⩽\frac{||A(a)u|{|}_2}{||u|{|}_2}+\frac{||o_1(||u|{|}_2)|{|}_2}{||u|{|}_2}$，由矩阵不等式$A(a{)}^{T}A(a)⩽\lambda (a)I$，其中$\lambda (a)$是$A(a{)}^{T}A(a)$的最大特征值，得到$\frac{||A(a)u|{|}_2}{||u|{|}_2}⩽\sqrt{\lambda (a)}$，又由${\lim }_{u\to 0}\frac{||o_1(||u|{|}_2)|{|}_2}{||u|{|}_2}=0$，得到$\frac{||o_1(||u|{|}_2)|{|}_2}{||u|{|}_2}$是局部有界的，故$\frac{||\Delta f|{|}_2}{||u|{|}_2}$是局部有界的。综上有${\lim }_{u\to 0}\frac{o_2(||\Delta f|{|}_2)}{||u|{|}_2}=0$，证毕。
  【注1】矩阵不等式见矩阵的正定性
  【注2】${\lim }_{u\to 0}Q(u)=0$的证明：
  利用$li{m}_{u\to 0}\Delta f=0$以及$li{m}_{v\to 0}\frac{o_2(||v|{|}_2)}{||v|{|}_2}=0$这两个条件即可。$\forall ϵ>0,\exists \delta >0,\forall v$满足$0<||v|{|}_2<\delta$都有$||\frac{o_2(||v|{|}_2)}{||v|{|}_2}|{|}_2<ϵ$，$\exists {\delta }_1>0,\forall u$满足$0<||u|{|}_2<{\delta }_1$都有$||\Delta f|{|}_2<\delta$，故由如下结论：$\forall ϵ>0,\exists {\delta }_1>0,\forall u$满足$0<||u|{|}_2<{\delta }_1$，若$\Delta f=0$，则$||Q(u)|{|}_2=0<ϵ$，若$0<||\Delta f|{|}_2<\delta$，则$||Q(u)|{|}_2=||\frac{o_2(||\Delta f|{|}_2)}{||\Delta f|{|}_2}|{|}_2<ϵ$，即无论$||\Delta f|{|}_2$是否为零都有$||Q(u)|{|}_2<ϵ$，故${\lim }_{u\to 0}Q(u)=0$。

下面由复合函数的微分法则导出复合函数的链式求导法则：

• 推论：若函数$y=f(x)(D_f\subseteq R^n,y\in R^m)$在点$a$处可微，函数$z=g(y)(D_g\supseteq R(f),z\in R^r)$在点$b=f(a)$处可微，则复合函数$g\circ f$在点$a$处可微，且其在点$a$处的导数$\frac{\partial z}{\partial x^T}(a)=\frac{\partial z}{\partial y^T}(b)\frac{\partial y}{\partial x^T}(a)$

通过一阶微分的形式不变性，我们可以通过求微分来计算复合函数的导数，这在很多情况下是有用的，例如，在矩阵求导中通过计算微分，可以一次性得到多个参变量矩阵的导数。下面给出一阶微分的形式不变性：

• 一阶微分的形式不变性：
  设函数$f:D_f\to R^m(D_f\subseteq R^n)$在点$a$处可微，其微分为$df(a)=A(a)da$，函数$g:D_g\to R^r(D_g\supseteq R(f))$在点$b=f(a)$处可微，其微分为$dg(b)=B(b)db$，则由复合函数的微分法则知，函数$g\circ f$在点$a$处的微分为$dg(f(a))=B(b)A(a)da$。注意到$df(a)=A(a)da$，于是$dg(f(a))=B(b)A(a)da=B(b)df(a)$，即$dg(b)=B(b)db$，这恰好就是$g$在$b$处的微分的形式。这说明无论函数$g$的变量是自变量还是中间变量，其微分形式就和$g$只有自变量时一样（这里可以这样理解：给定一个函数，其微分是一个线性函数，即一个线性映射，即使该函数与其他函数复合，这并不影响该函数本身的微分这个线性映射）。
  【注】一阶微分的形式不变性说明了为什么自变量的微小增量也用微分符号d表示：$df(a)=A(a)da$中，$da$既能表示$f$在$a$处的微分这个线性函数的自变量（这是人为规定的），又能表示把$f$的自变量当成因变量（中间变量），其取值为$a$时的微小增量（这是由形式不变性决定的）。

对于函数有多个自变量的情况，例如$y=f(x_1,x_2,...,x_n)$，其中$x_1,x_2,...,x_n$分别是$m_1,m_2,...,m_n$维向量，实际上可以看成只有一个自变量$x$，其中$x=(x_1^T,x_2^T,...,x_n^T{)}^T\in R^{{\sum }_{i=1}^n{m}_i}$,$f$的微分的定义仍适用。实际上，可以把$f$的微分的定义等价地拆开写成$$\begin{array}{rl}& f(x_1+u_1,x_2+u_2,...,x_n+u_n)-f(x_1,x_2,...,x_n)\\ =& A_1{u}_1+A_2{u}_2+...+A_n{u}_n+o(\sqrt{||u_1|{|}_2^2+||u_2|{|}_2^2+...+||u_n|{|}_2^2})\end{array}$$相应地微分写成$dy=A_{1}d{x}_1+A_{2}d{x}_2+...+A_{n}d{x}_n=Adx$，其中$A_i$是$y$对$x_i$的导数，$A=\left[\begin{array}{cccc}{A}_1& A_2& ...& A_n\end{array}\right],dx=(d{x}_1^T,d{x}_2^T,...,d{x}_n^T{)}^T$。

对于函数有多个中间变量的情况，复合函数的微分法则与一阶微分的形式不变性仍适用。例如$z=g(y_1,y_2,...,y_m)$，$y_i=f_i(x_1,x_2,...,x_n)$，若$f_1,f_2,...,f_m$都在点$x_0=(c_1^T,c_2^T,..,c_n^T{)}^T$可微，$g$在点$(f_1^T(x_0),f_2^T(x_0),...,f_m^T(x_0){)}^T$可微，那么复合函数$z=g(f_1(x),f_2(x),...,f_m(x)),x=(x_1^T,x_2^T,..,x_n^T{)}^T$是否在点$x_0$可微呢？答案是肯定的，有如下定理保证：

• 定理3：函数$f:D_f\to R^m(D_f\subseteq R^n)$在点$a$处可微的充要条件为$f$的每个分量都在点$a$处可微（证明略）
  【注】比较$f$的微分$df$和分量$f_i$的微分$d{f}_i$可知，$df=(d{f}_1,d{f}_2,...,d{f}_m{)}^T$

对于上述情形，利用该定理可知$f_i$的任意分量都在$x_0$可微（$i=1,2,..,m$），再利用该定理知$f=(f_1^T,f_2^T,...,f_m^T{)}^T$在$x_0$可微，于是由复合函数微分法则得到上述结论。由于多个中间变量可以看成只有一个中间变量，故一阶微分的形式不变性仍成立。

例1：设$z=f(x,y)=x^{T}Ay,x\in R^m,y\in R^n$，求$\frac{\partial z}{\partial x}$和$\frac{\partial z}{\partial y}$。
法1：根据梯度矩阵（梯度）的定义
$$\begin{array}{rl}\frac{\partial z}{\partial x}& =\left[\begin{array}{c}\frac{\partial z}{\partial x_1}\\ ⋮\\ \frac{\partial z}{\partial x_m}\end{array}\right]\\ & =\left[\begin{array}{c}\frac{\partial {\sum }_i{a}_{i}y{x}_i}{\partial x_1}\\ ⋮\\ \frac{\partial {\sum }_i{a}_{i}y{x}_i}{\partial x_m}\end{array}\right]\\ & =\left[\begin{array}{c}{a}_{1}y\\ ⋮\\ a_{m}y\end{array}\right]\\ & =Ay\end{array}$$式中$a_i$是矩阵$A$的第i行。同理可得$\frac{\partial z}{\partial y}=A^{T}x$。
法2：利用一阶微分的形式不变性
根据一阶微分的形式不变性容易证明以下几个微分公式：

• $d(x^{T}y)=y^{T}dx+x^{T}dy$
• $d(Ax)=Adx$

所以$d(x^{T}Ay)=(Ay{)}^{T}dx+x^{T}d(Ay)=(Ay{)}^{T}dx+x^{T}Ady=(Ay{)}^{T}dx+(A^{T}x{)}^{T}dy$，由微分与导数的关系和梯度与导数的关系得$\frac{\partial z}{\partial x}=Ay$和$\frac{\partial z}{\partial y}=A^{T}x$。

例2：设$z=f(x,y)=(Ax)\odot (By),x\in R^m,y\in R^n,z\in R^t$，求$\frac{\partial z}{\partial x^T}$和$\frac{\partial z}{\partial y^T}$
【注】$\odot$是Hardamard积，即逐元素乘积
法1：根据Jacobian矩阵（导数）的定义
$$\begin{array}{rl}\frac{\partial z}{\partial x^T}& =\left[\begin{array}{ccc}\frac{\partial z_1}{\partial x_1}& \cdots & \frac{\partial z_1}{\partial x_m}\\ ⋮& \ddots & ⋮\\ \frac{\partial z_t}{\partial x_1}& \cdots & \frac{\partial z_t}{\partial x_m}\end{array}\right]\\ & =\left[\begin{array}{ccc}\frac{\partial (a_{1}x)(b_{1}y)}{\partial x_1}& \cdots & \frac{\partial (a_{1}x)(b_{1}y)}{\partial x_m}\\ ⋮& \ddots & ⋮\\ \frac{\partial (a_{t}x)(b_{t}y)}{\partial x_1}& \cdots & \frac{\partial (a_{t}x)(b_{t}y)}{\partial x_m}\end{array}\right]\\ & =\left[\begin{array}{ccc}{a}_{11}(b_{1}y)& \cdots & a_{1m}(b_{1}y)\\ ⋮& \ddots & ⋮\\ a_{t1}(b_{t}y)& \cdots & a_{tm}(b_{t}y)\end{array}\right]\\ & =diag(By)A\end{array}$$其中$a_i,b_i$分别是$A$，$B$的第i行。同理可得$\frac{\partial z}{\partial y^T}=diag(Ax)B$。
法2：利用一阶微分的形式不变性
根据一阶微分的形式不变性可以证明如下微分公式：

• $d(x\odot y)=y\odot dx+x\odot dy=diag(y)dx+diag(x)dy$

所以$dz=(By)\odot d(Ax)+(Ax)\odot d(By)=(By)\odot (Adx)+(Ax)\odot (Bdy)=diag(By)Adx+diag(Ax)Bdy$，故由微分与导数的关系得$\frac{\partial z}{\partial x^T}=diag(By)A$和$\frac{\partial z}{\partial y^T}=diag(Ax)B$。

---

矩阵对标量求导

矩阵对标量求导用的不多，只简单提一下。
仿照定义1，我们可以写出以标量为自变量的矩阵函数的微分的定义，但由定理3启发，我们可以给出一个等价的定义：

• 定义4：若矩阵函数$A(t)$的每个元素$a_{ij}(t)$在点$t_0\in R$处可微，则称$A(t)$在$t_0$处可微，且其在该点的导数为$$\frac{\partial A}{\partial t}(t_0)=\left[\begin{array}{ccc}\frac{\partial a_{11}}{\partial t}(t_0)& \cdots & \frac{\partial a_{1n}}{\partial t}(t_0)\\ ⋮& \ddots & ⋮\\ \frac{\partial a_{m1}}{\partial t}(t_0)& \cdots & \frac{\partial a_{mn}}{\partial t}(t_0)\end{array}\right]$$
  【注】$A(t)$在$t_0$处的微分写作$dA(t_0)=(d{t}_0)\frac{\partial A}{\partial t}(t_0)$

• 定理4（链式法则）：设$A=A(\alpha )$在$\alpha ={\alpha }_0$处可微，标量$\alpha (t)$在$t_0$处可微，${\alpha }_0=\alpha (t_0)$，则$A(\alpha (t))$在$t_0$可微，且$\frac{\partial A\circ \alpha }{\partial t}(t_0)=\frac{\partial \alpha }{\partial t}(t_0)\frac{\partial A}{\partial t}(\alpha (t_0))$。

矩阵对标量求导有一些简单的公式，在此作为例子：
设$A(t),B(t)$在$t_0$处可微，则有

• 若$A$，$B$可加，则$\frac{\partial (A+B)}{\partial t}(t_0)=\frac{\partial A}{\partial t}(t_0)+\frac{\partial B}{\partial t}(t_0)$
• 若$A$，$B$可乘，则$\frac{\partial AB}{\partial t}(t_0)=\frac{\partial A}{\partial t}(t_0)B(t_0)+A(t_0)\frac{\partial B}{\partial t}(t_0)$
• 设标量函数$\alpha (t)$在$t_0$处可微，则$\frac{\partial \alpha A}{\partial t}(t_0)=\frac{\partial \alpha }{\partial t}(t_0)B(t_0)+\alpha (t_0)\frac{\partial B}{\partial t}(t_0)$

---

标量对矩阵求导

这部分内容才是机器学习中需要用到的矩阵微分的核心内容。神经网络往往以一个标量值的代价函数作为优化目标，网络参数往往是矩阵形式的，前向传播的过程可以视为计算一个以多个矩阵为自变量的复合函数的值，反向传播的过程可以视为运用链式法则（或复合函数的微分法则）计算该标量函数对各个矩阵参数的导数。

鉴于以（多个）矩阵为自变量的标量函数本质上是多元数量值函数，我们先研究多元数量值函数的微分和导数的定义，然后将它们推广。由于多元数量值函数的微分可以视作多元向量值函数的微分的特例，因此在定义1中令$m=1$，就得到了多元数量值函数微分的概念：

• 定义5：设$c\in R^n$，函数$f:D\to R$在$c$的某个半径为$r>0$的邻域$U(c)$内有定义。若存在向量$a\in R^n$，使得对于任意的$u\in \mathring{U}(0)$（$0\in R^n$是零向量，去心邻域$\mathring{U}(0)$的半径为$r$）有如下关系成立：$$f(c+u)-f(c)=a^{T}u+o(||u|{|}_2)=\sum _i{a}_i{u}_i+o(\sqrt{\sum _i{u}_i^2})$$，其中$o(||u|{|}_2)$是当$u\to 0$时的一个高阶无穷小，则称$f$在点$c$处是可微的，称$u$的线性函数$a^{T}u$为$f$在点$c$处的微分，记作$df(c)=a^{T}u$，并称$a$是$f$在点$c$处的梯度向量，简称梯度。

注意到微分的本质是把函数局部线性化，得到函数在某一点的邻域内的线性主部，故很容易将定义5推广到以矩阵为自变量的标量函数的情形：

• 定义6：设$(a_{ij}{)}_{m\times n}=A\in R^{m\times n}$，存在$r>0$，数量值函数$y=f(X)$当$||X-A|{|}_F<r$时有定义。若存在$(b_{ij}{)}_{m\times n}=B\in R^{m\times n}$，使得对于任意的$(u_{ij}{)}_{m\times n}=U\in R^{m\times n}$满足$0<||U|{|}_F<r$有如下关系成立：$$f(A+U)-f(A)=\sum _{ij}{b}_{ij}{u}_{ij}+o(\sqrt{\sum _{ij}{u}_{ij}^2})=tr(B^{T}U)+o(||U|{|}_F)$$，则称$f$在点$A$处是可微的，称$U$的$m\times n$个元素的线性函数$tr(B^{T}U)$为$f$在点$A$处的微分，记作 d f ( A ) = t r ( B T U ) df(A)=tr(B^TU)