矩阵求导（一）

矩阵求导术（上）

转自知乎：https://zhuanlan.zhihu.com/p/24709748

矩阵求导的技术，在统计学、控制论、机器学习等领域有广泛的应用。鉴于我看过的一些资料或言之不详、或繁乱无绪，本文来做个科普，分作两篇，上篇讲标量对矩阵的求导术，下篇讲矩阵对矩阵的求导术。本文使用小写字母x表示标量，粗体小写字母 x 表示向量，大写字母X表示矩阵。

首先来琢磨一下定义，标量f对矩阵X的导数，定义为

∂f∂X:=[∂f∂Xij]

即f对X逐元素求导排成与X尺寸相同的矩阵。然而，这个定义在计算中并不好用，实用上的原因是在对较复杂的函数难以逐元素求导；哲理上的原因是逐元素求导破坏了整体性。试想，为何要将f看做矩阵X而不是各元素 Xij 的函数呢？答案是用矩阵运算更整洁。所以在求导时不宜拆开矩阵，而是要找一个从整体出发的算法。为此，我们来回顾，一元微积分中的导数（标量对标量的导数）与微分有联系： df=f′(x)dx ；多元微积分中的梯度（标量对向量的导数）也与微分有联系：

df=∑i∂f∂xidxi=∂f∂xTdx

这里第一个等号是全微分公式，第二个等号表达了梯度 ∂f∂x 与微分的联系；受此启发，我们将矩阵导数与微分建立联系：

df=∑i,j∂f∂XijdXij=tr(∂f∂XTdX)

这里tr代表迹(trace)是方阵对角线元素之和，满足性质：对尺寸相同的矩阵A,B， tr(ATB)=∑i,jAijBij ，这用泛函分析的语言来说 tr(ATB) 是矩阵A,B的内积，因此上式与原定义相容。

然后来建立运算法则。回想遇到较复杂的一元函数如 f=log(2+sinx)ex√ ，我们是如何求导的呢？通常不是从定义开始求极限，而是先建立了初等函数求导和四则运算、复合等法则，再来运用这些法则。故而，我们来创立常用的矩阵微分的运算法则：

加减法： d(X±Y)=dX±dY ；矩阵乘法： d(XY)=dXY+XdY ；转置： d(XT)=(dX)T ；迹： dtr(X)=tr(dX) 。
逆： dX−1=−X−1dXX−1 。此式可在 XX−1=I 两侧求微分来证明。
行列式： d|X|=tr(X#dX) ，其中 X# 表示X的伴随矩阵，在X可逆时又可以写作 d|X|=|X|tr(X−1dX) 。此式可用Laplace展开来证明，详见张贤达《矩阵分析与应用》第279页。
逐元素乘法： d(X⊙Y)=dX⊙Y+X⊙dY，⊙ 表示尺寸相同的矩阵X,Y逐元素相乘。
逐元素函数： dσ(X)=σ′(X)⊙dX，σ(X)=[σ(Xij)] 是逐元素运算的标量函数。

我们试图利用矩阵导数与微分的联系 df=tr(∂f∂XTdX) ，在求出左侧的微分df后，该如何写成右侧的形式并得到导数呢？这需要一些迹技巧(trace trick)：

标量套上迹： a=tr(a) 。
转置： tr(AT)=tr(A) 。
线性： tr(A±B)=tr(A)±tr(B) 。
矩阵乘法交换： tr(AB)=tr(BA) 。两侧都等于 ∑i,jAijBji 。
矩阵乘法/逐元素乘法交换： tr(AT(B⊙C))=tr((A⊙B)TC) 。两侧都等于 ∑i,jAijBijCij 。

观察一下可以断言，若标量函数f是矩阵X经加减乘法、行列式、逆、逐元素函数等运算构成，则使用相应的运算法则对f求微分，再使用迹技巧给df套上迹并将其它项交换至dX左侧，即能得到导数。
在建立法则的最后，来谈一谈复合：假设已求得 ∂f∂Y ，而Y是X的函数，如何求 ∂f∂X 呢？在微积分中有标量求导的链式法则 ∂f∂x=∂f∂y∂y∂x ，但这里我们不能沿用链式法则，因为矩阵对矩阵的导数 ∂Y∂X 截至目前仍是未定义的。于是我们继续追本溯源，链式法则是从何而来？源头仍然是微分。我们直接从微分入手建立复合法则：先写出 df=tr(∂f∂YTdY) ，再将dY用dX表示出来代入，并使用迹技巧将其他项交换至dX左侧，即可得到 ∂f∂X 。

接下来演示一些算例。特别提醒要依据已经建立的运算法则来计算，不能随意套用微积分中标量导数的结论，比如认为AX对X的导数为A，这是没有根据、意义不明的。

例1： f=aTXb，求∂f∂X 。

解：先使用矩阵乘法法则求微分： df=aTdXb ，再套上迹并做交换： df=tr(aTdXb)=tr(baTdX) ，对照导数与微分的联系，得到 ∂f∂X=abT 。

注意：这里不能用 ∂f∂X=aT∂X∂Xb=? ，导数与乘常数矩阵的交换是不合法则的运算（而微分是合法的）。有些资料在计算矩阵导数时，会略过求微分这一步，这是逻辑上解释不通的。

例2【线性回归】： l=∥Xw−y∥2 ，求 ∂l∂w 。

解：严格来说这是标量对向量的导数，不过可以把向量看做矩阵的特例。将向量范数写成 l=(Xw−y)T(Xw−y) ，求微分，使用矩阵乘法、转置等法则： dl=(Xdw)T(Xw−y)+(Xw−y)T(Xdw)=2(Xw−y)TXdw 。对照导数与微分的联系，得到 ∂l∂w=2XT(Xw−y) 。

例3【多元logistic回归】： l=−yTlogsoftmax(Wx)，求∂l∂W 。其中 y 是除一个元素为1外其它元素为0的向量； softmax(a)=exp(a)1Texp(a) ，其中 exp(a) 表示逐元素求指数， 1 代表全1向量。

解：首先将softmax函数代入并写成

l=−yT(log(exp(Wx))−1log(1Texp(Wx)))=−yTWx+log(1Texp(Wx))

这里要注意向量除标量求逐元素log满足

log(b/c)=log(b)−1log(c)

以及 y 满足 yT1=1 。求微分，使用矩阵乘法、逐元素函数等法则：

dl=−yTdWx+1T(exp(Wx)⊙(dWx))1Texp(Wx)

再套上迹并做交换，其中第二项的分子是

tr(1T(exp(Wx)⊙(dWx)))=tr((1⊙exp(Wx))TdWx)=tr(exp(Wx)TdWx)

，故

dl=tr(−yTdWx+exp(Wx)TdWx1Texp(Wx))=tr(x(softmax(Wx)−y)TdW)

。对照导数与微分的联系，得到 ∂l∂W=(softmax(Wx)−y)xT 。

另解：定义 a=Wx ，则 l=−yTlogsoftmax(a) ，先如上求出 ∂l∂a=softmax(a)−y ，再利用复合法则： dl=tr(∂l∂aTda)=tr(∂l∂aTdWx)=tr(x∂l∂aTdW) ，得到 ∂l∂W=∂l∂axT 。

例4【方差的最大似然估计】：样本 x1,…,xn∼N(μ,Σ) ，其中 Σ 是对称正定矩阵，求方差 Σ 的最大似然估计。写成数学式是： l=log|Σ|+1n∑ni=1(xi−x¯)TΣ−1(xi−x¯) ，求 ∂l∂Σ 的零点。

解：首先求微分，使用矩阵乘法、行列式、逆等运算法则，第一项是 dlog|Σ|=|Σ|−1d|Σ|=tr(Σ−1dΣ) ，第二项是 1n∑ni=1(xi−x¯)TdΣ−1(xi−x¯)=−1n∑ni=1(xi−x¯)TΣ−1dΣΣ−1(xi−x¯) 。再给第二项套上迹做交换： dl=tr((Σ−1−Σ−1SnΣ−1)dΣ) ，其中 Sn:=1n∑ni=1(xi−x¯)(xi−x¯)T 定义为样本方差。对照导数与微分的联系，有 ∂l∂Σ=(Σ−1−Σ−1SnΣ−1)T ，其零点即 Σ 的最大似然估计为 Σ=Sn 。

最后一例留给经典的神经网络。神经网络的求导术是学术史上的重要成果，还有个专门的名字叫做BP算法，我相信如今很多人在初次推导BP算法时也会颇费一番脑筋，事实上使用矩阵求导术来推导并不复杂。为简化起见，我们推导二层神经网络的BP算法。

例5【二层神经网络】：

l=−yTlogsoftmax(W2σ(W1x))

求

∂l∂W1和∂l∂W2

其中 y 是除一个元素为1外其它元素为0的向量， softmax(a)=exp(a)1Texp(a) 同例3， σ(⋅) 是逐元素 sigmoid 函数 σ(a)=11+exp(−a) 。

解：定义 a1=W1x，h1=σ(a1)，a2=W2h1 ，则 l=−yTlogsoftmax(a2) 。在例3中已求出 ∂l∂a2=softmax(a2)−y 。使用复合法则，注意此处 h1,W2 都是变量：

dl=tr(∂l∂a2Tda2)=tr(∂l∂a2TdW2h1)+tr(∂l∂a2TW2dh1)

，使用矩阵乘法交换的迹技巧从第一项得到 ∂l∂W2=∂l∂a2hT1 ，从第二项得到 ∂l∂h1=WT2∂l∂a2 。接下来求 ∂l∂a1 ，继续使用复合法则，并利用矩阵乘法和逐元素乘法交换的迹技巧：

tr(∂l∂h1Tdh1)=tr(∂l∂h1T(σ′(a1)⊙da1))=tr((∂l∂h1⊙σ′(a1))Tda1)

得到 ∂l∂a1=∂l∂h1⊙σ′(a1) 。为求 ∂l∂W1 再用一次复合法则：

tr(∂l∂a1Tda1)=tr(∂l∂a1TdW1x)=tr(x∂l∂a1TdW1)

得到

∂l∂W1=∂l∂a1xT

下篇见https://zhuanlan.zhihu.com/p/24863977。