线性代数之 矩阵求导（3）标量、向量求导的快速记忆

前言

上一次记录了矩阵求导的基本法则和公式，并且大部分给出了基于矩阵乘法的证明（本质证明）。然而这样记忆矩阵求导还是比较困难的。

这里给出一种作者使用的快速记忆矩阵求导的方法。

注意：该方法仅是作者个人记忆用方法，公式推导并不严格符合数学规范。

基本约定

默认向量是列向量。只涉及标量对向量，向量对向量的求导。

本次矩阵求导默认使用分子布局，即分子不变分母转置。

引例

标量对标量求导

我们都知道下面函数的求导：
$$\begin{gathered} f(x_0)=a{x}_0^2+b{x}_0+c \\ {f}^{\prime }(x_0)=2a{x}_0+b \end{gathered}$$
其中，多项式的系数写在自变量的前面。我们把这种表示叫做变量后置。对于标量而言，变量前置后置是没有区别的。

标量对向量求导

先看一个分母布局的例子：
$$\begin{gathered} f(x)=a^{T}x \\ \partial (a^{T}x{)}^T/\partial x=a \end{gathered}$$
$a^{T}x$这个标量对列向量求导，得到列向量$a$。但是结果出现了$a^T$的转置，不好记。

而从直观的角度上，$\partial (a^{T}x)/\partial x=a^T$这种类似标量对标量求导的表示更符合我们的思维直觉。

分子布局刚好符合这种直觉：
$$\begin{gathered} f(x)=a^{T}x \\ \partial (a^{T}x)/\partial x^T=a^T \end{gathered}$$
只是分子布局里出现了$\partial x^T$。不过没有关系，我们认为通过分子布局进行求导时默认$\partial x$是$\partial x^T$。那么就有：

$$\begin{gathered} f(x)=a^{T}x \\ \partial (a^{T}x)/\partial x=a^T \end{gathered}$$
这么记起来就容易多了。我们管这样的表达方法叫后置变量求导，系数不变。

那么对应的就有前置变量求导，系数前置并转置：
$$\begin{gathered} f(x)=x^{T}a \\ \partial (x^{T}a)/\partial x=\partial (x^{T}a{)}^T/\partial x=a^T \end{gathered}$$
总而言之，后置变量求导，系数的位置和表示不变；前置变量求导，系数的位置要前置，表示要转置。

向量对向量求导

对于向量之间的求导，以上记忆方法仍然是成立的。举例：
$$\begin{gathered} \partial (Ax)/\partial x=A \\ \partial (x^{T}A)/\partial x=A^T \end{gathered}$$

包含两个变量的求导

以下函数包含两个变量：
$$f(x)=x^{T}Ax$$
对于这种函数，可以类比标量对标量的乘积求导：
$$\begin{gathered} \partial (x^{T}Ax)/\partial x=\partial ((x^T)(Ax))/\partial x \\ 对于前置变量x^T，Ax是系数，系数要前置并转置 \\ 对于后置复合变量Ax，x^T是系数，系数不变 \\ \partial ((x^T)(Ax))/\partial x=(Ax{)}^T\partial (x^T)/\partial x \\ +x^T\partial (Ax)/\partial x \\ =x^T{A}^T+x^{T}A \end{gathered}$$

总结

标量对向量求导，默认使用分子布局并默认用$\partial x$简写$\partial x^T$，$a^{T}x$被称为变量$x$后置，$x^{T}a$称为变量$x$前置，对后置变量求导系数不变，对前置变量求导系数转置并前置。

举例1：
$$\begin{gathered} \partial (a^{T}x{x}^{T}b)/\partial x \\ 把乘积变成两个变量的乘积形式 \\ \partial (a^{T}x{x}^{T}b)/\partial x=\partial ((a^{T}x)(x^{T}b))/\partial x \\ =x^{T}b\partial (a^{T}x)/\partial x+(a^{T}x)\partial (x^{T}b)/\partial x \\ =x^{T}b{a}^T+a^{T}x{b}^T=x^{T}b{a}^T+x^{T}a{b}^T \end{gathered}$$

举例2：
$$\begin{gathered} \partial (x^{T}x)/\partial x \\ 这个式子可写作\partial (\Vert x{\Vert }^2)/\partial x \\ \partial (x^{T}x)/\partial x=x^T+x^T=2x^T \end{gathered}$$

举例3：
$$\begin{gathered} \partial (Ax+b{)}^{T}C(Dx+e)/\partial x \\ =(C(Dx+e){)}^T\partial (Ax+b{)}^T/\partial x+(Ax+b{)}^{T}C\partial (Dx+e)/\partial x \\ =(Dx+e{)}^T{C}^{T}A+(Ax+b{)}^{T}CD \end{gathered}$$

这里给出一个wiki上的求导法则和公式做对照：
向量对向量求导：

标量对向量：

扩展

对于分母布局而言，其快速记忆法其实刚好与以上相反：后置变量，系数后置并转置，前置变量，系数不变。其实就是分子布局求导结果的转置。