Deep Learning 学习笔记7：矩阵求导公式汇总

在矩阵求导中，因变量可以是标量、向量以及矩阵，而自变量同样如此。

第一个例子：考虑一个向量微积分的梯度，该函数有三个自变量，，则该函数的梯度是：

                                             

代表的是一个单位向量。这种广义导数可以看做是标量对向量的求导，可以表示为如下形式：

                                             

以下表格列出了六种求导的情况。

向量对标量求导：

设y是一个列向量：, x是一个标量，则y对x的求导公式为：

标量对向量求导：

设y是一个标量，x是一个向量：，则y对x的求导公式为： .

向量对向量求导：

设y是一个m×1的向量：。x是一个1×n的向量：。则y对x的求导公式为：

矩阵对标量求导：

Y是一个m×n的矩阵，则矩阵Y对标量x的求导为：

标量对矩阵求导：

反过来，标量x对矩阵Y的求导为：

 

矩阵对矩阵求导：

X是一个m×n的矩阵，

下图是各种求导的布局方式：

分子布局：

以下两种只存在于分子布局中：

分母布局：

可以看出，在分子布局与分母布局之间转换时，实际上是将矩阵进行转置。

矢量对矢量求导：

标量对矢量求导：

矢量对标量求导：

标量对矩阵求导：

矩阵对向量求导：

包含矩阵的求导：

微分恒等式：