向量求导及迹运算

1、向量求导

向量求导其本质和标量求导没有本质区别。
本文所有的公式推导其根本立足于以下公式：
$假设存在两个列向量\vec x和\vec y，其形状分别为m*1和n*1，则定义\\ \frac{\partial \vec y}{\partial \vec x}= \tag{*} \left[ \begin{matrix} \frac{\partial y_1}{\partial x_1} & \frac{\partial y_1}{\partial x_2} & \cdots & \frac{\partial y_1}{\partial x_n} \\ \frac{\partial y_2}{\partial x_1} & \frac{\partial y_2}{\partial x_2} & \cdots & \frac{\partial y_2}{\partial x_n} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial y_m}{\partial x_1} & \frac{\partial y_m}{\partial x_2} & \cdots & \frac{\partial y_m}{\partial x_n} \\ \end{matrix} \right]$
本文所描述的公式均以公式作为证明基础。但在证明之前，首先明确一个概念，即所谓布局。

布局

布局在很多博客上都有不同的定义，比如某个博客定义如下：

分子布局（Numerator-layout）：分子为 y 或者分母为 xT (即，分子为列向量或者分母为行向量)
分母布局（Denominator-layout）：分子为 yT 或者分母为 x (即，分子为行向量或者分母为列向量)

我个人认为，布局本质上讲是一种规定，用以规定在运算过程中的描述方法，因为不同的描述方法可能存在不同。而与具体的分子分母如何关系不大。用我们定义的公式来说，我们公式定义的情况是传统认为的分子布局，而分母布局则是将公式中和的排布反过来，相当于做一次转置（这也解释了为什么分子布局和分母布局的结果正好差一个转置）。

公式推导

公式1

假设

其中和形状分别为和，是一个规模为的矩阵，且和线性无关。这是我们的基础定义，后续公式如果不特别说明则沿用此定义。
则有：

证明：
对于的第个元素，有：

因此可得：

则推广到所有的元素，易得

公式2

假设

其中和形状分别为和，是一个规模为的矩阵，且和线性无关。如果与有函数关系，那么则有：

证明：
对于的第个元素，有：

因此可得：

则推广到所有的元素，易证（事实上这跟标量求导里面的链式法则没什么区别）。

公式3

假设

其中和形状分别为和，是一个规模为的矩阵，且和、线性无关。那么则有：

证明：
定义
则
因此可得：

另一公式使用相似方法可证，只需要对进行一次转置（标量的转置扔为自身）。

公式4（公式3特殊情况）

假设

其中形状分别为，是一个规模为的矩阵，且和线性无关。那么则有：

证明：
根据定义：

则可以得到：

推广到所有元素可得结论。

公式5（公式4特殊情况）

假设

其中形状分别为，是一个规模为的矩阵，且和线性无关，并且还是一个对称矩阵。那么则有：

证明：
这根本不需要证

公式6

假设

其中和形状分别为和，并且均为向量的函数结果。那么则有：

证明：
还是标量求导法则的推广。

公式7（公式6的特殊情况）

假设

其中和形状分别为和，并且均为向量的函数结果。那么则有：

证明：
还是标量求导法则的推广。

公式8

假设

其中和形状分别为和，并且均为向量的函数结果。那么则有：

证明：
参考公式3证明即可

公式9（公式8特殊情况）

假设

其中形状为，并且为向量的函数结果。那么则有：

证明：
不需要证

公式10（公式9特殊情况）

假设

其中形状为，并且为向量的函数结果。并且A是对称的。那么则有：

证明：
不需要证

公式11或者称为定义（矩阵求导）

设规模为，为一个标量，那么：
$假设存在两个列向量\vec x和\vec y，其形状分别为m*1和n*1，则定义\\ \frac{\partial A}{\partial \alpha}= \left[ \begin{matrix} \frac{\partial a_{11}}{\partial \alpha} & \frac{\partial a_{12}}{\partial \alpha} & \cdots & \frac{\partial a_{1n}}{\partial \alpha} \\ \frac{\partial a_{21}}{\partial \alpha} & \frac{\partial a_{22}}{\partial \alpha} & \cdots & \frac{\partial a_{2n}}{\partial \alpha} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial a_{m1}}{\partial \alpha} & \frac{\partial a_{m2}}{\partial \alpha} & \cdots & \frac{\partial a_{mn}}{\partial \alpha} \\ \end{matrix} \right]$