向量与矩阵求导与实例分析

【说明】

1. 相关内容经过诸多学习内容整理

2.  比较权威的学习源可参考维基百科  https://en.wikipedia.org/wiki/Matrix_calculus#Scalar-by-vector_identities

3. 机器学习关联内容学习： 1）西瓜书第55页多元线性回归涉及到的公式推导   2）机器学习实战 第138页 

目录

一，布局的概念

分子布局

分母布局

二、一个求导的例子(线性回归中正规方程)

三、另一个例子的推导

四、矩阵及向量求导法则

五、求导公式速查表

---

一，布局的概念

重要前提： 若 x 为向量，则默认 x 为列向量， 为行向量

布局简单地理解就是分子 y、分母 x 是行向量还是列向量。

• 分子布局（Numerator-layout）： 分子为 y 或者分母为   (即，分子为列向量或者分母为行向量)
• 分母布局（Denominator-layout）： 分子为   或者分母为 x (即，分子为行向量或者分母为列向量)

为了更加深刻地理解两种布局的特点和区别，下面是从维基百科中布局部分拿来的例子：

分子布局

• 标量/向量：（分母的向量为行向量）
• 向量/标量：（分子的向量为列向量）
• 向量/向量：（分子为列向量横向平铺，分母为行向量纵向平铺）
• 标量/矩阵：（注意这个矩阵部分是转置的，而下面的分母布局是非转置的）
• 矩阵/标量：

分母布局

• 标量/向量:(分母的向量为列向量）
• 向量/标量：(分子的向量为行向量)
• 向量/向量：（分子为行向量纵向平铺，分母为列向量横向平铺）
• 标量/矩阵：（矩阵部分为原始矩阵）

二、一个求导的例子(线性回归中正规方程)

在 scalar-by-vector 表格中对应于红线部分

三、另一个例子的推导

看看红框部分的推导过程如下：
对谁求导数，就以谁（分母）作为主序，得出结果。比如这里x是列向量，求Ax关于x求导数，那么对x的每个分量分别求偏导数(写成一行)，然后整理排成一列（同x一样是列向量）。

                                                

同理有  
 
关于x的转置求导数，是行向量，那么Ax分别对向量中的分量求偏导（写成一列），然后整体排成一行（同是行向量）。

这里，可以反过来再去理解下前面布局所述的行向量与列向量的差异。

四、矩阵及向量求导法则

五、求导公式速查表