矩阵论-矩阵导数和微商, since 2021-02-21

(2021-02-21 Sun)
*notes: 用小写字母表示标量，加粗的小写字母表示向量，大写字母表示矩阵

自变量是标量，变量是向量

向量是自变量(标量)的向量函数，即，则
即维向量对自变量的导数还是维向量，称为导数向量。

矩阵是自变量(标量)的函数，即，矩阵尺寸，矩阵元素，则该矩阵对的导数是
即尺寸是的矩阵对自变量的导数仍然是的矩阵，称为导数矩阵。

(2021.02.22 Mon)

自变量是向量，变量是标量

自变量，是一个标量，对的微商定义为

对于，其中是阶方阵，求。
首先计算对中的的微商，有 $\frac{\partial y}{\partial x_i}=\frac{\partial{\boldsymbol{x}'A\boldsymbol{x}}}{\partial x_i}=\frac{\partial{\boldsymbol{x'}}}{\partial x_i}(A\boldsymbol{x})+\boldsymbol{x'}A\frac{\partial{\boldsymbol x}} {\partial{x_i}}=\boldsymbol{e_i'}A\boldsymbol{x}+\boldsymbol{x'}A\boldsymbol{e_i}$ 其中。注意到是标量，有于是上面等式可简化为
于是有
当是对称阵，上式简化为

(2021.02.23 Tues)
如果，其中的都是的向量，求
首先考虑，则
$\begin{align} \frac{ \partial{y}}{\partial{\boldsymbol{x}}} & = \begin{bmatrix} \boldsymbol{a'} \boldsymbol{e_1} \\ \vdots \\ \boldsymbol{a'} \boldsymbol{e_n} \end{bmatrix} = I' \boldsymbol{a} = \boldsymbol{a} \end{align}$
(2021.02.25 Thur)
标量对向量求导的一个应用是梯度(gradient)。，则有 $\frac{\partial{f}} {\partial\boldsymbol{x}} =\nabla{f}(x_1,x_2,x_3) = grad f(x_1,x_2,x_3) = \frac{\partial f}{\partial x_1} \vec{i} + \frac{\partial f}{\partial x_2} \vec{j} + \frac{\partial f}{\partial x_3} \vec{k}$
这里称作(三维向量)微分算子或nabla算子。

自变量和变量都是向量

向量是向量的函数，有，和的尺寸可能是或，求
方法：用向量中的对求导，，也就是的每个元素对的每个元素求导，其尺寸是的尺寸。不同的按的尺寸排列，得到最终的导数结果。
如的尺寸为，的尺寸是，则而 $\frac{\partial\boldsymbol{y}} {\partial\boldsymbol{x}} = \begin{bmatrix} (\frac{\partial{y_1}} {\partial x_1},\frac{\partial{y_1}} {\partial x_2},\cdots,\frac{\partial{y_1}} {\partial x_m})' ,\cdots,(\frac{\partial{y_n}} {\partial x_1},\frac{\partial{y_n}} {\partial x_2},\cdots,\frac{\partial{y_n}} {\partial x_m})' \end{bmatrix}$
于是有
$\begin{align} \frac{\partial\boldsymbol{y}} {\partial\boldsymbol{x}} &= \begin{bmatrix} \frac{\partial{y_1}} {\partial x_1},\frac{\partial{y_2}} {\partial x_1}\cdots,\frac{\partial{y_n}}{\partial x_1}\\ \frac{\partial{y_1}} {\partial x_2},\frac{\partial{y_2,}} {\partial x_2},\cdots,\frac{\partial{y_n}} {\partial x_2} \\ \vdots \\ \frac{\partial{y_1}} {\partial x_m},\frac{\partial{y_2}} {\partial x_m},\cdots,\frac{\partial{y_n}} {\partial x_m} \end{bmatrix} \end{align}$
结果的尺寸是。
(2021.02.25 Thur)
应用：Jacobi矩阵, Jacobian.
用极坐标表示点，如点的表示为，。横纵坐标对和的导数(坐标变换的雅克比矩阵)为 $\boldsymbol{J}_F(\gamma,\theta)= \begin{bmatrix} \frac{\partial x} {\partial \gamma} & \frac{\partial x} {\partial \theta} \\ \frac{\partial y} {\partial \gamma} & \frac{\partial y} {\partial \theta} \end{bmatrix} = \begin{bmatrix} cos(\theta) & -\gamma sin(\theta) \\ sin(\theta) & \gamma cos(\theta) \end{bmatrix}$
可根据上面的结果求Jacobian行列式。
当同为向量的自变量和变量的尺寸不同时，得到的Jacobian矩阵不是方阵。

Reference

1 王松桂等，线性模型引论，科学出版社
2 高惠璇，应用多元统计分析

矩阵论-矩阵导数和微商, since 2021-02-21

自变量是标量，变量是向量

自变量是向量，变量是标量

自变量和变量都是向量

Reference

你可能感兴趣的:(矩阵论-矩阵导数和微商, since 2021-02-21)