【线性代数】矩阵求导的本质与分子布局、分母布局的本质(矩阵求导——本质篇)

矩阵求导的本质与分子布局、分母布局的本质(矩阵求导——本质篇)

  • 说在前面
  • 一. 函数与标量、向量、矩阵
  • 二. 矩阵求导的本质
  • 三. 矩阵求导结果的布局
  • 四. 分子布局、分母布局的本质
  • 五. 向量变元的实值标量函数

说在前面

【线性代数】矩阵求导的本质与分子布局、分母布局的本质(矩阵求导——本质篇)_第1张图片

我将严谨地说明矩阵求导的本质与分子布局、分母布局的本质。希望对初学的同学、想理解本质的同学提供一些帮助。
注1:看懂本文只需了解本科阶段高等数学的偏导如何求、本科阶段线性代数的矩阵的定义,无需任何其他知识。
注2:本文若无特殊说明,则约定向量均为列向量,如
在这里插入图片描述
注3:本文仅考虑实数,不考虑复数。

一. 函数与标量、向量、矩阵

考虑一个函数
在这里插入图片描述
针对 function 的类型、input 的类型,我们可以将这个函数funcion分为不同的种类。
1、function是一个标量
我们称function是一个实值标量函数。用细体小写字母f表示。
1.1 input是一个标量
我们称function的变元标量。用细体小写字母x表示。
例1:
在这里插入图片描述
1.2 input是一个向量
我们称function的变元向量。用粗体小写字母x表示。
【线性代数】矩阵求导的本质与分子布局、分母布局的本质(矩阵求导——本质篇)_第2张图片1.3 input是一个矩阵
我们称function的变元矩阵。用粗体大写字母X表示。
【线性代数】矩阵求导的本质与分子布局、分母布局的本质(矩阵求导——本质篇)_第3张图片
2、function是一个向量
我们称function是一个实向量函数。用粗体小写字母f表示。
含义:f是由若干个f组成的一个向量
同样地,变元分三种:标量向量矩阵。这里的符号仍与上面相同。
2.1 标量变元
【线性代数】矩阵求导的本质与分子布局、分母布局的本质(矩阵求导——本质篇)_第4张图片
2.2 向量变元
【线性代数】矩阵求导的本质与分子布局、分母布局的本质(矩阵求导——本质篇)_第5张图片
2.3 矩阵变元
【线性代数】矩阵求导的本质与分子布局、分母布局的本质(矩阵求导——本质篇)_第6张图片
3、function是一个矩阵
我们称function是一个实矩阵函数。用粗体大写字母F表示。
含义:F是由若干个f 组成的一个矩阵
同样地,变元分三种:标量向量矩阵。这里的符号仍与上面相同。
3.1 标量变元
【线性代数】矩阵求导的本质与分子布局、分母布局的本质(矩阵求导——本质篇)_第7张图片
3.2 向量变元
【线性代数】矩阵求导的本质与分子布局、分母布局的本质(矩阵求导——本质篇)_第8张图片
3.3 矩阵变元
【线性代数】矩阵求导的本质与分子布局、分母布局的本质(矩阵求导——本质篇)_第9张图片
4、总结
函数与标量、向量、矩阵

function\input 标量变元 向量变元 矩阵变元
实值标量函数 f(x) f(x) f(X)
实向量函数 f(x) f(x) f(X)
实矩阵函数 F(x) F(x) F(X)

二. 矩阵求导的本质

我们在高等数学中学过,对于—个多元函数:
【线性代数】矩阵求导的本质与分子布局、分母布局的本质(矩阵求导——本质篇)_第10张图片
【线性代数】矩阵求导的本质与分子布局、分母布局的本质(矩阵求导——本质篇)_第11张图片
至于这m × n个结果的布局,是写成行向量,还是写成列向量,还是写成矩阵,就是我们接下来要讨论的事情。

三. 矩阵求导结果的布局

【线性代数】矩阵求导的本质与分子布局、分母布局的本质(矩阵求导——本质篇)_第12张图片
【线性代数】矩阵求导的本质与分子布局、分母布局的本质(矩阵求导——本质篇)_第13张图片
【线性代数】矩阵求导的本质与分子布局、分母布局的本质(矩阵求导——本质篇)_第14张图片
【线性代数】矩阵求导的本质与分子布局、分母布局的本质(矩阵求导——本质篇)_第15张图片
【线性代数】矩阵求导的本质与分子布局、分母布局的本质(矩阵求导——本质篇)_第16张图片
【线性代数】矩阵求导的本质与分子布局、分母布局的本质(矩阵求导——本质篇)_第17张图片
【线性代数】矩阵求导的本质与分子布局、分母布局的本质(矩阵求导——本质篇)_第18张图片

四. 分子布局、分母布局的本质

【线性代数】矩阵求导的本质与分子布局、分母布局的本质(矩阵求导——本质篇)_第19张图片

五. 向量变元的实值标量函数

【线性代数】矩阵求导的本质与分子布局、分母布局的本质(矩阵求导——本质篇)_第20张图片
【线性代数】矩阵求导的本质与分子布局、分母布局的本质(矩阵求导——本质篇)_第21张图片

【线性代数】矩阵求导的本质与分子布局、分母布局的本质(矩阵求导——本质篇)_第22张图片
【线性代数】矩阵求导的本质与分子布局、分母布局的本质(矩阵求导——本质篇)_第23张图片
【线性代数】矩阵求导的本质与分子布局、分母布局的本质(矩阵求导——本质篇)_第24张图片
【线性代数】矩阵求导的本质与分子布局、分母布局的本质(矩阵求导——本质篇)_第25张图片
【线性代数】矩阵求导的本质与分子布局、分母布局的本质(矩阵求导——本质篇)_第26张图片
【线性代数】矩阵求导的本质与分子布局、分母布局的本质(矩阵求导——本质篇)_第27张图片
【线性代数】矩阵求导的本质与分子布局、分母布局的本质(矩阵求导——本质篇)_第28张图片
证毕。
【线性代数】矩阵求导的本质与分子布局、分母布局的本质(矩阵求导——本质篇)_第29张图片
【线性代数】矩阵求导的本质与分子布局、分母布局的本质(矩阵求导——本质篇)_第30张图片
【线性代数】矩阵求导的本质与分子布局、分母布局的本质(矩阵求导——本质篇)_第31张图片
【线性代数】矩阵求导的本质与分子布局、分母布局的本质(矩阵求导——本质篇)_第32张图片
证毕。
【线性代数】矩阵求导的本质与分子布局、分母布局的本质(矩阵求导——本质篇)_第33张图片
【线性代数】矩阵求导的本质与分子布局、分母布局的本质(矩阵求导——本质篇)_第34张图片
证毕。
【线性代数】矩阵求导的本质与分子布局、分母布局的本质(矩阵求导——本质篇)_第35张图片
【线性代数】矩阵求导的本质与分子布局、分母布局的本质(矩阵求导——本质篇)_第36张图片
证毕。
【线性代数】矩阵求导的本质与分子布局、分母布局的本质(矩阵求导——本质篇)_第37张图片
【线性代数】矩阵求导的本质与分子布局、分母布局的本质(矩阵求导——本质篇)_第38张图片
【线性代数】矩阵求导的本质与分子布局、分母布局的本质(矩阵求导——本质篇)_第39张图片
【线性代数】矩阵求导的本质与分子布局、分母布局的本质(矩阵求导——本质篇)_第40张图片

你可能感兴趣的:(线性代数,线性代数,人工智能,矩阵)