机器学习中的数学——线性代数笔记

线性代数笔记

1.1 矩阵基本概念

矩阵Hadamard乘积：矩阵对应元素的乘积，表示为$C=A$

向量的点积：向量的行列数相同，行向量乘以列向量。用以求解两向量的夹角。

$$a\bullet b=|a||b|cos\theta$$
单位矩阵：保持n维向量不变的单位矩阵记做$I_n$。形式上，${\mathbf{I}}_n\in R^{n\times n}$

$$\forall \mathbf{x}\in R^{n\times n},{\mathbf{I}}_n\mathbf{x}=\mathbf{x}$$
矩阵的广播：深度学习中允许矩阵和向量相加，产生另一个矩阵，即向量和矩阵的每一行相加。

矩阵的逆

$${\mathbf{A}}^{-1}\mathbf{A}={\mathbf{I}}_n$$

线性组合

$$\mathbf{A}\mathbf{x}=\sum _i{x}_i{\mathbf{A}}_{:,i}$$

线性相关
若一组向量在等式${\sum }_{i=1}^n{\alpha }_n{a}_n$只有当${\alpha }_n=0$时成立，称为这组向量线性相关；这表明没有任何一个向量能够表示为其余向量的线性组合；

矩阵的秩
线性无关行的最大数量（等价地，线性无关的列的最大数量）

对称矩阵：矩阵转置和矩阵本身相等的矩阵。某些不依赖参数顺序的双参数函数生成元素时，对称矩阵通常会出现。

正交是指向量${\mathbf{x}}^T\mathbf{y}=0$，即向量之间的夹角为90度。

标准正交：在$R^n$中，至多有n个范数非零向量相互正交，并且范数为1。

正交矩阵：行向量和列向量分别是标准正交的方阵，即
$${\mathbf{A}}^T\mathbf{A}=\mathbf{A}{\mathbf{A}}^T=\mathbf{I}$$
这意味着
$${\mathbf{A}}^{-1}={\mathbf{A}}^T$$

1.2 矩阵的基本性质

向量点积满足交换律：

$${\mathbf{x}}^T\mathbf{y}={\mathbf{y}}^T\mathbf{x}$$
证明：向量点积的结果是标量，因此
$${\mathbf{x}}^T\mathbf{y}=({\mathbf{x}}^T\mathbf{y}{)}^T={\mathbf{y}}^T\mathbf{x}$$
矩阵乘积：$\mathbf{C}=\mathbf{A}\mathbf{B}$；

具体定义为：

$${\mathbf{C}}_{i,j}=\sum _k{\mathbf{A}}_{i,k}{\mathbf{B}}_{k,j}$$
因此，可以理解为矩阵$A$的第i行和矩阵$B$的第j列的点积。

矩阵乘积的性质

分配律：

$$\mathbf{A}(\mathbf{B}+\mathbf{C})=\mathbf{A}\mathbf{B}+\mathbf{B}\mathbf{C}$$
结合律
$$\mathbf{A}(\mathbf{B}\mathbf{C})=(\mathbf{A}\mathbf{B})\mathbf{C}$$
$${(\mathbf{A}\mathbf{B})}^T={\mathbf{B}}^T{\mathbf{A}}^T$$
转置的定义
$(AB{)}^T=B^T{A}^T$

逆矩阵
$A{A}^{-1}=A^{-1}A=I$

由于$AB{B}^{-1}{A}^{-1}=I$

我们有$(AB{)}^{-1}=B^{-1}{A}^{-1}$

同时$(A^T{)}^{-1}=(A^{-1}{)}^T$

恒等式
$$(P^{-1}+B^T{R}^{-1}B{)}^{-1}{B}^T{R}^{-1}=P{B}^T(BP{B}^T)+R^{-1}$$
两侧同时右乘$(BP{B}^T+R)$即可得证；

经常出现的一种情况是
$$(I+AB{)}^{-1}=A(I+BA{)}^{-1}$$
Woodbury****恒等式
$$(A+B{D}^{-1}C{)}^{-1}=A^{-1}-A^{-1}B(D+C{A}^{-1}B{)}^{-1}C{A}^{-1}$$
两边同时左乘$(A+B{D}^{-1}C)$即可证明；

1.3 矩阵的迹和行列式

迹和行列式适用于方阵，矩阵的迹被定义为主对角线元素的和；

T r ( A B ) = T r ( B A