深度学习花书学习笔记 第二章 线性代数

之前的没坚持下来，再来一个系列。。再把之前的继续

标量、向量、矩阵和张量：

标量：单独的数

向量：有序排列的一组数

矩阵：二维数组

张量：多维数组

转置：矩阵操作，对角线镜像

矩阵和向量相乘：

矩阵乘法：不满足交换律。

单位矩阵和逆矩阵：

单位矩阵：任意矩阵和单位矩阵相乘不变，单位矩阵除对角线为1，其余全为0

逆矩阵： A`-1*A =I     矩阵可逆的条件：方阵且所有列向量线性无关。

线性相关和生成子空间：

线性相关：冗余表示，任意一个向量不能由其他向量线性组合称为线性无关。

生成子空间：一组向量所能组成达到的点的集合 

范数：

范数：衡量向量大小：       比如 范数就是各方向绝对值之和。最大范数为向量中的最大值。

           向量点积可表示为： 

特殊类型的矩阵和向量：

对角矩阵：只在对角线有非0值           优势，计算效率高

对称矩阵：转置和自己本身相等的矩阵

单位向量：具有单位范数的向量， 

正交：向量夹角为90度

标准正交：为90度且范数为1

正交矩阵：行列矩阵都为标准正交的方正。，意味着 ，方便求逆。

特征分解：

特征向量：与方阵相乘后相当于缩放自身向量的非零向量。  此时为对应的特征值。

                特征向量缩放后，依旧为特征向量。特征值不变。因此通常指考虑单位特征向量。

特征分解：矩阵A有n个线性无关的特征向量。对应特征值组成对角矩阵。矩阵可分解为：

                   

                  通常特征值矩阵中，对角元素降序排列，构成唯一矩阵。

正定矩阵：所有特征值为正数，半正定矩阵：所有特征值非负。同理负定和半负定。

奇异值分解：

奇异值分解：SVD缩写。所有实数矩阵都可以奇异值分解。

                

                 假设A为m*n矩阵，则U是m*m矩阵，D是m*n矩阵，V是n*n矩阵。U和V为正交矩阵，D为对角矩阵,且D不一定为方                       阵。矩阵D中的对角元素为奇异值。U的列向量为左奇异向量，V的列向量为右奇异向量。其中，左奇异向量是的                   特征向量，右奇异向量是的特征向量。 主要作用就是拓展对非方阵的求逆。

 

什么是奇异值？特征值分解和奇异值分解的使用场景和区别？

 

Moore-Penrose伪逆： 

              解决非方阵的求逆：, 其中D+是对角矩阵D，非零元素取倒数再转置？（对角矩阵转置不是一样吗）

迹运算：

矩阵对角元素之和。迹运算满足交换律。Tr(A) 表示。

行列式：

det(A)，是一个将方阵映射到实数的函数。等于方阵特征值得乘积。其绝对值表示矩阵乘法后空间扩大或缩小比例。1不变，0失去所有体积。

实例：主成分分析：

PCA 求出彼此正交的特征值最大的几个特征向量。