线性代数基础

参考书籍：机器学习线性代数基础 张雨萌

向量是由n个数组成的n行1列或1行n列的有序数组
向量点乘（内积，数量积）：运算结果是一个标量，可以计算两个向量间的夹角以及a向量在b向量方向上的投影，点积的意义是测量两个向量同向的程度。
向量叉乘（外积，向量积）：运算结果是一个向量，并与这两个向量组成的平面垂直
向量的线性组合：先数乘后叠加 a₁v₁+a₂v₂+…+a_nv_n
由一组向量的所有线性组合所构成的空间成为这组向量的张成空间
线性无关：当且仅当a₁=a₂=…=a_n=0 时，线性组合a₁v₁+a₂v₂+…+a_nv_n= 0

方阵：行数和列数相等的一类矩阵
对称矩阵：A=A^T
零矩阵：所有元素都为0的矩阵
对角矩阵：非对角线位置上的元素全都为0的矩阵
单位矩阵：对角线位置上元素均为1的对角矩阵

矩阵与向量的乘法 Ax：
（1）改变向量的空间位置：在指定矩阵的乘法作用下，原始空间中的向量被映射转换到了目标空间中的新向量。
（2）变换基底：从列角度看，矩阵与向量的乘法实质上是对矩阵A的各个列向量进行线性组合的过程，每个列向量的组合系数是向量x的各个对应成分。矩阵A的各个列是列向量x默认基底经过转换后的目标向量
目标向量所张成的空间是经矩阵映射后的目标空间

矩阵的秩：矩阵中线性无关的列向量或行向量的个数（行秩=列秩）
r(A^TA)=r((A^T)=r(A)=r(AA^T)
矩阵各列张成空间的维数等于矩阵的秩
矩阵映射后的目标空间的维数只能保持不变或者压缩降维

向量空间：对于一个向量集合V，如果任取V中的两个向量u和v，满足以下两个条件，那么向量集合就构成了一个向量空间
（1）u+v仍存在于V中
（2）任取标量c，任取cu仍存在于V中
子空间：如果一个向量空间U，其子集V也是一个向量空间（满足向量加法和标量乘法的性质要求），那么V是U的子空间，V必须包含零向量

零空间：对于给定的矩阵A，在映射的作用下满足灯饰Ax=0成立的向量x的集合，称为矩阵A零空间，记为N(A)
列空间：一个原始空间经过矩阵A的映射得到的对应空间，本质上是该矩阵各列所有线性组合的结果集合，称为矩阵A的列空间C(A)
行空间：矩阵各行向量张成的空间C(A^T)
左零空间：转置矩阵A^T 的零空间N(A^T)
原始空间维数是n，映射后的列空间维数是r，零空间的维数是n-r

逆矩阵 A^-1
将目标空间可以一一逆映射到原始空间
矩阵可逆条件：
1.逆矩阵存在的前提是矩阵是一个n*n方阵
2.矩阵的零空间维数为0，或者列空间的维数为n，或列向量线性无关

可逆矩阵是 非奇异矩阵
不可逆矩阵是 奇异矩阵

如果矩阵A是一个列满秩矩阵，那么 A^TA 是一个可逆方阵

互补的子空间：由不同的基向量所张成，并且维数之和为整个空间的维数
正交的子空间：子空间V中任意一个向量v和子空间W中任意一个向量w都垂直
正交补子空间：两个互补的子空间满足相互正交的关系
矩阵的列空间和左零空间满足正交补，行空间和零空间满足正交补

标准正交向量：一组列向量 v₁,v₂,…,v_n 彼此之间的点积为0，且与自身的点积为1，则这组向量是标准正交的
标准正交向量构成各列的矩阵用Q表示，满足Q^TQ=I

正交矩阵：矩阵Q是一个方阵时，满足Q^T=Q^-1

施密特正交化：将一组基向量变换成标准正交向量

A=P^-1BP， A和B是相似矩阵
相似矩阵：对于指定向量的同一个空间变换，用来在不同基底下进行描述的不同矩阵，彼此之间称为相似矩阵
相似变换：相似矩阵所表示对线性变换

Ap=λp，p 是矩阵A的特征向量，λ 是矩阵A的特征值，意味着向量p在方阵A的作用下，p的空间变换是其长度沿着向量方向进行 λ 倍的伸缩
对角化：寻找最简明的相似矩阵 Λ（对角矩阵）
对角化的等式：Λ=P^-1AP，A=PΛP^-1
A的特征向量构成P，特征值λ构成Λ

如果n阶方阵A具有n个两两不同的特征值，那么这些特征值所对应的一组特征向量，具备彼此之间线性无关的特性。
若方阵有线性相关的特征向量，则无法对角化
如果一个矩阵的所有特征值都为正，称其为‘正定的’矩阵；如果均为非负，称其为‘半正定的’矩阵；如果含有负的特征值，成为‘非正定的’矩阵

对称矩阵
任意一个实数对称矩阵，它的特征向量一定满足线性无关，一定可以被对角化，都可以获得一组标准正交的特征向量构成的特征矩阵
对于任意的矩阵A，A^TA和A^TA都是对称矩阵
对称矩阵A^TA的特征值一定是非负的，至少为半正定的
如果矩阵A的列向量满足线性无关，则A^TA是一个正定矩阵
A^TA和A^TA拥有完全相同的非零特征值，非零特征值的个数与矩阵A的秩相等

特征值分解（EVD）
奇异值分解（SVD）
参考1