矩阵初等变换、矩阵特性、各类矩阵、矩阵分解
矩阵初等变换
- 交换矩阵的两行
- 以一个非零数k乘矩阵的某一行所有元素
- 把矩阵的某一行所有元素乘以一个数k后加到另一行对应的元素
注：把以上的“行”改为“列”便得到矩阵初等变换的定义，矩阵的初等行变换与初等列变换合称为矩阵的初等变换
矩阵特性
矩阵的秩：一个矩阵A的列秩是A的线性独立的纵列的极大数目。类似地，行秩是A的线性无关的横行的极大数目。即如果把矩阵看成一个个行向量或者列向量，秩就是这些行向量或者列向量的秩，也就是极大无关组中所含向量的个数
性质：
- 初等变换不改变矩阵的秩
- 转置后秩不变
- 阶梯形矩阵的秩是非零行数
特征值/特征向量：设A为n阶矩阵，若存在常数λ及n维非零向量x，使得Ax=λx，则称λ是矩阵A的特征值，x是A属于特征值λ的特征向量
A的所有特征值的全体，叫做A的谱，记为λ(A)
计算：根据定义可改写为关系式(λE-A)x=0，E为单位矩阵，要求向量x具有非零解，即要求行列式|λE-A|=0，解此行列式获得的值λ即为矩阵A的特征值，代入原式求得相应的x，即为输入这个行列式的特征向量
行列式：二阶行列式
三阶行列式
= a1·b2·c3 + b1·c2·a3 + c1·a2·b3 - a3·b2·c1 - b3·c2·a1 - c3·a2·b1
= a1(b2·c3-b3·c2) - a2(b1·c3-b3·c1) + a3(b1·c2-b2·c1)
= a1(b2·c3-b3·c2) - b1(a2·c3-a3·c2) + c1(a2·b3-a3·b2)
= a1(a1的余子式) - a2(a2的余子式) + a3(a3的余子式)
= a1(a1的余子式) - b1(b1的余子式) + c1(c1的余子式)
注：删去aij所在的行和列后剩下的行列式元素叫aij的余子式，记作Mij，而将(-1)i+jMij称为元素aij的代数余子式
各类矩阵
行阶梯形矩阵：零行（元全为零的行）位于全部非零行的下方（若有）， 非零行的首非零元的列下标随其行下标的递增而严格递增
行简化阶梯形矩阵：是阶梯形矩阵，非零首元所在的列除了非零首元外，其余元素全为0
行最简形矩阵：是行简化阶梯形矩阵，非零首元都为1
逆矩阵：设A是数域上的一个n阶矩阵，若在相同数域上存在另一个n阶矩阵B，使得： AB=BA=E，则我们称B是A的逆矩阵，而A则被称为可逆矩阵。注：E为单位矩阵
性质：
- 可逆矩阵一定是方阵
- 如果矩阵A是可逆的，其逆矩阵是唯一的
- A的逆矩阵的逆矩阵还是A，记作 (A-1)-1=A
- 可逆矩阵A的转置矩阵AT也可逆，记作 (AT)-1=(A-1)T
- 两个可逆矩阵的乘积依然可逆
- 矩阵可逆当且仅当它是满秩矩阵
可逆等价条件：若|A|≠0，则矩阵A可逆，且
其中A*为矩阵A的伴随矩阵
伴随矩阵：
满秩矩阵：m*n矩阵的秩最大为m和n中的较小者，表示为 min(m,n)，有尽可能大的秩的矩阵被称为有满秩
可对角化矩阵：如果存在一个可逆矩阵P使得P-1AP是对角矩阵，则称矩阵A为可对角化矩阵，对角矩阵的特征值是矩阵A的特征值
可逆矩阵P是A的全部特征向量按列构成的矩阵
判断矩阵是否可对角化
- 由|λE-A|=0，求出所有的特征值λi
- 如果所有的特征值都是单根，则A一定能对角化
- 如果A的特征值有重根，则对每个λi，求齐次方程组(λiE-A)x=0的基础解系，如果基础解系所含向量的个数等于λi的重根数，则A可对角化
正定矩阵：设M是n阶方阵，如果对任何非零向量z，都有zTMz>0，其中zT表示z的转置，称M为正定矩阵
若zTMz>=0，称M为半正定矩阵
性质
- 正定矩阵的行列式恒为正
- 若A是正定矩阵，则A的逆矩阵也是正定矩阵
- 两个正定矩阵的和是正定矩阵
- 正实数与正定矩阵的乘积是正定矩阵
判断正定矩阵A
求出A的所有特征值，若A的特征值均为正数，则A是正定矩阵；若A的特征值均为负数，则A为负定矩阵
计算A的各阶主子式，若A的各阶主子式均大于零，则A是正定矩阵；若A的各阶主子式中，奇数阶主子式为负，偶数阶为正，则A为负定矩阵
奇异矩阵：若方阵A的行列式的值等于0，那么方阵A叫奇异矩阵，否则叫做非奇异矩阵
可逆矩阵就是非奇异矩阵，非奇异矩阵也是可逆矩阵
如果A为奇异矩阵，则AX=0有无穷解，AX=b有无穷解或者无解
如果A为非奇异矩阵，则AX=0有且只有唯一零解，AX=b有唯一解
正交矩阵：若n阶方阵满足ATA=E，则称A为正交矩阵
若A为正交矩阵，则逆矩阵A-1也为正交矩阵
若P、Q为正交矩阵，那么PQ*也为正交矩阵
矩阵分解
QR分解/正交三角分解：是将矩阵分解为一个正交矩阵与上三角矩阵的乘积，即对于m*n的列满秩矩阵A，必有Am*n=Qm*n·Rm*n，其中Q为正交矩阵，R为非奇异上三角矩阵
施密特正交化：从欧氏空间任意线性无关的向量组α1，α2，……，αm出发，求得正交向量组β1，β2，……，βm，使由α1，α2，……，αm与向量组β1，β2，……，βm等价，再将正交向量组中每个向量经过单位化，就得到一个标准正交向量组
SVD分解/奇异值分解：M是一个m*n阶矩阵，则存在一个分解使得
其中U是m*m阶酉矩阵，Σ是半正定m*n阶对角矩阵，而V*，即V的共轭转置，是n*n阶酉矩阵，这样的分解就称作M的奇异值分解
Σ对角线上的元素Σi，其中Σi即为M的奇异值
拉普拉斯矩阵：
推荐
机器学习 | 高等数学
机器学习 | 线性代数
机器学习 | 概率论