矩阵论学习笔记四：矩阵分解
参考书：《矩阵论》第3版，程云鹏 张凯院 徐仲编著 西北工业大学出版社
矩阵的三角分解和QR分解等在计算数学中都扮演着十分重要的角色，尤其是以QR分解所建立的QR方法，以对数值线性代数理论的近代发展起了关键作用。矩阵的满秩分解和奇异值分解在广义逆矩阵等理论中经常用到，它们与QR方法都是近20年来求解各类最小二乘问题和最优化问题的主要数学工具
1. Gauss消去法与矩阵的三角分解
1）Gauss消去法的矩阵形式
a）Gauss主元素消去法的基本思想：化n元线性方程组的系数矩阵A为上三角矩阵，或化增广矩阵[A,b]为上阶梯形矩阵以求其解
b）Gauss主元素消去法有3种形式：按自然顺序（按主对角线顺序）选主元素法、按列选主元素法、按总体选主元素法
c）Frobenius矩阵
d）Gauss消元过程
e）附加条件：主子式不为零
2）矩阵的三角（LU）分解
a）方阵的三角分解（LU/LR分解）定义（定义4.1）：如果方阵A可分解成一个下三角矩阵L和一个上三角矩阵U的乘积，则称...。如果A可分解成A = LDU，其中L是单位下三角矩阵，D是对角矩阵，U是单位上三角矩阵，则称A可做LDU分解
b）方阵的三角分解的存在性和唯一性
一般方阵的LU分解不唯一
定理4.1：对于n阶矩阵A，当且仅当A的k阶顺序主子式不等于零（k = 1,2,...,n-1）时，A可唯一分解为A = LDU，其中L是单位下三角矩阵，U是单位上三角矩阵，D是对角矩阵，D = diag（d1,d2,...,dn），dk = A的k阶主子式/A的k-1阶主子式
定理4.1的推论：n阶非奇异矩阵A有三角分解A=LU的充要条件是A的k阶顺序主子式不等于零（k=1,2,...,n-1）
c）带行交换的矩阵三角分解
定理4.2：设A是n阶非奇异矩阵，则存在置换矩阵P使PA的n个顺序主子式非零
定理4.2的推论：设A是n阶非奇异矩阵，则存在置换矩阵P，使PA = LU'= LDU
d）利用三角分解法求解线性方程组：据定理4.1、定理4.2对系数矩阵做三角分解、引入中间变量
3）其他三角分解及其算法
a）矩阵的Doolittle分解
b）矩阵的Crout分解
c）实对称正定矩阵的Cholesky分解（平方根分解、对称三角分解）
定义4.3：A = LDU，A = LD'*D'*(L转置）=(LD'')*(LD''转置） = G*(G转置),D'' = diag（sqrt(d1),...,sqrt(dn)），G为下三角矩阵
矩阵G的(i,j)元素的递推公式
|矩阵G的(i,j)元素| <= sqrt(A的(i,j)元素) ，j<=i，因此Cholesky分拣中的中间量矩阵G的(i,j)元素完全得以控制，从而计算过程是稳定的
4）分块矩阵的拟LU分解与拟LDU分解
a）讨论如何将方阵分解为两个拟三角矩阵的乘积或两个拟三角矩阵和一个拟对角矩阵的乘积问题。这种分解对处理高阶方阵分解问题带来方便，并能减少计算工作量
b）仅限于参加运算的矩阵在纵向和横向列分成3块的情况
c）分块矩阵的拟LDU分解（2种）
d）分块矩阵的det(A)不等于零的充要条件（2种情况）；应用
2. 矩阵的QR分解（针对非奇异矩阵）
1）Givens变换与Householder变换
a）Givens矩阵和Givens变换
Givens矩阵（初等旋转矩阵）定义（定义4.4）
性质1：正交矩阵，且有Tij(c,s)逆=Tij(c,s)转置 = Tij(c,-s)，det[Tij(c,s)] = 1;
性质2：c和s值的选取
定理4.3对于非零向量x，存在有限个Givens矩阵的乘积T，使得Tx = |x|*向量e1
定理4.3的推论：由定理4.3中向量e1推广到单位列向量z的情况
b）Householder矩阵和Householder变换
Householder矩阵（初等反射矩阵）定义（定义4.5）： 单位列向量u属于n维空间，称H = I - 2*U*U转置为Householder矩阵
Householder矩阵的性质：对称矩阵、正交矩阵、对合矩阵、自逆矩阵、detH = -1
定理4.4：任意给定n维实空间中非零向量x及单位列向量z，则存在Householder矩阵，使得Hx = |x|z；x = |x|z时，取单位列向量u满足（u转置）*x = 0；当x != |x|z时，H = (x - |x|z) / |x - |x|z|
c）Givens变换与Householder变换的关系
定理4.5：初等旋转矩阵是两个初等反射矩阵的乘积
2）矩阵的QR(正交三角)分解
a）矩阵QR分解的定义
定义4.6：如果实（复）非奇异矩阵A能够化成正交（酋）矩阵Q与实（复）非奇异上三角矩阵R的乘积，即A = QR，则称...
b）矩阵QR分解的存在性和唯一性
定理4.6：设A是n阶实（复）非奇异矩阵，则存在正交（酋）矩阵Q和实（复）非奇异上三角矩阵R，使A有AR分解式 A=QR，且除去相差一个对角元素的绝对值（模）全等于1的对角矩阵因子外，分解式是唯一的；证明据Schmidt正交化
定理4.7（4.6的推广）：设A是m*n实（复）矩阵，且其n个列线性无关，则A有分解 A = QR，其中Q是m*n实（复）矩阵，且满足(Q转置)*Q = I (QH * Q = I)，R是n阶实（复）非奇异上三角矩阵。该分解除去相差一个对角元素的绝对值（模）全等于1的对角矩阵因子外，分解式是唯一的
c）矩阵QR分解的实现方法1：Schmidt正交化方法
d）矩阵QR分解的实现方法2：初等旋转变换
定理4.8：任何n阶实非奇异矩阵A，可通过左连乘初等旋转矩阵化为上非奇异三角矩阵
定理4.9: 定理4.8推广到复矩阵的情况
应用初等变换求矩阵的QR分解
e）矩阵QR分解的实现方法3：初等反射变换
定理4.10：任何n阶实非奇异矩阵A，可通过左连乘Householder矩阵化为上非奇异三角矩阵
f）矩阵QR分解的实现方法4：利用矩阵的满秩分解，需要先证明再使用
3）矩阵与Hessenberg矩阵的正交相似问题
a）矩阵与Hessenberg矩阵的相似问题，在矩阵特征值问题研究中有重要应用
3. 矩阵的满秩分解
1）将非零矩阵分解为列满秩和行满秩的乘积形式。该分解理论在关于广义逆矩阵的研究中有重要应用
2）矩阵的满秩分解定义（定义4.8）：A为m*n复矩阵，秩为r，若存在m*r且秩为r的矩阵F和r*n且秩为r的矩阵G，使A= FG，则称...
3）矩阵的满秩分解的存在性
a）定理4.13：
b）矩阵的满秩分解不是唯一的
4）矩阵的满秩分解方法1：利用初等行变换
5）矩阵的满秩分解方法2：利用矩阵的Hermite标准形
a）矩阵Hermite标准形定义（定义4.9）：
b）置换矩阵（定义4.10）：
c）利用矩阵的Hermite标准形求满秩矩阵：
6）利用矩阵的满秩分解处理矩阵问题
a）证明rank(A1+A2) <= rankA1 + rankA2
b）设A是m*n复矩阵，秩为r（r>0），则必有分解式 A = QR，其中Q是m*r矩阵，且为酋矩阵，而R是r*n矩阵，它的r个行线性无关
4. 矩阵的奇异值分解
1）研究意义：矩阵的奇异值分解在最优化问题、特征值问题、最小二乘方问题、广义逆矩阵问题及统计学等方面有重要应用
2）矩阵的正交对角分解
a）矩阵的正交对角分解
定理4.15：
3）矩阵的奇异值与奇异值分解
a）矩阵的奇异值
前提结论（3条）
定义4.11：
矩阵的奇异值个数等于其列数，其非零奇异值个数等于其秩
b）矩阵的奇异值分解
定理4.16
A的奇异值唯一，但U，V一般不唯一，因此矩阵的奇异值分解一般也是不唯一的
求矩阵的奇异值分解
4）矩阵正交相抵的概念
a）矩阵正交相抵定义
定义4.12：
性质：自反性、对称性、传递性
正交相抵等价类
b）定理4.18：正交相抵矩阵有相同的奇异值