矩阵理论基础知识（2）--常见的几种矩阵分解方式

（1）LU分解

矩阵的LU分解是将一个矩阵分解为一个下三角矩阵与上三角矩阵的乘积，LU分解主要应用在数值分析中，用来解线性方程、求逆矩阵或计算行列式。本质上，LU分解是高斯消元的一种表达方式。首先对矩阵A通过初等行变换将其变为一个上三角矩阵（根据行列式的几个基本性质），在将原矩阵A变为上三角矩阵的过程中，一个初等行变换相当于在原始矩阵左边乘一个变换矩阵，这些矩阵乘积的逆即为下三角矩阵，这中间的过程就是Doolittle算法。

（2）UR/QR分解

• 我们先看两个关于UR分解与QR分解的定义：

• 实际上UR分解和QR分解是一致的概念，更多时候我们将其统称为QR分解。QR分解法是三种将矩阵分解的方式之一，QR分解把矩阵分解成一个正交矩阵与一个上三角矩阵的乘积（实质上就是原矩阵基的施密特正交化过程），QR分解是QR算法的基础。

QR分解的应用十分多，其中机器学习的启蒙导师“最小二乘法”就是通过QR分解得到的解，此处留着今后碰到了具体问题再回来探讨。

（3）特征值分解

特征值分解是将一个矩阵分解成下面的形式：

其中Q是矩阵A所有特征向量组成的矩阵（每一列代表一个特征向量，若A为对称阵，则矩阵Q正交），∑是一个对角阵，每一个对角线上的元素就是一个特征值。结合上篇特征值与特征向量的几何意义，再来理解这个公式就十分有趣。

我们知道在给定一组基的前提下，线性变换与矩阵一一对应；同时，同一个线性变换在不同基下的矩阵互为相似矩阵。实际可以将矩阵A理解为线性变换在原始基上的矩阵，而矩阵∑就是该线性变换在由特征向量组成的基上的矩阵，故有：

* （1）原基-->新基：（e1',e2'...en'）=(e1,e2,...,en)X，由于新基就是所有的特征向量，因此过渡矩阵X=Q。
* （2）A与∑相似，∑=X^-1AX，即∑=Q^-1AQ，倒过来求A，也就是上面特征值分解的形式。
* （3）因此，特征值分解实际上就是将原来的基映射到了特征向量方向上。