MIT线性代数总结笔记——LU分解

MIT线性代数总结笔记——LU分解

矩阵分解

矩阵分解（Matrix Factorizations）就是将一个矩阵用两个以上的矩阵相乘的等式来表达。而矩阵乘法涉及到数据的合成(即将两个或多个线性变换的效果组合成一个矩阵)，因此可以说，矩阵分解是对数据的一种分析。

矩阵分解	LU分解
分解形式	(代表下三角矩阵，代表上三角矩阵)
目的	提高计算效率
前提	(1)矩阵是方阵（分解主要是针对方阵）； (2)矩阵是可逆的，也就是该矩阵是满秩矩阵，每一行都是独立向量； (3)消元过程中没有主元出现，也就是消元过程中不能出现行交换的初等变换。

LU分解

分解形式

简述

分解常用于求解工业和商业问题中的序列方程。它是最常见的求解线性系统 的方法，主要思路是：把 分解成一个下三角矩阵（Lower Triangular Matrix）和一个上三角矩阵（Upper Triangular Matrix），简称。分解后，等式可以写成，这样我们令，这样就可以通过分开求解两个等式来得到：

即可以先通过求出，最后再用，求出。

• 本质上，分解是高斯消元法的一种表达方式，为了更好地理解分解，我们需要解释一下高斯消元法。

高斯消元法（Gaussian Elimination）

简述

为了求解线性系统，我们基本的策略是用相等的式子去替代要求解的式子，来让求解变得更容易。对于一个线性系统中有若干个未知数，我们需要将方程组中的一方程的未知数用含有另一未知数的代数式表示，并将其代入到另一方程中，这就消去了一未知数，得到一解；或将方程组中的一方程倍乘某个常数加到另外一方程中去，也可达到消去一未知数的目的，并最终得到线性系统的解。这一求解算法称之为高斯消元法（Gaussian Elimination）。

示例

下文将展示高斯消元法的求解过程，设需求解的线性方程组如下：

将其表达为矩阵形式为：

1. 为了将多余的未知数消除，我们需要将第三行的消除，矩阵的第一行乘倍再和第三行相加，得到：

2. 接着再进行对多余的未知数的消除，这里将第二行乘倍再与第三行相加，得到：

至此，我们得到了一个新的三角形矩阵，转换为线性方程组的形式为：

通过简单的回代，我们最终可以得到线性方程组的解：

高斯消元法与LU分解之间的联系

那么为什么说分解其实就是高斯消元法的一种表达方式呢？这是因为我们可以将上述示例中每一步的操作用矩阵相乘的形式（行变换的本质就是左乘矩阵）表达出来。

例如上文示例中的第一步：“为了将多余的未知数消除，我们需要将第三行的消除，矩阵的第一行乘倍再和第三行相加” ，可以表达为：

同样地，第二步：“继续进行对多余的未知数的消除，这里将第二行乘倍再与第三行相加” 可以表达为：

因此，我们可以用一个矩阵相乘的等式来记录整个高斯消元的过程：

将三个消元矩阵合并，用表示则为：

那么我们可以得到关于的表达式：

这样一来我们就得到了的分解，即将矩阵A分解为一个下三角矩阵（）和一个上三角矩阵（）的乘积。

伪代码

U = A, L = I
for j = 1 : n - 1 do
    for i = j + 1 : n do
        l_ij = u_ij / u_jj
        for k = j : n do
            u_ik = u_ik - l_ij * u_jk
        end for
    end for
end for

• 此处是矩阵index从1开始计数。
• Credit to http://iacs-courses.seas.harvard.edu/courses/am205/slides/am205_lec07.pdf

算法效率

接下来我们来思考一下算法效率的问题，假如我们有一个的矩阵，并且各项均非，那我们需要计算多少次才能得到矩阵呢？

对于这个问题我们先从列的角度来考虑，第一列消元运算结束以后，矩阵变为：

这一步中，第一列的元素运算了次，而第一行共有个元素，于是仅第一行与第一列消元结束后，我们就计算了次。之后我们要研究剩下的的矩阵，以此类推可知，最后的计算量为。

接着，我们可以利用微积分计算得到，的操作次数为，的操作次数为次。

结合上文伪代码， 因为有三重循环嵌套，因此分解的复杂度为，其中加法操作为，乘法操作为，总共为次，求解和各需要次

前提条件

(1)矩阵是方阵（LU分解主要是针对方阵）；
(2)矩阵是可逆的，也就是该矩阵是满秩矩阵，每一行都是独立向量；
(3)消元过程中没有0主元出现，也就是消元过程中不能出现行交换的初等变换。

LUD分解（LDU Decomposition）

上文中我们已经得到了，我们还可以继续分解下去得到，为对角矩阵(Diagonal Matrix)，矩阵的分解是在分解之后，把再次分解，目的是把的对角线元素都化为，上文示例中我们得到的如下

接下来，让矩阵中位于对角线上的元素都为，就可以提出一个对角矩阵

LUP分解（LU Decomposition with Partial Pivoting）

我们来考虑一个矩阵，尽管矩阵非奇异，并且很简单，但是使用分解的算法会失败，因为第一个主元。在高斯消元法中，我们常常通过人为的行变换来消除主元为时的影响。例如我们需要把矩阵A的第一行和第二行进行交换得到，这样我们就能将消元进行下去。这样的操作也可以用矩阵相乘的方法来表达，那么在该示例中，即为，这里的矩阵称为置换矩阵（Permutation Matrix）。那么就有了LUP分解（LU decomposition with partial pivoting）：。这一算法的出现显著改善了分解算法的稳定性。

伪代码

U = A, L = I, P = I
for j = 1 : n - 1 do
    Select i (>= j) that maximizes |u_ij|
    Interchange rows of U: u_(j,j:n) <-> u_(i,j:n)
    Interchange rows of L: l_(j,1:j-1) <-> l_(i,1:j-1)
    Interchange rows of P: p_(j,:) <-> p_(i,:)
    for i = j + 1 : n do
        l_ij = u_ij / u_jj
        for k = j : n do
            u_ik = u_ik - l_ij * u_jk
        end for
    end for
end for