Zane的线代学习笔记 #5 A=LU分解与置换矩阵

前言

---

这篇笔记我们将讲解$A=LU$分解的内容，如果你是第一次学习这块内容可能会对标题中的公式懵逼，我们知道$A$代表一个矩阵，$U$代表上三角矩阵，那$L$代表什么呢？看完这篇笔记，你的心中就会有答案了！

正文

---

1.什么是$A=LU$分解？

我们先来解开第一个疑惑，什么是$A=LU$分解？从公式中不难看出，它其实就是将一个矩阵$A$分解成了$L$和$U$两个矩阵，我们知道$U$代表$A$矩阵消元后得到的上三角矩阵，那$L$矩阵是个什么玩意呢？
在矩阵消元法这篇笔记中，我们提到过：
$$(A_{32}{A}_{21})A=U$$
这里的矩阵$A$进行了两次行变换消元得到了上三角矩阵$A$，现在如果我们令$A_{32}{A}_{21}=E$（也就是将两次行变换合并）就可以得到如下式子：
$$EA=U$$
现在，如果我们想要将矩阵$E$移到等式右边，就只需要在两边都左乘上$E^{-1}$（注意，这里的$E$是两次行变换矩阵相乘的结果，并不是单位矩阵），得到如下式子：
$$A=E^{-1}U$$
OK，眼尖的同学已经发现端倪了，这式子咋这么眼熟呢，看一眼咱们标题里的式子，$A=LU$！这里的$L$不就是$E^{-1}$吗？没错，这里的矩阵$L$就是矩阵$E$的逆矩阵，早在我们学习矩阵消元法时就已经埋下了伏笔！

接下来我们来做一个小练习巩固一下刚刚所学到的知识，让我们把下面这个$2\times 2$的矩阵分解一下：
$$A=\left[\begin{array}{cc}2& 1\\ 8& 7\end{array}\right]$$
第一步，将其进行消元得到上三角矩阵：
$$U=\left[\begin{array}{cc}2& 1\\ 0& 3\end{array}\right]$$
第二步：求它的行变换矩阵：
$$E=\left[\begin{array}{cc}1& 0\\ -4& 1\end{array}\right]$$
第三步，求出$L$，也就是求$E^{-1}$：
$$E=\left[\begin{array}{cc}1& 0\\ 4& 1\end{array}\right]=L$$
最后，我们就成功将矩阵$A$分解为了$L$和$U$：
$$A=LU=\left[\begin{array}{cc}1& 0\\ 4& 1\end{array}\right]\left[\begin{array}{cc}2& 1\\ 0& 3\end{array}\right]$$
是不是很简单！这里MIT18.06中吉尔伯特教授还介绍了$A=LD$的形式，也就是将上三角矩阵$U$再次进行了分解：
$$A=LU=\left[\begin{array}{cc}1& 0\\ 4& 1\end{array}\right]\left[\begin{array}{cc}2& 1\\ 0& 3\end{array}\right]=\left[\begin{array}{cc}1& 0\\ 4& 1\end{array}\right]\left[\begin{array}{cc}2& 0\\ 0& 3\end{array}\right]\left[\begin{array}{cc}1& 1/2\\ 0& 1\end{array}\right]$$
这样，这个式子就更加平衡了，左右两边的矩阵主对角线上的元素都为$1$，而中间则是一个对角矩阵，这里作为一个补充知识，咱们就不深入探讨了，感兴趣的同学可以自行查阅资料！

2.为什么需要A=LU分解？

讲完了$A=LU$分解是什么，你肯定很困惑，我们不是已经有$EA=U$这个式子了吗，为什么还去求$L$呢？这不纯纯的“没苦硬吃”嘛！哼哼，马上就让你看看吃苦的好处。

老套路，咱们先来举例子，下面是一个$3\times 3$的矩阵，我们先求它的$U$，再求它的$L$，最后对比一下他们之间的差异：
A = [ 1 2 3 3 7 8 4 9 10 ] A=\begin{bmatrix}1&2&3\\3&7&8\\4&9&10\end{bmatrix} A= ​134​279​3810​ ​
首先，将$row2-3\times row1$得：
[ 1 2 3 0 1 − 1 4 9 10 ] \begin{bmatrix}1&2&3\\0&1&-1\\4&9&10\end{bmatrix} ​104​219​3−110​ ​
将其用矩阵形式表示就是：
A 21 A = [ 1 0 0 − 3 1 0 0 0 1 ] [ 1 2 3 3 7 8 4 9 10 ] = [ 1 2 3 0 1 − 1 4 9 10 ] A_{21}A=\begin{bmatrix}1&0&0\\-3&1&0\\0&0&1\end{bmatrix}\begin{bmatrix}1&2&3\\3&7&8\\4&9&10\end{bmatrix}=\begin{bmatrix}1&2&3\\0&1&-1\\4&9&10\end{bmatrix} A21​A= ​1−30​010​001​ ​ ​134​279​3810​ ​= ​104​219​3−110​ ​
第三行也是同理，将$row3-4\times row1$得：
[ 1 2 3 0 1 − 1 0 1 − 2 ] \begin{bmatrix}1&2&3\\0&1&-1\\0&1&-2\end{bmatrix} ​100​211​3−1−2​ ​
用矩阵形式表示：
A 31 A 21 A = [ 1 0 0 0 1 0 − 4 0 1 ] [ 1 2 3 0 1 − 1 4 9 10 ] = [ 1 2 3 0 1 − 1 0 1 − 2 ] A_{31}A_{21}A=\begin{bmatrix}1&0&0\\0&1&0\\-4&0&1\end{bmatrix}\begin{bmatrix}1&2&3\\0&1&-1\\4&9&10\end{bmatrix}=\begin{bmatrix}1&2&3\\0&1&-1\\0&1&-2\end{bmatrix} A31​A21​A= ​10−4​010​001​ ​ ​104​219​3−110​ ​= ​100​211​3−1−2​ ​
然后，我们将第三行第二列的元素也消掉得：
[ 1 2 3 0 1 − 1 0 0 − 1 ] \begin{bmatrix}1&2&3\\0&1&-1\\0&0&-1\end{bmatrix} ​100​210​3−1−1​ ​
用矩阵形式表示就是：
A 32 A 31 A 21 A = [ 1 0 0 0 1 0 0 − 1 1 ] [ 1 2 3 0 1 − 1 0 1 − 2 ] = [ 1 2 3 0 1 − 1 0 0 − 1 ] = U A_{32}A_{31}A_{21}A=\begin{bmatrix}1&0&0\\0&1&0\\0&-1&1\end{bmatrix}\begin{bmatrix}1&2&3\\0&1&-1\\0&1&-2\end{bmatrix}=\begin{bmatrix}1&2&3\\0&1&-1\\0&0&-1\end{bmatrix}=U A32​A31​A21​A= ​100​01−1​001​ ​ ​100​211​3−1−2​ ​= ​100​210​3−1−1​ ​=U
OK，大功告成，我们现在已经得到了上三角矩阵$U$，让我们把三个行变换矩阵合并成一个矩阵$E$：
E = A 32 A 31 A 21 = [ 1 0 0 0 1 0 0 − 1 1 ] [ 1 0 0 0 1 0 − 4 0 1 ] [ 1 0 0 − 3 1 0 0 0 1 ] = [ 1 0 0 − 3 1 0 − 1 − 1 1 ] E=A_{32}A_{31}A_{21}=\begin{bmatrix}1&0&0\\0&1&0\\0&-1&1\end{bmatrix}\begin{bmatrix}1&0&0\\0&1&0\\-4&0&1\end{bmatrix}\begin{bmatrix}1&0&0\\-3&1&0\\0&0&1\end{bmatrix}=\begin{bmatrix}1&0&0\\-3&1&0\\-1&-1&1\end{bmatrix} E=A32​A31​A21​= ​100​01−1​001​ ​ ​10−4​010​001​ ​ ​1−30​010​001​ ​= ​1−3−1​01−1​001​ ​
求完上三角矩阵之后，让我们来求出$L$，很简单，我们只要求出$E$的逆矩阵就可以了，如果忘记了求逆矩阵的方法，可以看看矩阵的逆这篇笔记：
L = E − 1 = [ 1 0 0 3 1 0 4 1 1 ] L=E^{-1}=\begin{bmatrix}1&0&0\\3&1&0\\4&1&1\end{bmatrix} L=E−1= ​134​011​001​ ​
这里有一个比较容易出错的地方，我计算的时候就吃了亏，算来算去算不对（自身基础不扎实T-T），就是矩阵乘积的逆的顺序是要倒过来的：
$$(A_{32}{A}_{31}{A}_{21}{)}^{-1}=A_{21}^{-1}{A}_{31}^{-1}{A}_{32}^{-1}$$
现在，让我们来对比这两个矩阵，你能看出端倪吗？
E = [ 1 0 0 − 3 1 0 − 1 − 1 1 ] , L = [ 1 0 0 3 1 0 4 1 1 ] E=\begin{bmatrix}1&0&0\\-3&1&0\\-1&-1&1\end{bmatrix},L=\begin{bmatrix}1&0&0\\3&1&0\\4&1&1\end{bmatrix} E= ​1−3−1​01−1​001​ ​,L= ​134​011​001​ ​
有没有发现$L$中包含了我们刚刚所作的行变换的信息，而$E$表示得并不完全，例如第三行第一列的元素就没有表示出行变换的信息，这是为什么呢？

其实，如果我们仔细一想就会发现，第三次的变换是由第三行减去第二次变换后的第二行得到的，这里面本身就包含了第一列的变换，从而导致了这个问题的出现，而逆，也就是反向操作则不会出现这种情况，所以，这也是为什么我们觉得吃这苦值了，因为我们可以直观地看到行变换的信息！

3.矩阵运算的计算量（2024.12.17补充）

有了之前所有知识的铺垫，现在我想讨论一个很有意思的内容，那就是我们将一个矩阵消元得到上三角矩阵需要进行多少次的运算？再具体一点就是：对于一个$n\times n$的矩阵，我们需要多少次运算才可以完成消元得到上三角矩阵，我们先来举个例子：
A 100 × 100 = [ a ⋯ c ⋮ ⋱ ⋮ d ⋯ b ] A_{100×100}=\begin{bmatrix}\begin{array}{ccc} a & \cdots & c\\ \vdots & \ddots & \vdots\\ d & \cdots & b \end{array}\end{bmatrix} A100×100​= ​a⋮d​⋯⋱⋯​c⋮b​​ ​
这是一个$100\times 100$的矩阵（$n=100$），并且矩阵中任何元素都不为$0$，如果我们要对其进行消元，那么就要先将第一列除第一行的元素外的所有元素都变为$0$，这时我们要做几次运算（一次运算包括一次乘法和一次减法）？没错，$100\times 99$次，为什么？我们不妨这么想，只要是发生改变的元素是不是都被做了一次运算？那么是不是除了第一行以外的元素是不是都发生了改变，也就是说有$99$行元素被改变了，而每行有$100$个元素，所以是$100\times 99$次。

我们再来思考一下，如果是第二次消元，要做多少次运算呢？没错，$99\times 98$次，现在我们已经发现规律，为了方便表示，我们将$100\times 99$近似为$100^2$，如果我们设运算次数为k，并用$n$来表示的话，就可以得到如下式子：
$$k=n^2+(n-1{)}^2\cdots +2^2+1^2$$
这样我们就得到了计算量的近似值，如果我们学过积分求和，就可以将式子简化为：
$$k=n^2+(n-1{)}^2\cdots +2^2+1^2=\frac{1}{3}{n}^3=\int n^2$$
没有学过积分的同学看不懂也不用慌，这只是一个补充的知识，我们学习还是以线性代数为主。现在，我们就可以知道我们在进行$A=LU$分解时，大约要进行多少次运算了！

4.置换矩阵（2024.12.17补充）

刚刚我们在求矩阵运算的计算量时，假设矩阵中没有$0$元素，这是为什么呢？因为当有$0$出现时，我们可能会需要将矩阵中的两行交换位置，这时我们就需要转置矩阵了（矩阵左乘置换矩阵后就会改变行的位置，如果你不知道原因，可以看看我之前的笔记）。现在，我们对一个单位矩阵进行位置交换，看看最后会发生哪些有趣的事！
A = [ 1 0 0 0 1 0 0 0 1 ] A=\begin{bmatrix}1&0&0\\0&1&0\\0&0&1\end{bmatrix} A= ​100​010​001​ ​
首先，让我们思考一下矩阵$A$一共会有几个置换矩阵？我们来操作一下，首先将$row1$和$row2$换一下位置得到：
A 1 = [ 0 1 0 1 0 0 0 0 1 ] A_{1}=\begin{bmatrix}0&1&0\\1&0&0\\0&0&1\end{bmatrix} A1​= ​010​100​001​ ​
然后，将$row1$和$row3$交换位置，会得到：
A 2 = [ 0 0 1 0 1 0 1 0 0 ] A_{2}=\begin{bmatrix}0&0&1\\0&1&0\\1&0&0\end{bmatrix} A2​= ​001​010​100​ ​
同理，我们求出其他置换矩阵：
A 3 = [ 1 0 0 0 0 1 0 1 0 ] , A 4 = [ 0 1 0 0 0 1 1 0 0 ] , A 5 = [ 0 0 1 1 0 0 0 1 0 ] , A_{3}=\begin{bmatrix}1&0&0\\0&0&1\\0&1&0\end{bmatrix}, A_{4}=\begin{bmatrix}0&1&0\\0&0&1\\1&0&0\end{bmatrix}, A_{5}=\begin{bmatrix}0&0&1\\1&0&0\\0&1&0\end{bmatrix}, A3​= ​100​001​010​ ​,A4​= ​001​100​010​ ​,A5​= ​010​001​100​ ​,
加上原来的单位矩阵，我们一共获得了六个矩阵，这六个矩阵非常有意思，如果我们任选两个相乘，会发现结果还是在这六个矩阵中，如果求逆呢？结果也还是在这六个矩阵中！比如我们来看矩阵$A_1$，它交换了一二两行，现在我要变回去要怎么做？是不是再次交换一二两行就行了，也就是说它的逆矩阵等于本身！

我们再来看看$A_1$的转置矩阵，转置操作很简单，就是把行变成列，列变成行的操作，记作$A^T$。那么$A_1^T$是什么？没错，是它自己！这就很神奇了，置换矩阵的逆矩阵与转置矩阵相等，多么奇妙的特性啊！
$$A^T=A^{-1}$$
最后，我们来探讨一下置换矩阵的数量，这里如果你尝试自己写出这些置换矩阵就会发现，其实是$3+2+1$得到的，12交换，13交换，23交换，12交换之后再13交换，12交换之后再23交换，有种排列组合的味道，如果没有意识到这一点，你可以自己独立写出这些置换矩阵，就会有感觉。

我们把$3+2+1$写成$3!$，就可以得出结论：置换矩阵的数量就是$n!$，比如是$4\times 4$的置换矩阵数量就是$4!=24$

至此，$A=LU$分解我们就讲完了，是不是感觉也并没有特别难呢？并且学完之后还能把之前的知识再复习一边，哈哈哈哈。

最后

---

这个系列是我希望通过费曼学习法来更好地巩固学习线性代数，如果有表述上的错误可以私信我，不胜感激！！
B站：ZaneYooo
知乎：ZaneYooo
CSDN：ZaneYooo
稀土掘金：ZaneYooo
微信公众号（建设中）
希望你可以跟我一起构建起强大的知识体系，畅游在知识的海洋，改变世界改变自己！！！