[MIT18.06 Notes] Course 2 - Elimination with Matrices(Part 1)

上三角矩阵(UTM)

上三角矩阵(Upper Triangular Matrix),记作U，就是主对角线以下都是0的矩阵。
比如这就是一个上三角矩阵：
$$U=\left[\begin{array}{cccc}m11& m12& m13& m14\\ 0& m22& m23& m24\\ 0& 0& m33& m34\\ 0& 0& 0& m44\end{array}\right]$$

高斯消元法(Gauss elimination)

Mat A to Mat U

这一步，我们要将矩阵A变化成上三角矩阵U的形式
$$\{\begin{array}{rl}& x+2y+z=2\\ & 3x+8y+z=12\\ & 4y+z=2\end{array}$$
先分离出系数矩阵A：
$$\left[\begin{array}{ccc}1& 2& 1\\ 3& 8& 1\\ 0& 4& 1\end{array}\right]$$
先变第一列，找到第一行第一个，我们称其为 主元一 (the first pivot)
$$\left[\begin{array}{ccc}1& 2& 1\\ 3& 8& 1\\ 0& 4& 1\end{array}\right]$$
我们的目的是将第一列变为1, 0, 0所以我们用第二行减去三倍的第一行，第三行因为本身是0所以不管，变换后就为：
$$\left[\begin{array}{ccc}1& 2& 1\\ 0& 2& -2\\ 0& 4& 1\end{array}\right]$$
接下来变第二列，主元二就是第二行第二列的2：
$$\left[\begin{array}{ccc}1& 2& 1\\ 0& 2& -2\\ 0& 4& 1\end{array}\right]$$
向上面的一样，我们要将这一列剩下的一个4 (3, 2)变为0。就用最后一行减去两倍的第二行，最后就得到了我们的上三角矩阵U:
$$U=\left[\begin{array}{ccc}1& 2& 1\\ 0& 2& -2\\ 0& 0& 5\end{array}\right]$$

失效情况

上个例子没有问题，因为它斜对角的三个主元不为零。高斯消元中主元不能为0。这是一点要注意的。
那如果为零怎么办，比如刚才例子中(1, 1)变为零，也就是主元一变为零：
$$\left[\begin{array}{ccc}0& 2& 1\\ 3& 8& 1\\ 0& 4& 1\end{array}\right]$$
这时候我们可以通过交换(Swap)的方式让非零的作为主元，交换一二行，得：
$$\left[\begin{array}{ccc}3& 8& 1\\ 0& 2& 1\\ 0& 4& 1\end{array}\right]$$
通过这个方法就可以解决了。

增广矩阵(Augmented Matrix)

然后我们再回到刚才的例子，刚才我们只处理了A没有处理b。我们将右边加一列用来放置b的值，这个新矩阵成为增广矩阵(或扩增矩阵)
还是刚才的例子
$$\{\begin{array}{rl}& x+2y+z=2\\ & 3x+8y+z=12\\ & 4y+z=2\end{array}$$
将A变化为增广矩阵：
$$\left[\begin{array}{ccc}1& 2& 1\\ 3& 8& 1\\ 0& 4& 1\end{array}\right]\to \left[\begin{array}{cccc}1& 2& 1& 2\\ 3& 8& 1& 12\\ 0& 4& 1& 2\end{array}\right]$$
然后向上面一样处理：
$$\left[\begin{array}{cccc}1& 2& 1& 2\\ 3& 8& 1& 12\\ 0& 4& 1& 2\end{array}\right]\to \left[\begin{array}{cccc}1& 2& 1& 2\\ 0& 2& -2& 6\\ 0& 4& 1& 2\end{array}\right]\to \left[\begin{array}{cccc}1& 2& 1& 2\\ 0& 2& -2& 6\\ 0& 0& 5& -10\end{array}\right]$$

回代(back substitution)

再变换回来变成Ux=c
$$\left[\begin{array}{ccc}1& 2& 1\\ 0& 2& -2\\ 0& 0& 5\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\end{array}\right]=\left[\begin{array}{c}2\\ 6\\ -10\end{array}\right]$$
我们可以写回方程组的形式：
$$\{\begin{array}{rl}x+2y+z& =2\\ 2y-2z& =6\\ 5z& =-10\end{array}$$
即可解出
$$\{\begin{array}{rl}& x=2\\ & y=1\\ & z=-2\end{array}$$