矩阵消元-线性代数课时2(MIT Linear Algebra , Gilbert Strang)

        这是Strang教授的第二讲,讲解了求线性方程组的一种系统方法:消元法(Gaussian elimination),它的核心思想是行变换。本课时的几个核心知识点:消元、回代、消元过程的矩阵描述和逆矩阵。

消元

        消元的思想在解线性方程组的过程中出现得很自然,并不需要很多技巧和复杂的公式,我们在中学时代就已经使用过。以3个未知数、3个方程的线性方程组为例,介绍消元的过程:

        

        我们求解上面的线性方程组的做法,用第一个方程消去第二个方程中的x,得到只包含未知数y,z的方程二,再用新得到的第二方程消去去第三个方程中的y得到只包含未知数z的第三个方程,这就是消元的基本思想。我们一Ax=b记录消元的过程:

        \begin{bmatrix} 1 & 2 & 1\\ 3 & 8 & 1\\ 0 & 4 & 1 \end{bmatrix}\begin{bmatrix} 2\\ 12\\ 2 \end{bmatrix}\overset{r(2)-3r(1)}{\rightarrow} \begin{bmatrix} 1 & 2 & 1\\ 0 & 2 & -2\\ 0 & 4 & 1 \end{bmatrix}\begin{bmatrix} 2\\ 6\\ 2 \end{bmatrix}\overset{r(3)-2r(2)}{\rightarrow} \begin{bmatrix} 1 & 2 & 1\\ 0 & 2 & -2\\ 0 & 0 & 5 \end{bmatrix}\begin{bmatrix} 2\\ 6\\ -10 \end{bmatrix} 

        将上面消元之后的系数矩阵记为U,U有一些特点,可以观察到它的对角线下方的元素全为0,这也是为什么用大写字母U标记的原因,U代表Upper,是一个上三角矩阵,消元之后的右侧向量记为c,我们消元之后得到新的方程组的矩阵表示即为Ux=c,方程组:

        

        可以看到我们在消元过程中要对矩阵A和向量b同时进行相同的行变换(可以理解为行向量的线性组合),那么可不可以将矩阵A和向量b放在一起一次计算完成变换呢,答案就是采用增广矩阵,将向量b看作A的一列得到新的矩阵[A b],新的矩阵就叫做增广矩阵,后面对变换过程用矩阵表示之后,通过矩阵乘法性质可以得出对A和b单独变换的结果等同于对矩阵[A b]做变换的结果,这里写一下增广矩阵表示消元的过程:

        \begin{bmatrix} 1 & 2 & 1& 2\\ 3 & 8 & 1 &12\\ 0 & 4 & 1 &2 \end{bmatrix}\overset{r(2)-3r(1)}{\rightarrow} \begin{bmatrix} 1 & 2 & 1&2\\ 0 & 2 & -2&6\\ 0 & 4 & 1&2 \end{bmatrix}\overset{r(3)-2r(2)}{\rightarrow} \begin{bmatrix} 1 & 2 & 1 &2\\ 0 & 2 & -2 &6\\ 0 & 0 & 5 &-10 \end{bmatrix}

        这里还有一个重要的知识点没记录,那就是主元(pivot),得到的矩阵U上对角线上的元素1,2,5就是我们例子中3x3系统中的3个主元,我们给主元编号从行1到行3,主元1(1)、主元2(2)、主元3(5)。有了主元的概念,我们可以这样重新理解上面消元的过程:1、我们首先选择A的第一行的第一个元素作为主元1,将主元1下方不为0的元素通过减去主元1的倍数使得主元1下方的元素都为0,当然这里的加法和倍数是怎对A的整个行向量而不是行向量中的第一个元素,同时也要对向量b做同样的变换,这样就完成了针对主元1的消元过程.2、同样选择第二行的第二列的元素作为主元2,通过同样的方式将主元2下方的元素变换为0.3、同理是选择在第三行第三列的元素作为主元3,这里是一个3x3的系统,主元3下方没有其它元素,所以不做任何操作。主元是一个很重要的概念,后面要学习矩阵的行列式,行列式的值就等于主元的乘积。这里有个重要的原则:消元过程中主元不能为0,如果取得某一行的主元为0,可以通过和它下方的行交换的方式来暂时规避。

回代

        我们消元的目的是求解线性方程组,回代可以看作是消元的逆步骤,通过消元我们得到了新的,系数矩阵具有上三角特性的线性方程组,我们从系数矩阵最下方的方程组开始首先求得第3列的未知数z=-10/5=-2,继而求得y=1,最后求得x=2。回代的过程会将主元作为分母,这为什么主元不能为0的原因。

消元过程的矩阵描述

        这里一个重要的事实,对矩阵进行行变换是可以通过左乘矩阵实现的(或者叫做等价于在矩阵左侧乘上一个特殊的变换矩阵)。消元过程的矩阵描述也即是上面校园过程中的r(2)-3r(1),r(3)-2r(2)这些代数表达转换为矩阵的形式,虽然只是换了一种表达方式,但是这很重要,它使我们能够完全使用矩阵运算完成消元过程。

        Step1. r(2)-3r(1) ,记左侧矩阵E_{21},表示通过主元1消第2行不为0元素.

        \begin{bmatrix} 1 &0 &0 \\ -3& 1 &0 \\ 0& 0 &1 \end{bmatrix}\begin{bmatrix} 1 & 2 & 1& 2\\ 3 & 8 & 1 &12\\ 0 & 4 & 1 &2 \end{bmatrix}\overset{r(2)-3r(1)}{\rightarrow} \begin{bmatrix} 1 & 2 & 1&2\\ 0 & 2 & -2&6\\ 0 & 4 & 1&2 \end{bmatrix}

        Step2. r(3)-2r(2),记左侧矩阵E_{32}.

        \begin{bmatrix} 1 &0 &0 \\ 0& 1 &0 \\ 0& -2 &1 \end{bmatrix}\begin{bmatrix} 1 & 2 & 1& 2\\ 0 & 2 & -2 &6\\ 0 & 0 & 5 &2 \end{bmatrix}\overset{r(2)-3r(1)}{\rightarrow} \begin{bmatrix} 1 & 2 & 1&2\\ 0 & 2 & -2&6\\ 0 & 4 & 1&-10 \end{bmatrix}

        Step1、Step2合并可写做:,,。

     这里要用到一个矩阵乘法的性质:结合律A(BC) = (AB)C,根据这条性质,我们可以改写上面的结果表达式:,,,表明我们可以用单个矩阵完成我们的整个消元过程。

        上面描述了完整的消元过程,但我们有意识的忽略了一个问题:消元什么时候会失败?这个问题和主元的性质有关,这条性质就是主元不允许为0,分为3种情况:1.方程组无解,这时候我们消元过程中会得到矩阵底部的方程主元为0,等式右侧值不为0,这种情况我们可以判断方程无解;2.方程有无数解,这是后我们消元过程中会得到矩阵底部的方程主元为0,等式右侧值也为0,表明底部主元乘上的未知数可以取任意值;3.方程组有解,但是在通过矩阵消元的过程中碰到选取的行主元已经为0,这时我们可以通过调换主元所在的行与它下侧的行将主元变换成非0,完成这种变换的矩阵叫置换矩阵,举例:

        \begin{bmatrix} 1 &0 &0 \\ 0& 0 &1 \\ 0& 1 & 0 \end{bmatrix}\begin{bmatrix} 1 &2 &1 \\ 0& 2 &-2 \\ 0& 4 & 1 \end{bmatrix} = \begin{bmatrix} 1 &2 &1 \\ 0& 4 &1 \\ 0& 2 & -2 \end{bmatrix}

        就是所谓的置换矩阵,它置换了的第2、3行。

逆矩阵

        教授在本节课中最后几分钟讲了一点关于逆矩阵的知识,我还是将其记录下来。思考一个问题我们通过得到了上三角矩阵得到了U,那么如何通过U得到A呢?这就是逆矩阵为我们要做的事情(看过教授后面的视频知道,这最终会引出A的一个重要分解LU)。我们知道单位矩阵I乘上任何矩阵,矩阵保持原样,若我们得到一个矩阵E_{21}^{-1},使得,那么成立,也就是将矩阵通过左乘E_{21}^{-1}变换为了矩阵A,E_{21}^{-1}就是矩阵E_{21}的逆矩阵, E_{21}^{-1}

        \begin{bmatrix} 1 &0 &0\\ 3 &1 & 0\\ 0 & 0 & 1 \end{bmatrix} \begin{bmatrix} 1 &0 &0\\ -3 &1 & 0\\ 0 & 0 & 1 \end{bmatrix}= \begin{bmatrix} 1 &0 &0\\ 0 &1 & 0\\ 0 & 0 & 1 \end{bmatrix}

        这里A由U的变换可写成,推导很简单,只需要将代入即可,关于逆矩阵的知识教授在课时3的视频中会详细介绍。

        内容对应《INTRODUCTION TO LINEAR ALGEBRA》2.2 - 2.3章节

        下节课:矩阵乘法和逆矩阵-线性代数课时3(MIT Linear Algebra , Gilbert Strang)

你可能感兴趣的:(数学,线性代数,矩阵消元,逆矩阵,Gilbert,Strang,线性代数)