【线代笔记】2.3 Elimination Using Matrices - 用矩阵来消元
2.3 Elimination Using Matrices - 用矩阵来消元
用矩阵来消元，我们需要用到消元矩阵，一种可以阐述消元步骤的方式
比如从 i t h i^{th} ith式减去 j t h j^{th} jth式的 l i j l_{ij} lij倍，这样的消元矩阵为 E i j E_{ij} Eij，所有这样的矩阵组合为E
相似的，可以把所有逆 E i j − 1 E_{ij}^{-1} Eij−1组合为一个总的 L = E − 1 \mathbf{L=E^{-1}} L=E−1
Matrices times Vectors and Ax = b - 矩阵与向量的乘法
前面的章节已经告诉我们，3个含有3个未知量的线性方程组成的线性方程组可以用 A x = b \mathbf{Ax=b} Ax=b来表示
其中A代表所有系数组成的矩阵，x与b都是向量。一个矩阵乘上一个向量的结果依然是一个向量
当方程的数量和未知数的数量相同的时候，对应的系数矩阵A就是一个方阵
2 x 1 + 4 x 2 − 2 x 3 = 2 4 x 1 + 9 x 2 − 3 x 3 = 8 − 2 x 1 − 3 x 2 + 7 x 3 = 10 is the same as [ 2 4 − 2 4 9 − 3 − 2 − 3 7 ] [ x 1 x 2 x 3 ] = [ 2 8 10 ] \begin{aligned} 2 x_{1}+4 x_{2}-2 x_{3}&=2 \\ 4 x_{1}+9 x_{2}-3 x_{3}&=8 \\ -2 x_{1}-3 x_{2}+7 x_{3}&=10 \end{aligned} \quad \text { is the same as } \quad \left[\begin{array}{rrr} {2} & {4} & {-2} \\ {4} & {9} & {-3} \\ {-2} & {-3} & {7} \end{array}\right]\left[\begin{array}{l} {x_{1}} \\ {x_{2}} \\ {x_{3}} \end{array}\right]=\left[\begin{array}{r} {2} \\ {8} \\ {10} \end{array}\right] 2x1+4x2−2x34x1+9x2−3x3−2x1−3x2+7x3=2=8=10 is the same as ⎣⎡24−249−3−2−37⎦⎤⎣⎡x1x2x3⎦⎤=⎣⎡2810⎦⎤
A x = b \mathbf{Ax=b} Ax=b同样可以用列与行的形式来表示等式，例如列形式代表Ax是A的各列的线性组合
A x = ( − 1 ) [ 2 4 − 2 ] + 2 [ 4 9 − 3 ] + 2 [ − 2 − 3 7 ] = [ 2 8 10 ] = b \mathbf{Ax}=(-1)\left[\begin{array}{r} {2} \\ {4} \\ {-2} \end{array}\right]+2 \left[\begin{array}{r} {4} \\ {9} \\ {-3} \end{array}\right]+2 \left[\begin{array}{r} {-2} \\ {-3} \\ {7} \end{array}\right]= \left[\begin{array}{r} {2} \\ {8} \\ {10} \end{array}\right]= \mathbf{b} Ax=(−1)⎣⎡24−2⎦⎤+2⎣⎡49−3⎦⎤+2⎣⎡−2−37⎦⎤=⎣⎡2810⎦⎤=b
如果要计算Ax每一个分量的值，就需要使用行形式，分量为关于A每一行的点积
( row i ) ⋅ x = a i 1 x 1 + a i 2 x 2 + ⋯ + a i n x n = ∑ j = 1 n a i j x j (\text{row}\ i)\cdot\mathbf{x}=a_{i_1}x_1+a_{i_2}x_2+\cdots+a_{i_n}x_n=\sum_{j=1}^n a_{ij}x_j (row i)⋅x=ai1x1+ai2x2+⋯+ainxn=j=1∑naijxj
The Matrix Form of One Elimination Step - 消元的矩阵表示
向量 b = ( 2 , 8 , 10 ) \mathbf{b}=(2,8,10) b=(2,8,10)，经过一次消元为 b new = ( 2 , 4 , 10 ) \mathbf{b}_{\text{new}}=(2,4,10) bnew=(2,4,10)，过程记为 b new = E b \mathbf{b}_{\text{new}}=\mathbf{Eb} bnew=Eb
这个过程可以表示为
[ 1 0 0 − 2 1 0 0 0 1 ] [ 2 8 10 ] = [ 2 4 10 ] [ 1 0 0 − 2 1 0 0 0 1 ] [ b 1 b 2 b 3 ] = [ b 1 b 2 − 2 b 1 b 3 ] \left[\begin{array}{rrr} {1} & {0} & {0} \\ {-2} & {1} & {0} \\ {0} & {0} & {1} \end{array}\right]\left[\begin{array}{l} {2} \\ {8} \\ {10} \end{array}\right]=\left[\begin{array}{r} {2} \\ {4} \\ {10} \end{array}\right] \quad\left[\begin{array}{rrr} {1} & {0} & {0} \\ {-2} & {1} & {0} \\ {0} & {0} & {1} \end{array}\right]\left[\begin{array}{l} {b_{1}} \\ {b_{2}} \\ {b_{3}} \end{array}\right]=\left[\begin{array}{c} {b_{1}} \\ {b_{2}-2 b_{1}} \\ {b_{3}} \end{array}\right] ⎣⎡1−20010001⎦⎤⎣⎡2810⎦⎤=⎣⎡2410⎦⎤⎣⎡1−20010001⎦⎤⎣⎡b1b2b3⎦⎤=⎣⎡b1b2−2b1b3⎦⎤
最左侧的便是消元矩阵，第一行以及第三行与单位矩阵相同，第二行表示从第二行减去第一行的2倍，记为 E 21 E_{21} E21
联系消元过程，对于原矩阵A，该消元矩阵的目的即为在A的（3，1）处生成一个0
即在这一步消元矩阵的作用下，得到 E A x = E b \mathbf{EAx=Eb} EAx=Eb
Matrix Multiplication - 矩阵乘法
如果是两个矩阵相乘，与矩阵乘上向量有什么不同
接上一部分内容，将矩阵E与A相乘，得到
E A = [ 1 0 0 − 2 1 0 0 0 1 ] [ 2 4 − 2 4 9 − 3 − 2 − 3 7 ] = [ 2 4 − 2 0 1 1 − 2 − 3 7 ] E A=\left[\begin{array}{rrr} {1} & {0} & {0} \\ {-2} & {1} & {0} \\ {0} & {0} & {1} \end{array}\right]\left[\begin{array}{rrr} {2} & {4} & {-2} \\ {4} & {9} & {-3} \\ {-2} & {-3} & {7} \end{array}\right]=\left[\begin{array}{rrr} {2} & {4} & {-2} \\ {0} & {1} & {1} \\ {-2} & {-3} & {7} \end{array}\right] EA=⎣⎡1−20010001⎦⎤⎣⎡24−249−3−2−37⎦⎤=⎣⎡20−241−3−217⎦⎤
观察到矩阵的第一行与第三行没有变化，第二行减去了第一行的二倍
矩阵的乘法与消元是一致的，新得到的方程组就是 E A x = E b \mathbf{EAx=Eb} EAx=Eb
注意无论是E乘上Ax，还是EA乘上x，意义是一样的，将向量x扩展到矩阵C，可得到结合律
A ( B C ) = ( A B ) C \mathbf{A(BC)=(AB)C} A(BC)=(AB)C
细看到矩阵AB的相乘，若B只有单独一列（b），这时EB的运算应当与Eb是一致的
进一步来说，我们可以将矩阵相乘EB的每一列单独运算，即
如果B有许多列 b 1 , b 2 , b 3 b_1,b_2,b_3 b1,b2,b3，那么EB的每一列就是 E b 1 , E b 2 , E b 3 Eb_1,Eb_2,Eb_3 Eb1,Eb2,Eb3
A B = A [ b 1 b 2 b 3 ] = [ A b 1 A b 2 A b 3 ] \mathbf{AB=A[b_1 \ b_2 \ b_3]=[Ab_1 \ Ab_2 \ Ab_3]} AB=A[b1 b2 b3]=[Ab1 Ab2 Ab3]
回到标题下的EA的相乘，若我们将矩阵E，只与A的第三列相乘，得到的就是EA的第三列的结果
虽然消元应用在行，但是这样的要求是针对列来展开的
The Matrix Pij for a Row Exchange - 置换矩阵
我们用Eij来表示从i行减去j行的指定倍数，若要表示行的交换，我们使用置换矩阵——Pij 来表示
当0位于主元位置的时候我们需要用到置换矩阵，置换矩阵由单位矩阵演变而来
例如，若是要交换2、3两行，则将单位矩阵的2、3两行交换即可得到置换矩阵P23
P 23 = [ 1 0 0 0 0 1 0 1 0 ] P_{23}=\begin{bmatrix}1 & 0 & 0 \\0 & 0 & 1 \\0 & 1 & 0\end{bmatrix} P23=⎣⎡100001010⎦⎤
其效果就是对向量或矩阵的行进行交换
[ 1 0 0 0 0 1 0 1 0 ] [ 1 3 5 ] = [ 1 5 3 ] and [ 1 0 0 0 0 1 0 1 0 ] [ 2 4 1 0 0 3 0 6 5 ] = [ 2 4 1 0 6 5 0 0 3 ] \left[\begin{array}{lll}{1} & {0} & {0} \\{0} & {0} & {1} \\{0} & {1} & {0}\end{array}\right]\left[\begin{array}{l}{1} \\\mathbf{{3}} \\\mathbf{{5}}\end{array}\right]=\left[\begin{array}{l}{1} \\\mathbf{{5}} \\\mathbf{{3}}\end{array}\right] \text { and }\left[\begin{array}{lll}{1} & {0} & {0} \\{0} & {0} & {1} \\{0} & {1} & {0}\end{array}\right]\left[\begin{array}{lll}{2} & {4} & {1} \\\mathbf{{0}} & \mathbf{{0}} & \mathbf{{3}} \\{0} & {6} & {5}\end{array}\right]=\left[\begin{array}{lll}{2} & {4} & {1} \\{0} & {6} & {5} \\\mathbf{{0}} & \mathbf{{0}} & \mathbf{{3}}\end{array}\right] ⎣⎡100001010⎦⎤⎣⎡135⎦⎤=⎣⎡153⎦⎤ and ⎣⎡100001010⎦⎤⎣⎡200406135⎦⎤=⎣⎡200460153⎦⎤
The Augmented Matrix - 增广矩阵
线性代数从消元开始，但又会慢慢上升到更高层次的东西
在消元的过程中，针对于A和b的消元步骤是一样的，因而我们可以同步进行
[ A b ] = [ 2 4 − 2 2 4 9 − 3 8 − 2 − 3 7 10 ] \begin{bmatrix}A & \mathbf{b}\end{bmatrix}= \begin{bmatrix}2 & 4 & -2 & \mathbf{2}\\ 4 & 9 & -3 & \mathbf{8}\\ -2 & -3 & 7 & \mathbf{10} \end{bmatrix} [Ab]=⎣⎡24−249−3−2−372810⎦⎤
当对矩阵 [ A b ] \begin{bmatrix}A & \mathbf{b}\end{bmatrix} [Ab]进行矩阵乘法操作E时，得到的结果为 [ E A E b ] \begin{bmatrix}EA & E\mathbf{b}\end{bmatrix} [EAEb]，
[ 1 0 0 − 2 1 0 0 0 1 ] [ 2 4 − 2 2 4 9 − 3 8 − 2 − 3 7 10 ] = [ 2 4 − 2 2 0 1 1 4 − 2 − 3 7 10 ] \left[\begin{array}{rrr}{1} & {0} & {0} \\{-2} & {1} & {0} \\{0} & {0} & {1}\end{array}\right]\left[\begin{array}{rrrr}{2} & {4} & {-2} & \mathbf{2} \\{4} & {9} & {-3} & \mathbf{8} \\{-2} & {-3} & {7} & \mathbf{10}\end{array}\right]=\left[\begin{array}{rrrr}{2} & {4} & {-2} & \mathbf{2} \\{0} & {1} & {1} & \mathbf{4} \\{-2} & {-3} & {7} & \mathbf{10}\end{array}\right] ⎣⎡1−20010001⎦⎤⎣⎡24−249−3−2−372810⎦⎤=⎣⎡20−241−3−2172410⎦⎤
总结：本节将消元的形式用过Ax=b的矩阵方式来表达，同时阐述了矩阵相乘的运算，置换矩阵和增广矩阵的概念