线代笔记Part 1 (Lecture 1 & 2)

线代笔记Part 1 (Lecture 1 & 2)

来自MIT OpenCourseWare由Gilbert Strang主讲的Linear Algebra讲座。视频地址在此。

该笔记主要用于帮助对线代知识体系的复习。其中添加了我个人的一些感悟。

Lecture 1

我们可以在笛卡尔平面直角坐标系上描绘出二元一次方程组的几何意义。比如对于
$$\{\begin{array}{llc}2x& -y& =0\\ -x& +2y& =3\end{array}$$
我们可以在直角坐标系中画出这两条直线。如此我们就能发现
$$\{\begin{array}{l}x=1\\ y=2\end{array}$$
就是这两条直线的交点，同时也是上述方程组的唯一解。

以上方程组的矩阵形式就是：
$$\left[\begin{array}{cc}2& -1\\ -1& 2\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]=\left[\begin{array}{c}0\\ 3\end{array}\right]$$
对于这一组矩阵的计算，我们有两种方式：一种是两次点积(dot product)叠在一起：
$$\left[\begin{array}{cc}2& -1\\ -1& 2\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]=\left[\begin{array}{c}{\left[\begin{array}{cc}2& -1\end{array}\right]}^T\cdot \left[\begin{array}{c}x\\ y\end{array}\right]\\ {\left[\begin{array}{cc}-1& 2\end{array}\right]}^T\cdot \left[\begin{array}{c}x\\ y\end{array}\right]\end{array}\right]$$
另一种就是视为两个二维列向量的线性组合：
$$\left[\begin{array}{cc}2& -1\\ -1& 2\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]=x\left[\begin{array}{c}2\\ -1\end{array}\right]+y\left[\begin{array}{c}-1\\ 2\end{array}\right]$$
类似的，对于三元一次方程组
$$\{\begin{array}{llcc}2x& -y& & =0\\ -x& +2y& -z& =-1\\ & -3y& +4z& =4\end{array}$$
我们可以规定$Ax=b$，其中
$$A=\left[\begin{array}{ccc}2& -1& 0\\ -1& 2& -1\\ 0& -3& 4\end{array}\right],b=\left[\begin{array}{c}0\\ -1\\ 4\end{array}\right]$$
在三维直角坐标系下我们可以画出这三个等式对应的三个平面。注意到这三个平面正好相交于一个点$(0,0,1)$，由此我们可以认定该点就是以上方程组的解。

但我们也注意到解并不总是存在的或唯一存在的。

假如变量的数量增加，比如九元一次方程组。对于这样的方程组，假如每个等式之间都是线性独立的，并且正好有9个这样的等式，那么我们能够求解。假如第9个等式正好是前8个等式的线性组合，那么我们不能求出类似的唯一解。

关于这些，未来的讲座会给予更多说明。

下一讲我们会介绍如何用消去法(elimination)去求解。

Lecture 2

对于这样一个3元1次等式组
$$\{\begin{array}{llcc}x& +2y& +z& =2\\ 3x& +8y& +z& =12\\ & +4y& +z& =2\end{array}$$
我们可以刻画一个$3\times 3$的矩阵
$$A=\left[\begin{array}{ccc}1& 2& 1\\ 3& 8& 1\\ 0& 4& 1\end{array}\right]$$
我们设定第1行第1列的元素$1$为pivot，并把pivot所在列的、pivot所在行以下的所有元素，都通过行与行的线性运算而消为0；这也就意味着我们要把第二行的所有元素都加上$-3$倍的第一行元素，于是就有
$$E_{21}A=\left[\begin{array}{ccc}1& 2& 1\\ 0& 2& -2\\ 0& 4& 1\end{array}\right]$$
这样，第2行第1列的元素就成功消为0，目标达成。由于第3行第1列的元素已经为0，所以对第三行我们暂时不需要额外处理。

接下来我们把第2行第2列的元素$2$设为pivot，把第3行第2列的元素给消去，于是得到
$$E_{32}{E}_{21}A=\left[\begin{array}{ccc}1& 2& 1\\ 0& 2& -2\\ 0& 0& 5\end{array}\right]$$
记第3行第3列的元素$5$为pivot，我们发现不需要再做任何操作了。以上就是消去法(elimination)的全部流程。然而我们还尚未考虑$b$。因此我们可以建立增广矩阵(augmented matrix) $\left[\begin{array}{c}A\mid b\end{array}\right]$ ，把之前的消去步骤原封不动地套到该增广矩阵上，于是就有
$$E_{32}{E}_{21}\left[\begin{array}{c}A\mid b\end{array}\right]=E_{32}{E}_{21}\left[\begin{array}{cccc}1& 2& 1& 2\\ 3& 8& 1& 12\\ 0& 4& 1& 2\end{array}\right]=E_{32}\left[\begin{array}{cccc}1& 2& 1& 2\\ 0& 2& -2& 6\\ 0& 4& 1& 2\end{array}\right]=\left[\begin{array}{cccc}1& 2& 1& 2\\ 0& 2& -2& 6\\ 0& 0& 5& -10\end{array}\right]$$
然后我们得到了以下方程组：
$$\{\begin{array}{llcc}x& +2y& +z& =2\\ & 2y& -2z& =6\\ & & 5z& =-10\end{array}$$
最后通过逆向代换(back substitution)，我们依次计算$z$、$y$、$x$的值，得到了
$$\{\begin{array}{l}x=2\\ y=1\\ z=-2\end{array}$$
这样一个唯一解。

然而我们在这里还没具体分析以上的消去步骤究竟是如何实现的。为了展开这一点，我们有必要具体展开分析矩阵乘法的计算过程。比如对于以下乘法，我们的计算方式是：
$$\left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right]\left[\begin{array}{c}3\\ 4\\ 5\end{array}\right]=3\left[\begin{array}{c}{a}_{11}\\ a_{21}\\ a_{31}\end{array}\right]+4\left[\begin{array}{c}{a}_{12}\\ a_{22}\\ a_{32}\end{array}\right]+5\left[\begin{array}{c}{a}_{13}\\ a_{23}\\ a_{33}\end{array}\right]=\left[\begin{array}{c}\text{sum}(3a_{11},4a_{12},5a_{13})\\ \text{sum}(3a_{21},4a_{22},5a_{23})\\ \text{sum}(3a_{31},4a_{32},5a_{33})\end{array}\right]$$
最后结果是一个$3\times 1$形状的矩阵。也就是说，当我们在矩阵$A$的右边乘上列向量$b$时，我们是在对$A$的列向量进行线性组合（也可以说是对$A$的每一列元素乘上$b$里每个分量的数值，然后对$A$按列求和）。

类似的，对于以下乘法，我们的计算则变成
$$\left[\begin{array}{ccc}1& 2& 7\end{array}\right]\left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right]=1{\left[\begin{array}{c}{a}_{11}\\ a_{12}\\ a_{13}\end{array}\right]}^T+2{\left[\begin{array}{c}{a}_{21}\\ a_{22}\\ a_{23}\end{array}\right]}^T+7{\left[\begin{array}{c}{a}_{31}\\ a_{32}\\ a_{33}\end{array}\right]}^T={\left[\begin{array}{c}\text{sum}(1a_{11}+2a_{21}+7a_{31})\\ \text{sum}(1a_{12}+2a_{22}+7a_{32})\\ \text{sum}(1a_{13}+2a_{23}+7a_{33})\end{array}\right]}^T$$
最后结果是一个$1\times 3$形状的矩阵。也就是说在矩阵$A$的左边乘上一个行向量$c$时，我们是在对$A$的行向量进行线性组合（也可以说是对$A$的每一行元素乘以$c$的每个分量的数值，然后对$A$按行求和）。

总结起来就是，对矩阵的右乘意味着对列向量做线性组合，也意味着对该矩阵按列分配系数再求和（消除列方向的维度而保存其它方向的维度）；对矩阵的左乘意味着对行向量做线性组合，也意味着对该矩阵按行分配系数再求和（消除行方向的维度而保存其它方向的维度）。

由此我们能够明白，因为$E_{21}$旨在把第二行改写为把第二行的所有元素都加上−3倍的第一行元素，所以
$$E_{21}=\left[\begin{array}{ccc}1& 0& 0\\ -3& 1& 0\\ 0& 0& 1\end{array}\right]$$
而$E_{32}$旨在把第三行改写为第三行所有元素加上$-2$倍的第二行元素，所以
$$E_{32}=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& -2& 1\end{array}\right]$$
通过引入置换矩阵(permutation matrix)，我们很容易理解为什么交换律在矩阵乘法中不成立。比如对于
$$P=\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]$$
如果我们想要交换两行的元素，得到
$$P_r=\left[\begin{array}{cc}c& d\\ a& b\end{array}\right]$$
那么我们只要对P左乘一个特定的矩阵就可以了：
$$\left[\begin{array}{cc}0& 1\\ 1& 0\end{array}\right]\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]=\left[\begin{array}{cc}c& d\\ a& b\end{array}\right]$$
但若我们想要交换两列的元素，得到
$$P_c=\left[\begin{array}{cc}b& a\\ d& c\end{array}\right]$$
我们必须对P右乘一个矩阵才能实现：
$$\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]\left[\begin{array}{cc}0& 1\\ 1& 0\end{array}\right]=\left[\begin{array}{cc}b& a\\ d& c\end{array}\right]$$
交换律确实不成立。

消去的步骤是可以被抵消的。比如对于
$$E_{21}=\left[\begin{array}{ccc}1& 0& 0\\ -3& 1& 0\\ 0& 0& 1\end{array}\right]$$
我们如何设置$E_{21}^{-1}$，使得
$$E_{21}^{-1}{E}_{21}=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]$$
能够成立呢？显然，
$$\left[\begin{array}{ccc}1& 0& 0\\ 3& 1& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ -3& 1& 0\\ 0& 0& 1\end{array}\right]=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]$$
因此
$$E_{21}^{-1}=\left[\begin{array}{ccc}1& 0& 0\\ 3& 1& 0\\ 0& 0& 1\end{array}\right]$$
就是$E_{21}$的逆矩阵(inverse matrix)。但我们也要知道不是任何一个矩阵都拥有其逆矩阵。

以下展示了基于python中的numpy软件包而展示的矩阵乘法的过程：

import numpy as np
A=np.array([
    [1,2,3],
    [4,5,6],
    [7,8,9]
])
b=np.array([
    [3],[5],[7]
])
c=np.array([
    [2,4,8]
])
print(f"Shape of A:{A.shape}, b:{b.shape}, c:{c.shape}.")

由此我们得到了结果：

Shape of A:(3, 3), b:(3, 1), c:(1, 3).

接下来我要计算$Ab$的值，并对比它和按列求和的结果。首先我把$A$的每一列元素分别乘以3、5、7，这样能得到一个新的$3\times 3$矩阵。

aug_A_by_col=A*[3,5,7] # assign coefficients to each column
aug_A_by_col

array([[ 3, 10, 21],
       [12, 25, 42],
       [21, 40, 63]])

接着我对这个新矩阵按列求和。

np.sum(aug_A_by_col,axis=1,keepdims=True)

array([[ 34],
       [ 79],
       [124]])

再比较它和矩阵乘法$Ab$的结果。

np.matmul(A,b)

array([[ 34],
       [ 79],
       [124]])

可以看到两者确实是一致的。

接下来我把$A$的每一行元素分别乘以2、4、8，这样能得到另一个新的$3\times 3$矩阵。

aug_A_by_row=[[2],[4],[8]]*A # assign coefficients to each row
aug_A_by_row

array([[ 2,  4,  6],
       [16, 20, 24],
       [56, 64, 72]])

接着我对这个新矩阵按行求和。

np.sum(aug_A_by_row,axis=0,keepdims=True)

array([[ 74,  88, 102]])

再比较其和矩阵乘法$cA$的结果。

np.matmul(c,A)

array([[ 74,  88, 102]])

可以看到两者确实是一致的。