MIT18.06线性代数课程笔记10：column space、row space、null space、left null space

课程简介

18.06是Gilbert Strang教授在MIT开的线性代数公开课，课程视频以及相关资料请见https://ocw.mit.edu/courses/mathematics/18-06-linear-algebra-spring-2010/index.htm。

课程笔记

此部分讨论了矩阵四个基本子空间的定义、性质以及求解方法。

1. 定义

关于column space和null space的定义请参考 MIT18.06线性代数课程笔记6：vector space，subspace，column space，null space，简单的说column space是矩阵 A 所有列向量的线性组合，即span；而null space是所有满足 Ax=0 的 x 的集合。

由此推出row space和null space的定义也十分简单：row space就是 C(AT) ，而left null space则为 N(AT) 。row space的实际意义即为所有行向量的线性组合；而left null space则为所有满足 xTA=0T 的 x 的集合。

2. 性质

首先四个子空间都是大空间的subspace，第一个性质就是讨论各自所在的大空间，完全由集合内部元素的维度限制。设 A 是 n×m 的矩阵，则有 C(A)∈Rn,N(A)∈Rm,C(AT)∈Rm,N(AT)∈Rn 。可以发现column space 和left null space位于同一大空间内，而row space和null space 位于同一大空间内。通常对矩阵 A 的四大子空间作图时采用如下形式：

然后讨论四个空间的维度，由之前的内容可知 Dim(C(A))=r(A) , Dim(N(A))=m−r(A) 。对于row space，结论是类似的 Dim(R(A))=Dim(C(AT))=r(AT)=r(A) , Dim(N(AT))=n−r(A) 。容易发现，row space和null space（同在 Rm 的两个子空间）的维度加和为 m ；相似的，column space和left null space（同在 Rn 的两个子空间）的维度加和为 n 。

笔者注：笔者不记得Strang给出过 Dim(C(A))=r(A) 的严格证明，这里尝试说明一下。实际上仍然使用的是行变换矩阵 E 和 P 的可逆性，设对 A 做消元回代得到 EA=R ，其中 E 是多个行变换矩阵的乘积，仍然是方阵且可逆。那么在 R 为free column的 rf ，容易发现可以表示为所有的pivot column [rp1,rp2,⋯,rpi] 的线性组合，即 ∃c,[rp1,rp2,⋯,rpi]c=rf 。因为 Eai=ri ，所以有 ∃c,E[ap1,ap2,⋯,api]c=Eaf ，因为 E 可逆，所以 ∃c,[ap1,ap2,⋯,api]c=af 。即free column可以表示所有pivot column的线性组合在 A 中仍然成立。至于 Dim(N(A))=m−r(A) ，则是受限于free column的数量，若另外存在某个向量 x∉N(A),Ax=0 ，这里的 N(A) 是所有 m−r(A) 个 xp 的span，(而 xp 的计算请参考 MIT18.06线性代数课程笔记7：使用消元法求解Null space)。若 x∉N(A) ，则有 { x}∪N(A) 的span包含有所有free column对应位置设为0，某个pivot column仍然不设为0的向量，从而推出pivot column之间线性相关。而 A 中的pivot column线性相关可以推出 R 中对应的pivot column线性相关，但是通过主元pivot的定义可知 R 中的pivot column线性无关。从而 Dim(N(A))=m−r(A) 。

3. 计算四个子空间的基向量

如上所述， C(A) 的基向量即为 A 的所有pivot column，证明很简单，因为所有free column可以表示为pivot column的线性组合。而 N(A) 的基向量为所有的 xp 。

至于row space和left null space，一个直观的想法是同样求解 AT ，但这样就需要做两次消元。Strang给出了只做一次消元的方法，主要基于消元矩阵的性质。

首先回顾消元法，使得notation更加明确，即对 A 做行变换等价于左乘一个可逆的方阵 E ，最终得到矩阵 R=EA 具有性质 ∃Pc,RPc=[I,F0] ，其中 Pc 是置换列向量位置的矩阵（类似于permutation matrix的转置，详情参看 MIT18.06线性代数课程笔记4b：打乱矩阵集合及相关性质 ），并不增减或者修改元素， I 是单位阵， F 是free column的表示， 0 表示全零的方阵。

那么第一个结论就是 R 的前 r 个行向量即为row space的基向量。证明非常简单，只需要证明这 r 个向量的span是row space即可。而我们已知 E−1R=A ，即 AT=RT(ET)−1 ，进而 ∀x,ATx=RT((ET)−1x) ，即 C(AT)=C(RT) 。从证明过程中，我们也发现对矩阵做行变换，并没有改变矩阵的row space；对比column space，则相反（随机生成一个矩阵，然后比较 C(A) 和 C(R) 即可，应该绝大多数都不相等）。这个结论做个转置可以得到对矩阵做列变换不改变column space，但是改变row space。至于线性无关性可以从数量 r 或者存在单位阵 I 中容易看出。

对于left null space的基向量，需要一些小trick。首先观察left null space中包含哪些向量， xTA=0T ，即对 A 的行向量做行变换得到零向量的系数向量。观察消元结果 EA=[R′0] ，有 E 的后 n−r(A) 个行向量均位于left null space中。至于线性无关性，则是基于$E$为可逆方阵得出。