漫步线性代数八——向量空间和子空间

消元简化了线性方程组 Ax=b ，幸运的是它也简化了理论。存在性和唯一性的基本问题(一个解或没有解或无穷多个解)在消去之后很容易回答，我们现在就针对 m×n 系统讨论这些问题。

但消去只有得到了一种 Ax=b 的一种理解，我们的主要目标是实现不同和更深层次的理解，之后的内容比之前的难一点，它将通向线性代数的核心。

为了给出向量空间的概念，我们首先介绍一下最重要的空间，他们用 R1,R2,R3,… 表示； Rn 空间由 n 个列向量组成。(我们用 R 表示元素都是实数) R2 通常用 x−y 平面来表示；向量的元素变成对应点的 x,y 坐标， R3 空间中的向量有三个元素，他们确定的点位于三维空间里，而一维空间 R1 是一条线。

线性代数有价值的就是到 n 维空间的扩展非常直接，对于 R7 中的向量，我们只需要七个元素，虽然几何上很难可视化。在所有的向量空间内，下面两种操作都是可能的：

我们可以将任意两个向量相加，我们可以用标量和向量相乘。换句话说，我们可以进行线性组合。

加法满足交换律 x+y=y+x ；有零向量满足 0+x=x ；有负向量 −x 满足 −x+x=0 。八条性质(包括这三条)是基本要求；(这里没有列出其余五条，大家可以上网查找或给博主留言)实向量空间就是满足向量加法和实数乘法的向量集合，加法和乘法得到的向量肯定还在空间内，并且还得满足八个条件。

一般情况我们讨论的向量都是属于空间 Rn 的；他们是普通的列向量。如果 x=(1,0,0,3) ，那么 2x(x+x) 的元素就是2,0,0,6。下面我们给出是三个例子：

1. 无限维空间 R∞ ，它的向量有无限多个元素，就像 x=(1,2,1,2,…) ， x+y,cx 法则依然成立。
2. 3×2 矩阵的空间，这种情况下向量就是矩阵！我们能够将两个矩阵相加并且 A+B=B+A ，存在零矩阵等等，这个空间几乎和 R6 一样。(六个元素组织在矩阵里而不是一列)对于任何 m,n ，类似的将得到 m×n 矩阵的向量空间。
3. 函数 f(x) 空间，对于任何定义在闭区间上例如 0≤x≤1 的函数 f ，都属于该空间。像 f(x)=x2,g(x)=sinx,(f+g)(x)=x2+sinx,3x2,−sinx 等等，这些向量是函数，它的维数比 R∞ 还要大

我们想描述向量空间并解释为什么他们如此重要。几何上，考虑常见的三维 R3 并任意选择一个通过原点的平面，那个平面是一个向量空间，如果我们用3 或-3或任何一个数乘以平面里的一个向量，得到的向量依然在这个平面内。如果我们将平面内的两个向量相加，他们的和依然在平面内，平面通过 (0,0,0) 说明了线性代数最基本想法中的一个；它是原空间 R3 的子空间。

定义：向量空间的子空间是非空子集，它满足线性空间的要求：线性组合。

1. 如果将子空间里的任意向量 x,y 相加， x+y 在子空间内。
2. 如果将子空间里的任意向量 x 和任意标量 c 相乘， cx 在子空间内。

注意我们强调空间这个词，子空间是一个子集，它对加法和标量乘法封闭。这些操作跟随主空间的规则，在子空间内部依然保持，八条性质更大的空间都是满足的，因此在每个子空间里自动满足。特别需要注意的是零向量属于每一个子空间，因为根据第二条性质：我们选择标量 c=0 。

最小的子空间 Z 只包含一个向量，那就是零向量，它是零维空间只包含原点，对规则1,2都满足，因为 0+0 在这个空间里，所有 c0 也在这个空间里，最小空间不能为空所以这既是最小的向量空间。另一个极端情况是，最大的子空间是原始空间，如果原空间是 R3 ，那么可能的子空间为： R3 本身，任何通过原点的平面，任何通过原点的线或单独一个原点(零向量)。

子空间和子集合是有区别的，在没有空间的前提下能够进行向量加法和标量乘法吗？

例1：考虑 R2 中的所有元素为非负的向量，这个子集合是 x−y 平面的第一象限；坐标满足 x≥0,y≥0 。但它不是一个子空间，虽然它包含零并且向量加法都在空间内，但是法则2不满足，因为如果标量-1乘以向量 [1,1] 的话，结果为 [−1,−1] ，它在第三象限而不是第一象限。

如果我们包含一三象限，那么标量乘法也满足。然而，法则1 将不满足，因为 [1,2]+[−2,−1]=[−1,1] 不在这两个象限内。包含第一象限最小的子空间是整个 R2 空间。

例2：从 3×3 矩阵空间开始，一个可能的子空间是下三角矩阵的集合，另一个是对称矩阵的集合，如果 A,B 是下三角矩阵，那么 A+B,cA 是下三角矩阵，如果 A,B 是对称矩阵，那么 A+B,cA 是对称矩阵。当然，子矩阵都在这两个子空间里。

矩阵的列空间

现在我们看一个比较关键的例子，矩阵 A 的列空间和零空间。列空间包含矩阵 A 列的所有线性组合，它是 R3 的子空间，我们用一个 m=3,n=2 的系统来说明：

⎡⎣⎢152044⎤⎦⎥[uv]=⎡⎣⎢b1b2b3⎤⎦⎥(1)

当 m>n 时我们的方程个数比未知量要多(通常情况下这没有解)，这个系统只对一小部分 b 有解。

1、对于 Ax=b ，当且仅当 b 可以表示为 A 列的线性组合是它才有解，此时 b 在其列空间里。

这段描述只是从列的角度重述了 Ax=b ：

u⎡⎣⎢152⎤⎦⎥+v⎡⎣⎢044⎤⎦⎥=⎡⎣⎢b1b2b3⎤⎦⎥

注意问题是：找出 u,v 使得他们乘以第一和第二列得到 b ，当这样的系数存在时该系统才有解，向量 (u,v) 就是解 x 。

我们有效的 b 是 A 列的线性组合，一种可能是第一列，此时 u=1,v=0 ，另一种可能是第二列，此时 u=0,v=1 ，第三种可能是 b=0 ，此时 u=0,v=0 。

我们可以从几何上描述列的所有线性组合：对于 Ax=b ，当且仅当 b 位于两个列向量确定的平面上(图1)时它是有解的。如果 b 位于平面外，那么就不在两列的组合，也就是 Ax=b 无解。

重要的是，这个平面不仅仅是 R3 的子集合，它还是一个子空间。我们用 C(A) 表示， Rm 的子空间很容易检查是否满足规则1和2：

1. 列假设 b,b′ 位于列空间上，也就是存在 x,x′ 使得 Ax=b,Ax′=b′ ，那么 A(x+x′)=b+b′ ，所以 b+b′ 也是列的线性组合，所以列空间对加法是封闭的。
2. 如果 b 在列空间 C(A) 里，那么 cb 也在里面。如果某个列的组合( Ax=b )得到 b ，那么组合乘以 c 将得到 cb ，也就是说 A(cx)=cb 。
   
   
   图1
   
   对于另一个矩阵 A ，图1中的维数可能不同，最小的列空间是 A=0 ，唯一的列组合是 b=0 。另一个极端的例子是，假设 A 是 5×5 单位矩阵，那么 C(I) 就是整个 R5 空间； I 的五个列空间可以组合出任何五维向量 b ，这不是单位矩阵特有的，任何 5×5 的非奇异矩阵它的列空间都是整个 R5 空间，对于这样的矩阵我们可以用高斯消元法求解 Ax=b ；有五个主元，因此对每个非奇异矩阵， b 都位于 C(A) 中。

对于奇异矩阵和任何形状的长方形矩阵， C(A) 是位于零空间和 Rm 空间之间的，结合它的垂直空间我们能够更好的理解 Ax=b 。

零空间

Ax=b 的第二个方法与第一个是对偶的，我们现在不仅关注右边的 b ，也关注一下得到的解 x 。当右边为0时，肯定存在解 x=0 ，但是有可能有许多其他解。(如果未知数个数大于方程个数，那么一定存在非零解) Ax=0 的解形成了一个向量空间- A 的零空间。

矩阵的零空间由所有 Ax=0 的向量 x 组成，用 N(A) 表示，它是 Rn 的子集合，就像列空间是 Rm 子集合一样。

规则1满足：如果 Ax=0，Ax′=0 ，那么 A(x+x′)=0 。规则2也满足：如果 Ax=0 ，那么 A(cx)=0 。如果右边非零的话，规则就都不满足！只有齐次方程的解形成了子空间。上面的例子很容易求出零空间；它尽可能的小：

⎡⎣⎢152044⎤⎦⎥[uv]=⎡⎣⎢000⎤⎦⎥

第一个方程给出 u=0 ，第二个给出 v=0 ，零空间只包含向量 (0,0) ，这个矩阵列是相互独立的——这个概念不久就给出。

当第三列是前两列的组合式，情况就发生了变化：

B=⎡⎣⎢152044196⎤⎦⎥

B 和 A 有同样的列数，从图1可以看出新的列位于平面内；它是前两个向量之和。但是 B 的零空间包含向量 (1,1,−1) ，所以自动包含任何乘数对应的 (c,c,c) ：

⎡⎣⎢152044196⎤⎦⎥[cc−c]=⎡⎣⎢000⎤⎦⎥

B 的零空间是所有点 x=c,y=c,z=−c 组成的线(这条线通过原点，就像任何子空间必须满足的那样)，对于 Ax=b ，我们能够求出 C(A),N(A) ：所有有效的 b 和 Ax=0 的解。

向量 b 在列空间里，向量 x 在零空间里，我们将计算这些子空间的维度以及生成他们的向量集合。我希望最后大家能够理解四个和 A 相关的子空间——列空间，零空间以及与他们两个垂直的空间。