浅谈向量空间

以前学线性代数的时候，总是被各种各样的定义和概念搞得晕头转向，现在接触机器学习多了，发现有些概念比如投影，空间，以及子空间经常出现，最近自己又重新翻了一下 MIT 的那边 线性代数导论，重新学习了一下这些概念。

线性代数是研究向量和矩阵的一门数学，矩阵也是向量构成的，所以线性代数主要是研究向量，向量空间以及向量线性组合性质的一门科学。

向量空间

我们很早就接触到了向量这个东西，向量也称为矢量，是一种有方向，有数值大小的一种数值表示。我们知道向量有几种基本的运算，向量加法，就是向量里的每一个分量对应相加，向量与一个标量相乘，就是向量里的每一个分量与该标量相乘：
比如两个维度为 n n 的向量相加，可以得到：
u+v=(u1+v1,u2+v2,...un+vn) u + v = ( u 1 + v 1 , u 2 + v 2 , . . . u n + v n )
或者，一个维度为 n n 的向量与一个标量 k k 相乘，可以得到：
ku=(ku1,ku2,...,kun) k u = ( k u 1 , k u 2 , . . . , k u n )

定义了这两种运算之后，我们可以就定义一个向量空间，在定义向量空间之前，我们先来探讨一下空间的定义，网上有人总结的很好，在我们的现实世界里，三维空间就是我们非常熟悉的一个空间，从数学上说，这是一个三维的欧几里德空间，我们先不管 那么多，先看看我们熟悉的这样一个空间有些什么最基本的特点。仔细想想我们就会知道，这个三维的空间：

• 1: 由很多（实际上是无穷多个）位置点组成；
• 2: 这些点之间存在相对的关系；
• 3: 可以在空间中定义长度、角度；
• 4: 这个空间可以容纳运动，这里我们所说的运动是从一个点到另一个点的移动（变换），而不是微积分意义上的“连续”性的运动，

上面的这些性质中，最最关键的是第4条。第1、2条只能说是空间的基础，不算是空间特有的性质，凡是讨论数学问题，都得有一个集合，大多数还得在这 个集合上定义一些结构（关系），并不是说有了这些就算是空间。而第3条太特殊，其他的空间不需要具备，更不是关键的性质。只有第4条是空间的本质，也就是说，

• 容纳运动是空间的本质特征。

认识到了这些，我们就可以把我们关于三维空间的认识扩展到其他的空间。事实上，不管是什么空间，都必须容纳和支持在其中发生的符合规则的运动（变换）。你会发现，在某种空间中往往会存在一种相对应的变换，比如拓扑空间中有拓扑变换，线性空间中有线性变换，仿射空间中有仿射变换，其实这些变换都只不过是对应空间中允许的运动形式而已。因此只要知道，

• “空间”是容纳运动的一个对象集合，而变换则规定了对应空间的运动。

我觉得这个概括非常好，如果把向量看成是空间中的一个个点，那么向量的变换就是这个点在空间中的运动。所以说，向量空间也是一个集合，这个集合对向量的加法和数乘是封闭的，也就是说，只要向量在这个空间内，那么向量按照加法和数乘的方式运动，就会一直在这个空间里。所以，对加法和数乘运算封闭的向量空间也称为线性空间。

定义了向量空间之后，我们来看看最常见的一种向量空间， Rn R n 这个定义了一个维度为 n n 的实向量空间，就是所有维度为 n n 的实向量的集合，当 n=2 n = 2 ，就是我们所说的二维空间，也就是我们常见的平面，当 n=3 n = 3 ，就是常见的三维立体的空间，这个空间可以看成是所有向量的一个集合。很容易可以看出，如果有任意两个向量 u,v u , v 在向量空间里，那么 u+v u + v 必然也在这个空间里，而且 cu c u 同样也是在这个空间里。

向量子空间

定义了向量空间之后，我们接下来看看向量子空间，我们还是以常见的向量空间 Rn R n 为例，我们知道， Rn R n 包含了所有维度为 n n 的实向量，但是有的时候，我们可能不需要考虑所有的 n n 维实向量，我们只需要考虑一部分的 n n 维实向量，那么这一部分实向量构成的集合或者空间，就称为向量子空间。向量子空间可以看成是向量空间中的一个子集，但是子集本身也是封闭的，也就是说，如果有任意两个向量 u,v u , v 在子空间里，那么 u+v u + v 必然也在这个子空间里，而且 cu c u 同样也是在这个子空间里。因为要满足数乘封闭，所以 0 0 向量必然包含在子空间里，所有的子空间都应该包括 0 0 向量，以常见的三维空间 R3 R 3 为例， 0 0 向量本身肯定是一个子空间，过原点的一条直线，或者一个平面都是一个子空间，当然三维空间本身也可以看成是一个子空间，所以，三维空间可以存在四种子空间：

• 0 0 向量
• 过原点的直线
• 过原点的平面
• 三维空间本身

所以概括来说，向量空间是向量的集合，而向量子空间，就是这个集合中的子集，无论向量空间还是子空间，都满足向量加法和数乘的封闭性。