【机器学习的数学基础】（二）线性代数(Linear Algebra)（中）

2 线性代数(Linear Algebra)（中）

2.4 向量空间

到目前为止，我们已经了解了线性方程组以及如何求解它们(2.3节)。我们看到线性方程组可以用矩阵-向量表示法来表示。下面，我们将更深入地了解向量空间，即向量所在的结构化空间。

在本章的开头，我们非正式地将向量描述为相加并乘以标量后，仍然是相同类型的对象。现在，我们准备将其形式化，我们将首先介绍群的概念，它包含一组元素和一个定义在这些元素上的操作，该操作可以保持集合的某些结构完整。

2.4.1 群

群在计算机科学中扮演着重要的角色。除了为集合上的运算提供一个基本框架外，它们还被大量应用于密码学、编码理论和图形学。

定义 2.7 群

考虑一个集合$\mathcal{G}$和一个定义在$\mathcal{G}$上的运算$\otimes :\mathcal{G}\times \mathcal{G}\to \mathcal{G}$。如果下列条件成立，则$G:=(\mathcal{G},\otimes )$称为群(group)：

• 1 $\mathcal{G}$在$\otimes$运算下的封闭性(Closure)：$\forall x,y\in \mathcal{G}:x\otimes y\in \mathcal{G}$
• 2 结合律(Associativity)：$\forall x,y,z\in \mathcal{G}:(x\otimes y)\otimes z=x\otimes (y\otimes z)$
• 3 单位元(Neutral elemen)：$\exists e\in \mathcal{G}\forall x\in \mathcal{G}:x\otimes e=x\text{ and }e\otimes x=x$
• 4 逆元(Inverse element)：$\forall x\in \mathcal{G}\exists y\in \mathcal{G}:x\otimes y=e\text{ and }y\otimes x=e$，其中$e$是单位元。我们经常写$x^{-1}$来表示$x$的逆元。

备注：

逆元是针对运算$\otimes$定义的，并不一定意味着逆元一定是$\frac{1}{x}$

另外，$\forall x,y\in \mathcal{G}:x\otimes y=y\otimes x$, 那么$G=(\mathcal{G},\otimes )$是阿贝尔群( Abelian group,即可交换运算顺序的)。

例 2.10群

$\mathbb{Z}$：整数；${\mathrm{N}}_0$：自然数；$\mathbb{R}$：实数。$\mathbb{C}$：复数

让我们看一些具有相关操作的集合示例，判断它们是否为群：

• $(\mathbb{Z},+)$是一个阿贝尔群。

• $({\mathrm{N}}_0,+)$不是一个群：虽然$({\mathrm{N}}_0,+)$有一个单位元，但是缺少逆元。

• $(\mathbb{Z},\cdot )$不是群：虽然$(\mathbb{Z},\cdot )$包含一个单位元（1），但是任何$z\in \mathbb{Z},z\ne \pm 1$的逆元都不是整数。

• $(\mathbb{R},\cdot )$不是群，因为0不具有逆元。

• $(\mathbb{R}\backslash \{0\},\cdot )$是阿贝尔群。

• $\left({\mathbb{R}}^n,+\right),\left({\mathbb{Z}}^n,+\right),n\in \mathbb{N}$是阿贝尔群，前提是$+$是按分量定义的，即：
  $$\left(x_1,\cdots ,x_n\right)+\left(y_1,\cdots ,y_n\right)=\left(x_1+y_1,\cdots ,x_n+y_n\right)$$
  ${\left(x_1,\cdots ,x_n\right)}^{-1}:=\left(-x_1,\cdots ,-x_n\right)$为逆元，$e=(0,\cdots ,0)$为单位元。

• $\left({\mathbb{R}}^{m\times n},+\right)$，$m\times n$-矩阵集是阿贝尔群（前提是具有上面例子一样的分量加法）。

• 让我们仔细看看$\left({\mathbb{R}}^{n\times n},\cdot \right)$，即前文定义的具有矩阵乘法的$n\times n$-矩阵集。
  – 封闭性和结合性直接来自于矩阵乘法的定义。
  – 单位元：单位矩阵${\mathbf{I}}_n$
  – 逆元：如果$\mathbf{A}$的逆存在（$\mathbf{A}$是正则的），那么${\mathbf{A}}^{-1}$就是$\mathbf{A}\in {\mathbb{R}}^{n\times n}$的逆元，在这种情况下$\left({\mathbb{R}}^{n\times n},\cdot \right)$就是一个群，称为一般线性群(general linear group)。

定义 2.8一般线性群

正则（可逆）矩阵集$\mathbf{A}\in {\mathbb{R}}^{n\times n}$关于矩阵乘法的群，称为一般线性群$GL(n,\mathbb{R})$。然而，由于矩阵乘法是不可交换的，所以该群不是阿贝尔群。

2.4.2 向量空间

当我们讨论群时，我们研究了集合$\mathcal{G}$的内部运算，即$\mathcal{G}$内部元素运算的映射$\mathcal{G}\times \mathcal{G}\to \mathcal{G}$。在下面，我们将考虑除了内部运算( inner operation)“$+$”外的外部运算(outer operation)“$\cdot$”：向量$x\in \mathcal{G}$乘以一个标量$\lambda \in \mathbb{R}$。我们可以把内部运算看作是加法的形式，外部运算看作是缩放的形式。请注意，内部/外部操作与内积/外积无关。

定义 2.9向量空间

实值向量空间(Vector Space)$V=(\mathcal{V},+,\cdot )$是一个有两类运算的集合$\mathcal{V}$

$+:\mathcal{V}\times \mathcal{V}\to \mathcal{V}$
$\cdot :\mathbb{R}\times \mathcal{V}\to \mathcal{V}$

其中

1 $(\mathcal{V},+)$是阿贝尔群

2 分配律：

$\forall \lambda \in \mathbb{R},\mathbf{x},\mathbf{y}\in \mathcal{V}:\lambda \cdot (\mathbf{x}+\mathbf{y})=\lambda \cdot \mathbf{x}+\lambda \cdot \mathbf{y}$
$\forall \lambda ,\psi \in \mathbb{R},\mathbf{x}\in \mathcal{V}:(\lambda +\psi )\cdot \mathbf{x}=\lambda \cdot \mathbf{x}+\psi \cdot \mathbf{x}$

3 结合律（外部操作）：$\forall \lambda ,\psi \in \mathbb{R},\mathbf{x}\in \mathcal{V}:\lambda \cdot (\psi \cdot \mathbf{x})=(\lambda \psi )\cdot \mathbf{x}$

4 关于外部操作的单位元：$\forall \mathbf{x}\in \mathcal{V}:1\cdot \mathbf{x}=\mathbf{x}$

元素$\mathbf{x}\in V$称为向量。$(\mathcal{V},+)$的单位元是零向量$0=[0,\dots ,0{]}^{\top }$，内部运算$+$称为向量加法(vector addition)。元素$\lambda \in \mathbb{R}$称为标量(scalars)，外部运算“$\cdot$”是被标量乘(multiplication by scalars)。注意标量积( scalar product)与这是不同的，这在3.2节中会讲。

备注：

“向量乘法(vector multiplication)”$\mathbf{a}\mathbf{b},\mathbf{a},\mathbf{b}\in {\mathbb{R}}^n$是没有定义的。理论上，我们可以定义一个按元素的乘法，比如$\mathbf{c}=\mathbf{a}\mathbf{b}$，其中$c_j=a_j{b}_j$。这种“数组乘法(array multiplication)”在许多编程语言中都很常见，但这使得用矩阵乘法的标准规则在数学意义上有限：通过将向量视为$n\times 1$矩阵（我们通常这样做），我们可以使用2.3节定义的矩阵乘法进行运算。可这样的话，向量与向量直接相乘的维数却不匹配。仅以下向量乘法有定义：$\mathbf{a}{\mathbf{b}}^{\top }\in {\mathbb{R}}^{n\times n}$（外积,outer product），${\mathbf{a}}^{\top }\mathbf{b}\in \mathbb{R}$（内积/标量积/点积inner/scalar/dot product）

例 2.11 向量空间

让我们看看一些重要的例子：

• $\mathcal{V}={\mathbb{R}}^n,n\in \mathbb{N}$是一个向量空间，其运算定义如下：
  – 相加：对于所有$\mathbf{x},\mathbf{y}\in {\mathbb{R}}^n$，$\mathbf{x}+\mathbf{y}=\left(x_1,\dots ,x_n\right)+\left(y_1,\dots ,y_n\right)=\left(x_1+y_1,\dots ,x_n+y_n\right)$
  – 与标量相乘：对于所有$\lambda \in \mathbb{R},\mathbf{x}\in {\mathbb{R}}^n$，$\lambda \mathbf{x}=\lambda \left(x_1,\dots ,x_n\right)=\left(\lambda x_1,\dots ,\lambda x_n\right)$

• $\mathcal{V}={\mathbb{R}}^{m\times n},m,n\in \mathbb{N}$是一个向量空间
  – 相加：对于$A,B\in \mathcal{V}$逐元素相加$\mathbf{A}+\mathbf{B}=\left[\begin{array}{ccc}{a}_{11}+b_{11}& \cdots & a_{1n}+b_{1n}\\ ⋮& & ⋮\\ a_{m1}+b_{m1}& \cdots & a_{mn}+b_{mn}\end{array}\right]$
  – 与标量相乘：$\lambda \mathbf{A}=\left[\begin{array}{ccc}\lambda a_{11}& \cdots & \lambda a_{1n}\\ ⋮& & ⋮\\ \lambda a_{m1}& \cdots & \lambda a_{mn}\end{array}\right]$，记住${\mathbb{R}}^{m\times n}$相当于${\mathbb{R}}^{mn}$。

• $\mathcal{V}=\mathbb{C}$也是一个向量空间。

备注：

在下面，当$+$和$\cdot$是标准向量加法和标量乘法时，我们将用$V$表示向量空间$(\mathcal{V},+,\cdot )$。此外，我们将使用符号$\mathbf{x}\in V$表示$\mathcal{V}$中的向量，以简化符号。

备注：

向量空间${\mathbb{R}}^n,{\mathbb{R}}^{n\times 1},{\mathbb{R}}^{1\times n}$只是我们写向量的方式不同。在下文中，我们将不区分${\mathbb{R}}^n$和${\mathbb{R}}^{n\times 1}$，这允许我们将$n$元组用列向量( column vectors)表示
$$\mathbf{x}=\left[\begin{array}{c}{x}_1\\ ⋮\\ x_n\end{array}\right]$$

这简化了向量空间运算的表示法。但是，我们确实要区分了${\mathbb{R}}^{n\times 1}$和${\mathbb{R}}^{1\times n}$（行向量row vectors），以避免在使用矩阵乘法时混淆。默认情况下，我们写$\mathbf{x}$来表示列向量，行向量则由${\mathbf{x}}^{\top }$表示，为列向量的转置。

2.4.3 向量子空间

下面，我们将介绍向量子空间。直观地说，它们是原始向量空间中的集合，且具有这样的性质：我们对子空间的元素进行向量空间运算，结果不会超出子空间。从这个意义上说，它们是“封闭的”。向量子空间是机器学习中的一个重要概念。例如，第10章展示了如何使用向量子空间进行降维。

定义 2.10向量子空间

令$V=(\mathcal{V},+,\cdot )$为向量空间，且$\mathcal{U}\subseteq \mathcal{V},\mathcal{U}\ne \varnothing$，如果$U$是一个向量空间，且它的向量空间运算“$+$”和“$\cdot$”限制为$\mathcal{U}\times \mathcal{U}$和$\mathbb{R}\times \mathcal{U}$，那么$U=(\mathcal{U},+,\cdot )$称为$V$的向量子空间(vector subspace，或linear subspace)。我们用$U\subseteq V$来表示$V$的子空间$U$。

如果$U\subseteq V$(书中$\mathcal{U}\subseteq \mathcal{V}$可能有误)且$V$是向量空间，那么$U$自然地直接从$V$继承了许多性质，因为这些性质适用于所有$x\in \mathcal{V}$，特别是所有$\mathbf{x}\in \mathcal{U}\subseteq \mathcal{V}$。这包括阿贝尔群的性质、分配律、结合律和基元。为了确定$(\mathcal{U},+,\cdot )$是否是$V$的子空间，我们还需要确定：

1 $\mathcal{U}\ne \varnothing$，特别地，单位元$0\in \mathcal{U}$

2 $U$的封闭性：

• 关于外部操作：$\forall \lambda \in \mathbb{R}\forall \mathbf{x}\in \mathcal{U}:\lambda \mathbf{x}\in \mathcal{U}$
• 关于内部操作：$\forall x,y\in \mathcal{U}:x+y\in \mathcal{U}$

例 2.12 向量子空间

让我们来看一些例子：

• 对于每个向量空间$V$，其平凡子空间( trivial subspaces)是$V$本身和$0$

• 图2.6中只有示例$D$是${\mathbb{R}}^2$的子空间（包含内部/外部操作）。在$A$和$C$中，违反了封闭性；而$B$不包含$0$。
  
  图 2.6不是所有的${\mathbb{R}}^2$子集都是子空间。$A$和$C$违反了封闭性；$B$不包含$0$。只有$D$是子空间。

• 具有$n$个未知量$\mathbf{x}={\left[x_1,\dots ,x_n\right]}^{\top }$的齐次线性方程组$\mathbf{A}\mathbf{x}=0$的解集是${\mathbb{R}}^n$的一个子空间
  .

• 非齐次线性方程组$\mathbf{A}\mathbf{z}=\mathbf{b}，\mathbf{b}\ne 0$的解不是${\mathbb{R}}^n$的子空间

• 任意子空间的交集是它们本身的一个子空间。

备注：

对于$\mathbf{x}\in {\mathbb{R}}^n$，每个子空间$U\subseteq \left({\mathbb{R}}^n,+,\cdot \right)$是齐次线性方程组$\mathbf{A}\mathbf{x}=0$的解空间

2.5 线性独立

下面我们来看看我们可以用向量（向量空间的元素）做什么。从前文我们知道，我们将向量相加，然后用标量相乘，封闭性能保证我们在同一个向量空间中得到另一个向量。那么有没有可能找到一组向量，允许我们可以用这些向量相加并缩放后得到向量空间中的其他所有向量？实际上，这组向量是一组基(basis)，我们将在后面讨论它。在此之前，我们需要介绍一下线性组合和线性独立。

定义 2.11线性组合

考虑向量空间$V$和有限个向量$x_1,\dots ,x_k\in V$。那么，每一个以下形式的向量$\mathbf{v}\in V$：
$$\mathbf{v}={\lambda }_1{\mathbf{x}}_1+\cdots +{\lambda }_k{\mathbf{x}}_k=\sum _{i=1}^k{\lambda }_i{\mathbf{x}}_i\in V$$
称为向量${\mathbf{x}}_1,\dots ,{\mathbf{x}}_k$的线性组合(linear combination)，其中${\lambda }_1,\dots ,{\lambda }_k\in \mathbb{R}$。

$0$向量总是可以写成$k$个向量${\mathbf{x}}_1,\dots ,{\mathbf{x}}_k$的线性组合，因为$0={\sum }_{i=1}^{k}0{\mathbf{x}}_i$总是成立。在下文中，我们关注一组向量的非平凡线性组合来表示$0$，即：向量${\mathbf{x}}_1,\dots ,{\mathbf{x}}_k$在系数${\lambda }_i$不都为0的情况下的线性组合。

定义 2.12线性相关与线性无关(独立)

考虑一个向量空间$V$，且有${\mathbf{x}}_1,\dots ,{\mathbf{x}}_k\in V，k\in \mathbb{N}$。如果存在一个非平凡的线性组合，使得$0={\sum }_{i=1}^k{\lambda }_i{\mathbf{x}}_i$，即其中至少有一个${\lambda }_i\ne 0$，则向量${\mathbf{x}}_1,\dots ,{\mathbf{x}}_k$是线性相关的(linearly dependent)。如果只有平凡解存在，即：${\lambda }_1=\dots ={\lambda }_k=0$，则向量${\mathbf{x}}_1,\dots ,{\mathbf{x}}_k$是线性独立( linearly independent)。

线性独立是线性代数中最重要的概念之一。直观地说，一组线性无关的向量是由没有冗余的向量组成的，也就是说，如果我们把这些向量中的任何一个去掉，我们就会失去一些东西。在接下来的几节中，我们将进一步形式化这种直觉。

例 2.13 线性相关的向量

一个地理例子可能有助于理解线性独立的概念。如图2.7所示，在 Nairobi (Kenya)的人描述Kigali (Rwanda)所在地可能会说，“你可以先往西北方向506公里到Kampala (Uganda)，然后往西南方向374公里”。这足以说明 Kigali的位置，因为地理坐标系可被视为二维向量空间（忽略海拔和地球曲面）。这个人可能会补充说，“大约在西边751公里处“。尽管最后一句话是对的，但鉴于前面的信息，这句话没有必要说。在此示例中，“506 km西北”矢量（蓝色）和“374 km西南”矢量（紫色）是线性独立的。这意味着西南方向的矢量不能用西北方向的矢量来描述，反之亦然。然而，第三个“751 km west”向量（黑色）是其他两个向量的线性组合，这使得这三个向量线性相关。同样地，给定“西751公里”和“西南374公里”，可以线性组合得到“西北506公里”。

图2.7 二维空间（平面）中线性相关向量的地理示例（基本方向的粗略近似）。

备注：以下属性可用于确定向量是否线性独立：

• $k$个向量要么线性相关，要么线性无关。没有第三种选择。
• 向量${\mathbf{x}}_1,\dots ,{\mathbf{x}}_k$中只要有一个零向量或有两个向量相同，则它们是线性相关的。
• 向量$\left\{{\mathbf{x}}_1,\dots ,{\mathbf{x}}_k:{\mathbf{x}}_i\ne 0,i=1,\dots ,k\right\},k⩾2$，是线性相关的当且仅当（至少）其中一个是其他的线性组合。特别是，如果一个向量是另一个向量的倍数，即：${\mathbf{x}}_i=\lambda {\mathbf{x}}_j,\lambda \in \mathbb{R}$，那么集合$\left\{{\mathbf{x}}_1,\dots ,{\mathbf{x}}_k:{\mathbf{x}}_i\ne 0,i=1,\dots ,k\right\}$是线性相关的。
• 检验向量${\mathbf{x}}_1,\dots ,{\mathbf{x}}_k\in V$是线性无关的有效方法是采用高斯消元法：将所有向量写为矩阵$\mathbf{A}$的列，并进行高斯消元，直到矩阵为行阶梯型（这里不需要行最简阶梯型）：
  – 主元列表示与左侧的向量线性无关的向量。请注意在构建矩阵时对向量排序。
  – 非主元列可以表示为其左侧主元列的线性组合。例如，行阶梯型矩阵
  $$\left[\begin{array}{lll}1& 3& 0\\ 0& 0& 2\end{array}\right]$$
  告诉我们第一列和第三列是主元列。第二列是非主元列，它是第一列的三倍。

当且仅当所有列都是主元列时，所有列向量才是线性独立的。尽管只有一个非主元列，这些列（以及相应的向量）也是线性相关的。

例 2.14

考虑${\mathbb{R}}^4$以及向量：
$${\mathbf{x}}_1=\left[\begin{array}{c}1\\ 2\\ -3\\ 4\end{array}\right],{\mathbf{x}}_2=\left[\begin{array}{l}1\\ 1\\ 0\\ 2\end{array}\right],{\mathbf{x}}_3=\left[\begin{array}{c}-1\\ -2\\ 1\\ 1\end{array}\right]$$
为了检验它们是否是线性相关的，对于${\lambda }_1,\dots ,{\lambda }_3$，我们采用一般的方法求解
$${\lambda }_1{\mathbf{x}}_1+{\lambda }_2{\mathbf{x}}_2+{\lambda }_3{\mathbf{x}}_3={\lambda }_1\left[\begin{array}{c}1\\ 2\\ -3\\ 4\end{array}\right]+{\lambda }_2\left[\begin{array}{l}1\\ 1\\ 0\\ 2\end{array}\right]+{\lambda }_3\left[\begin{array}{c}-1\\ -2\\ 1\\ 1\end{array}\right]=0$$
我们将向量${\mathbf{x}}_i,i=1,2,3$作为矩阵的列，并应用初等行变换，直到我们确定主元列：
$$\left[\begin{array}{ccc}1& 1& -1\\ 2& 1& -2\\ -3& 0& 1\\ 4& 2& 1\end{array}\right]⇝\cdots ⇝\left[\begin{array}{ccc}1& 1& -1\\ 0& 1& 0\\ 0& 0& 1\\ 0& 0& 0\end{array}\right]$$

这里，矩阵的每一列都是主元列。因此，不存在非平凡解，只有${\lambda }_1=0,{\lambda }_2=0,{\lambda }_3=0$为方程组的解。因此，向量${\mathbf{x}}_{\mathrm{l}},{\mathbf{x}}_2,{\mathbf{x}}_3$是线性独立的。

备注：

考虑一个向量空间$V$与其中$k$个线性无关的向量${\mathbf{b}}_1,\dots ,{\mathbf{b}}_k$和$m$种线性组合
$$\begin{array}{rl}{\mathbf{x}}_1& =\sum _{i=1}^k{\lambda }_{i1}{\mathbf{b}}_i\\ & ⋮\\ {\mathbf{x}}_m& =\sum _{i=1}^k{\lambda }_{im}{\mathbf{b}}_i\end{array}$$
定义矩阵$\mathbf{B}=\left[{\mathbf{b}}_1,\dots ,{\mathbf{b}}_k\right]$，该矩阵的列为线性无关向量${\mathbf{b}}_1,\dots ,{\mathbf{b}}_k$，我们可以将上式写成紧凑的形式：
$${\mathbf{x}}_j=\mathbf{B}{\mathbf{\lambda }}_j,{\mathbf{\lambda }}_j=\left[\begin{array}{c}{\lambda }_{1j}\\ ⋮\\ {\lambda }_{kj}\end{array}\right],j=1,\dots ,m$$
我们想检验${\mathbf{x}}_1,\dots ,{\mathbf{x}}_m$是否线性无关。为此，我们遵循${\sum }_{j=1}^m{\psi }_j{\mathbf{x}}_j=0$的一般测试方法。我们可以进一步得到：
$$\sum _{j=1}^m{\psi }_j{\mathbf{x}}_j=\sum _{j=1}^m{\psi }_j\mathbf{B}{\mathbf{\lambda }}_j=\mathbf{B}\sum _{j=1}^m{\psi }_j{\mathbf{\lambda }}_j$$
这意味着$\left\{{\mathbf{x}}_1,\dots ,{\mathbf{x}}_m\right\}$是线性无关的当且仅当列向量$\left\{{\mathbf{\lambda }}_1,\dots ,{\mathbf{\lambda }}_m\right\}$是线性无关。

备注：

在向量空间$V$中，当$m>k$时，$k$个向量${\mathbf{x}}_1,\dots ,{\mathbf{x}}_k$的$m$个线性组合是线性相关的。

例 2.15

考虑一组线性无关向量${\mathbf{b}}_1,{\mathbf{b}}_2,{\mathbf{b}}_3,{\mathbf{b}}_4\in {\mathbb{R}}^n$，有：
$$\begin{array}{rlrlrlrlrl}{\mathbf{x}}_1& =& {\mathbf{b}}_1& -& 2& {\mathbf{b}}_2& +& {\mathbf{b}}_3& -& {\mathbf{b}}_4\\ {\mathbf{x}}_2& =& -4{\mathbf{b}}_1& -& 2& {\mathbf{b}}_2& & & +& 4{\mathbf{b}}_4\\ {\mathbf{x}}_3& =& 2{\mathbf{b}}_1& +& 3{\mathbf{b}}_2& -& {\mathbf{b}}_3& -& 3{\mathbf{b}}_4& \\ {\mathbf{x}}_4& =& 17{\mathbf{b}}_1& -& 10{\mathbf{b}}_2& +& 11{\mathbf{b}}_3& +& {\mathbf{b}}_4& \end{array}$$
向量是${\mathbf{x}}_1,\dots ,{\mathbf{x}}_4\in {\mathbb{R}}^n$是否线性无关呢？为了回答这个问题，我们来看看以下列向量
$$\left\{\left[\begin{array}{c}1\\ -2\\ 1\\ -1\end{array}\right],\left[\begin{array}{c}-4\\ -2\\ 0\\ 4\end{array}\right],\left[\begin{array}{c}2\\ 3\\ -1\\ -3\end{array}\right],\left[\begin{array}{c}17\\ -10\\ 11\\ 1\end{array}\right]\right\}$$
是否线性无关。

线性方程组对应的矩阵为：
$$\mathbf{A}=\left[\begin{array}{cccc}1& -4& 2& 17\\ -2& -2& 3& -10\\ 1& 0& -1& 11\\ -1& 4& -3& 1\end{array}\right]$$
对应的最简阶梯型矩阵为：
$$\left[\begin{array}{cccc}1& 0& 0& -7\\ 0& 1& 0& -15\\ 0& 0& 1& -18\\ 0& 0& 0& 0\end{array}\right]$$

可以看到相应的线性方程组是有非平凡解的：最后一列不是主元列，${\mathbf{x}}_4=-7{\mathbf{x}}_1-15{\mathbf{x}}_2-18{\mathbf{x}}_3$，因此，${\mathbf{x}}_1,\dots ,{\mathbf{x}}_4$是线性相关的，${\mathbf{x}}_4$可以表示为${\mathbf{x}}_1,\dots ,{\mathbf{x}}_3$的线性组合。

2.6 基和秩

在向量空间$V$中，我们特别关注的是向量集合$\mathcal{A}$，这些集合具有这样的性质：任何向量$\mathbf{v}\in V$都可以通过$\mathcal{A}$中向量的线性组合得到。这些向量是特殊的向量，下面我们将对它们进行描述。

2.6.1 生成集和基

定义 2.13 生成集和生成空间

考虑一个向量空间$V=(\mathcal{V},+,\cdot )$和一个向量集$\mathcal{A}=\left\{{\mathbf{x}}_1,\dots ,{\mathbf{x}}_k\right\}\subseteq \mathcal{V}$。如果每个向量$\mathbf{v}\in \mathcal{V}$都可以表示为${\mathbf{x}}_1,\dots ,{\mathbf{x}}_k$的线性组合。则$\mathcal{A}$称为$V$的生成集(generating set )。$\mathcal{A}$中的向量的所有线性组合形成的集合称为$\mathcal{A}$的生成空间(span)。如果$\mathcal{A}$张成向量空间$V$，则记：$V=\mathrm{span}[\mathcal{A}]$或$V=\mathrm{span}\left[x_1,\dots ,x_k\right]$

生成集是张成向量空间(或子空间)的向量集，即，向量空间(或子空间)中的每个向量都可以表示为生成集中向量的线性组合。下面，我们将更具体地描述向量（子）空间的最小生成集。

定义 2.14 基

考虑向量空间$V=(\mathcal{V},+,\cdot )$以及$\mathcal{A}\subseteq \mathcal{V}$。如果没有更小的集合$\tilde{\mathcal{A}}⊊\mathcal{A}\subseteq \mathcal{V}$可以生成$V$，则称$V$的生成集$\mathcal{A}$为最小生成集(minimal)。$V$的每一个线性独立的生成集都是最小生成集，被称为$V$的基(basis)。

设$V=(\mathcal{V},+,\cdot )$为向量空间，且$\mathcal{B}\subseteq \mathcal{V},\mathcal{B}\ne \varnothing$。那么，以下描述是等价的：

• $\mathcal{B}$是$V$的基。
• $\mathcal{B}$是最小生成集。
• $\mathcal{B}$是$V$中向量的一个最大线性无关集，也就是说，在这个向量集中加上任何其他向量都会使它线性相关。
• 每个向量$\mathbf{x}\in V$都是$\mathcal{B}$中向量的线性组合，且每个线性组合都是唯一的，即
  $$\mathbf{x}=\sum _{i=1}^k{\lambda }_i{\mathbf{b}}_i=\sum _{i=1}^k{\psi }_i{\mathbf{b}}_i$$
  其中${\lambda }_i,{\psi }_i\in \mathbb{R},{\mathbf{b}}_i\in \mathcal{B}$，且：${\lambda }_i={\psi }_i,i=1,\dots ,k$

例 2.16

• 在${\mathbb{R}}^3$中，规范/标准基(canonical/standard basis)为
  $$\mathcal{B}=\left\{\left[\begin{array}{l}1\\ 0\\ 0\end{array}\right],\left[\begin{array}{l}0\\ 1\\ 0\end{array}\right],\left[\begin{array}{l}0\\ 0\\ 1\end{array}\right]\right\}$$

• ${\mathbb{R}}^3$中有不唯一的基：
  $${\mathcal{B}}_1=\left\{\left[\begin{array}{l}1\\ 0\\ 0\end{array}\right],\left[\begin{array}{l}1\\ 1\\ 0\end{array}\right],\left[\begin{array}{l}1\\ 1\\ 1\end{array}\right]\right\},{\mathcal{B}}_2=\left\{\left[\begin{array}{l}0.5\\ 0.8\\ 0.4\end{array}\right],\left[\begin{array}{l}1.8\\ 0.3\\ 0.3\end{array}\right],\left[\begin{array}{c}-2.2\\ -1.3\\ 3.5\end{array}\right]\right\}$$

• 集合
  $$\mathcal{A}=\left\{\left[\begin{array}{l}1\\ 2\\ 3\\ 4\end{array}\right],\left[\begin{array}{c}2\\ -1\\ 0\\ 2\end{array}\right],\left[\begin{array}{c}1\\ 1\\ 0\\ -4\end{array}\right]\right\}$$
  是线性独立的，但不是${\mathbb{R}}^4$的生成集（也不是基）：例如，向量$[1，0，0，0{]}^{\top }$不能通过$\mathcal{A}$中元素的线性组合获得。

备注：

每个向量空间$V$都有一个基$\mathcal{B}$。前面的例子表明向量空间$V$可以有许多基，即没有唯一基。然而，所有的基都由相同数量的元素，即基向量（ basis vectors） 组成。

我们只考虑有限维向量空间$V$。在这种情况下，$V$的维数(dimension) 是$V$的基向量的个数，我们写成$\dim (V)$。如果$V$的子空间为$U\subseteq V$，那么$\dim (U)⩽\dim (V)$。当$U=V$时，$\dim (U)=\dim (V)$。直观地说，向量空间的维数可以看作是这个向量空间中独立方向的个数。

备注：

向量空间的维数不一定是向量中元素的个数。 例如，向量空间$V=\mathrm{span}[\left[\begin{array}{l}0\\ 1\end{array}\right]]$是一维的，尽管基向量有两个元素。

备注：

子空间$U=\mathrm{span}\left[{\mathbf{x}}_1,\dots ,{\mathbf{x}}_m\right]\subseteq {\mathbb{R}}^n$的基可通过执行以下步骤确定：

• 1 把生成向量写成矩阵$\mathbf{A}$的列
• 2 确定$\mathbf{A}$的行阶梯型。
• 3 与主元列对应的生成向量就是$U$的基。

例 2.17基的确定

向量子空间$U\subseteq {\mathbb{R}}^5$，由以下向量张成：
$${\mathbf{x}}_1=\left[\begin{array}{c}1\\ 2\\ -1\\ -1\\ -1\end{array}\right],{\mathbf{x}}_2=\left[\begin{array}{c}2\\ -1\\ 1\\ 2\\ -2\end{array}\right],{\mathbf{x}}_3=\left[\begin{array}{c}3\\ -4\\ 3\\ 5\\ -3\end{array}\right],{\mathbf{x}}_4=\left[\begin{array}{c}-1\\ 8\\ -5\\ -6\\ 1\end{array}\right]\in {\mathbb{R}}^5$$

我们关注${\mathbf{x}}_1,\dots ,{\mathbf{x}}_4$中哪几个是$U$的基。为此，我们需要判断${\mathbf{x}}_1,\dots ,{\mathbf{x}}_4$是否线性独立。因此，我们需要解一个矩阵齐次方程组：
$$\sum _{i=1}^4{\lambda }_i{\mathbf{x}}_i=0$$
对应矩阵为：
$$\left[{\mathbf{x}}_1,{\mathbf{x}}_2,{\mathbf{x}}_3,{\mathbf{x}}_4\right]=\left[\begin{array}{cccc}1& 2& 3& -1\\ 2& -1& -4& 8\\ -1& 1& 3& -5\\ -1& 2& 5& -6\\ -1& -2& -3& 1\end{array}\right]$$
利用线性方程组的基本变换规则，得到了行阶梯型矩阵：
$$\left[\begin{array}{rrrr}1& 2& 3& -1\\ 2& -1& -4& 8\\ -1& 1& 3& -5\\ -1& 2& 5& -6\\ -1& -2& -3& 1\end{array}\right]⇝\cdots ⇝\left[\begin{array}{cccc}1& 2& 3& -1\\ 0& 1& 2& -2\\ 0& 0& 0& 1\\ 0& 0& 0& 0\\ 0& 0& 0& 0\end{array}\right]$$

由于主元列对应的那组向量是线性独立的，因此我们从行阶梯型可以看出${\mathbf{x}}_1,{\mathbf{x}}_2,{\mathbf{x}}_4$是线性独立的（因为线性方程组${\lambda }_1{x}_1+{\lambda }_2{x}_2+{\lambda }_4{x}_4=0$只能用${\lambda }_1={\lambda }_2={\lambda }_4=0$来解）。因此，$\left\{{\mathbf{x}}_1,{\mathbf{x}}_2,{\mathbf{x}}_4\right\}$是$U$的基。

2.6.2 秩

矩阵$\mathbf{A}\in {\mathbb{R}}^{m\times n}$的线性独立列的个数等于线性独立行的个数，这个数称为$\mathbf{A}$的秩(Rank)，用$\mathrm{rk}(\mathbf{A})$表示。

备注：

矩阵的秩有一些重要的性质：

• $\mathrm{rk}(\mathbf{A})=\mathrm{rk}\left({\mathbf{A}}^{\top }\right)$，即列秩等于行秩
• $\mathbf{A}\in {\mathbb{R}}^{m\times n}$的列张成一个子空间$U\subseteq {\mathbb{R}}^m$，$\dim (U)=\mathrm{rk}(\mathbf{A})$。在后面内容中我们将这个子空间称为像或值域。通过对$\mathbf{A}$应用高斯消元法来确认主元列，可以找到$U$的基。
• $\mathbf{A}\in {\mathbb{R}}^{m\times n}$的行张成一个子空间$W\subseteq {\mathbb{R}}^n$，$\dim (W)=\mathrm{rk}(\mathbf{A})$。通过对${\mathbf{A}}^{\top }$应用高斯消元法来确认主元列，可以找到$W$的基。
• 对于任意方阵$\mathbf{A}\in {\mathbb{R}}^{n\times n}$，$\mathbf{A}$是正则的(可逆）当且仅当$\mathrm{rk}(\mathbf{A})=n$
• 对于任意$\mathbf{A}\in {\mathbb{R}}^{m\times n}$，和$\mathbf{b}\in {\mathbb{R}}^m$，线性方程组$\mathbf{A}\mathbf{x}=\mathbf{b}$有解当且仅当$\mathrm{rk}(\mathbf{A})=\mathrm{rk}(\mathbf{A}\mid \mathbf{b})$，其中$\mathbf{A}\mid \mathbf{b}$表示增广矩阵。
• 对于任意$\mathbf{A}\in {\mathbb{R}}^{m\times n}$，$\mathbf{A}\mathbf{x}=0$的解的子空间维数为$n-\mathrm{rk}(\mathbf{A})$。后面我们会称这个子空间为核或零空间。
• 如果矩阵$\mathbf{A}\in {\mathbb{R}}^{m\times n}$的秩等于相同维数矩阵的最大可能秩，则它拥有满秩( full rank)。也就是说满秩矩阵的秩是行数和列数中的较小者，即$\mathrm{rk}(\mathbf{A})=\min (m,n)$。如果矩阵不满足满秩的要求，则称它不满秩( rank deficient)。

例 2.18

• $\mathbf{A}=\left[\begin{array}{lll}1& 0& 1\\ 0& 1& 1\\ 0& 0& 0\end{array}\right]$
  $\mathbf{A}$有两个线性独立的行/列，所以$\mathrm{rk}(\mathbf{A})=2$

• $\mathbf{A}=\left[\begin{array}{ccc}1& 2& 1\\ -2& -3& 1\\ 3& 5& 0\end{array}\right]$
  使用高斯消元法来确定秩：
  $$\left[\begin{array}{ccc}1& 2& 1\\ -2& -3& 1\\ 3& 5& 0\end{array}\right]⇝\cdots ⇝\left[\begin{array}{ccc}1& 2& 1\\ 0& 1& 3\\ 0& 0& 0\end{array}\right]$$
  有两个线性独立的行/列，所以$\mathrm{rk}(\mathbf{A})=2$

翻译自：
《MATHEMATICS FOR MACHINE LEARNING》作者是 Marc Peter Deisenroth，A Aldo Faisal 和 Cheng Soon Ong

公众号后台回复【m4ml】即可获取这本书。

另外，机器学习的数学基础.pdf