矩阵的四个基本空间, 不了解下吗?

秩-零化度定理 告诉我们: $m\times n$ 阶矩阵 $A$ 的零空间(Nullspace) $N(A)$ 和列空间(Column sapce) $C(A)$ 的关系:

$$n=\dim N(A)+\dim C(A)$$

本次依据秩-零化度定理, 介绍四个基本空间, 并证明它们的正交性关系, 最后, 给出一道经典例题.

四个基本空间

将矩阵 $A$ 行列互换, 称为 $A$ 的转置, 记为 $A^{\mathsf{T}}$. 则对应的: $C(A^{\mathsf{T}})$ 表示 $A$ 的行空间(Row space), 对应地将 $N(A^{\mathsf{T}})$ 称为 $A$ 的左零空间(Left nullspace).

首先, 因为行秩 = 列秩, 所以

$$n=\dim N(A)+\dim C(A^{\mathsf{T}})$$

然后, 转置并参考秩-零化度定理

$$m=\dim N(A^{\mathsf{T}})+\dim C(A)$$

综上, 对于 $m\times n$ 阶矩阵 $A$ 有:

空间	符号	矩阵含义	空间维数	向量维数
行空间(Row Space)	$C(A^{\mathsf{T}})$	$A^{\mathsf{T}}y$	$r$	$n$
列空间(Column Space)	$C(A)$	$Ax$	$r$	$m$
零空间(Nullspace) 或核空间(Kernel Space)	$N(A)$	$Ax=0$	$n-r$	$n$
左零空间(Left Nullspace)	$N(A^{\mathsf{T}})$	$A^{\mathsf{T}}y=0$	$m-r$	$m$

正交关系

实际上, 行空间和零空间在 ${\mathbb{R}}^n$ 中是直和关系, 相应的, 列空间和左零空间在 ${\mathbb{R}}^m$ 中是直和关系, 如下图所示

下面, 证明这两个直和(正交)关系

简要证明

1. ${\mathbb{R}}^n=C(A^{\mathsf{T}})\oplus N(A)$

• 对 $\forall x_1\in C(A^{\mathsf{T}}),\forall x_2\in N(A)$, 成立 $x=x_1+x_2\in {\mathbb{R}}^n$
• 假设 $x\in C(A^{\mathsf{T}})\cap N(A)$, 即

$$\{\begin{array}{ll}Ax=0& \forall x\in N(A)\\ A^{\mathsf{T}}y=x& \exists y\in C(A^{\mathsf{T}})\end{array}$$

联立即得

$$A{A}^{\mathsf{T}}y=0$$

左右同乘 $y^{\mathsf{T}}$

$$y^{\mathsf{T}}A{A}^{\mathsf{T}}y=(A^{\mathsf{T}}y{)}^{\mathsf{T}}{A}^{\mathsf{T}}y=0$$

得到

$$x=A^{\mathsf{T}}y=0$$

即

$$C(A^{\mathsf{T}})\cap N(A)=\{0\}$$

结论得证.

2. ${\mathbb{R}}^m=C(A)\oplus N(A^{\mathsf{T}})$

记 $B=A^{\mathsf{T}}$, 利用证明 1

$${\mathbb{R}}^m=C(B^{\mathsf{T}})\oplus N(B)$$

将 $B^{\mathsf{T}}=(A^{\mathsf{T}}{)}^{\mathsf{T}}=A$ 带入上式, 即证.

经典例题

假设存在 $m\times n$ 阶矩阵 $A$, 给定一个向量 $b\in {\mathbb{R}}^m$, 且已知 $Ax=b$ 有解. 试证

1. 存在唯一 $y\in C(A^{Ｔ})$, 使得 $Ay=b$ 成立.
2. 所有解中, 行空间 $C(A^{\mathsf{T}})$ 中的解 $y$ 的长度最小.
3. 假设 $A$ 行满秩($\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(A)=m$), 求 $y\in C(A^{\mathsf{T}})$ (用 $A,b$ 表示)

证:

1. • 存在性
     假设 $x\in {\mathbb{R}}^n$ 满足 $Ax=b$, 因为 $C(A^{\mathsf{T}})$ 和 $N(A)$ 是直和关系, 所以 $x$ 可唯一地分解为
     $$x=y+z$$
     其中, $y\in C(A^{\mathsf{T}}),z\in N(A)$, 那么
     $$\begin{array}{rl}Ax& =A(y+z)\\ & =Ay+Az\\ & =Ay=b\end{array}$$
     成立.
   • 唯一性
     假设 $y^{\prime }\in C(A^{\mathsf{T}})$, 也满足 $A{y}^{\prime }=b$. 则 $$Ay-A{y}^{\prime }=A(y-y^{\prime })=0$$
     即 $y-y^{\prime }\in N(A)$, 又因为 $y-y^{\prime }\in C(A^{\mathsf{T}})$, 所以 $$y-y^{\prime }=0$$
     即 $y=y^{\prime }$.

2. 联系问 1, 解 $x=y+z$, 其中 $y\in C(A^{\mathsf{T}}),z\in N(A)$. 因为二者正交, 所以

$$\begin{array}{rl}\Vert x{\Vert }^2& =(y+z{)}^{\mathsf{T}}(y+z)\\ & =\Vert y{\Vert }^2+\Vert z{\Vert }^2\ge \Vert y{\Vert }^2\end{array}$$

$z=0$ 时, 等号成立.

3. 因为 $y\in C(A^{\mathsf{T}})$, 则 $y$ 可表示为 $y=A^{\mathsf{T}}x$.则 $$Ay=A{A}^{\mathsf{T}}x=b$$
   若 $A{A}^{\mathsf{T}}$ 满秩, 则 $$x=(A{A}^{\mathsf{T}}{)}^{-1}b$$
   可得到 $$y=A^{\mathsf{T}}(A{A}^{\mathsf{T}}{)}^{-1}b$$
   下面证明 $\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}A=\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}A{A}^{\mathsf{T}}$, 只需证明
   $$\{\begin{array}{l}Ax=0\\ A^{\mathsf{T}}Ax=0\end{array}$$
   同解. 显然, $Ax=0⟹A^{\mathsf{T}}Ax=0$.
   
   
   若满足 $A^{\mathsf{T}}Ax=0$, 左右同乘 $x^{\mathsf{T}}$

   $$x^{\mathsf{T}}{A}^{\mathsf{T}}Ax=(Ax{)}^{\mathsf{T}}Ax=0$$

   即得 $Ax=0$. 所以 $\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}A=\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}{A}^{\mathsf{T}}A=\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}A{A}^{\mathsf{T}}$.

总结

从空间的角度理解线代才是掌握线代的不二法门.

矩阵的四个基本空间是很重要的概念, 可以帮助我们从空间的角度理解线性方程组解的结构, 甚至是最小二乘法.

由于篇幅原因, 下次介绍最小二乘法($A^{\mathsf{T}}Ax=A^{\mathsf{T}}b$).

原文链接: 矩阵的四个基本空间, 不了解下吗?