矩阵论（零）：线性代数基础知识整理（4）——线性空间与线性变换

矩阵论专栏：专栏（文章按照顺序排序）

本篇博客的上篇是矩阵论（零）：线性代数基础知识整理（3）——矩阵的秩与向量组的秩，前面博客主要介绍了线性代数中的一些基本概念和基本方法，重点整理了秩的相关结论，本文主要整理线性空间与线性变换的相关内容。

本文主要有以下内容：

• 线性空间
  • 线性空间与子空间
  • 內积公理（向量的正交投影、Cauchy-Schwarz不等式）
  • 范数公理（由内积诱导的范数、常用的向量范数、向量间距离）
  • 线性空间的基
  • 子空间的运算与关系
    • 交、和、直和、正交补
    • 应用
      • 矩阵的基本子空间及关系
      • 幂等矩阵的充要条件
    • 拓展内容：多个子空间的直和
  • 矩阵的內积与范数
• 线性变换
  • 线性变换的定义及性质
  • 线性变换的矩阵
  • 逆变换与逆矩阵
  • Hermite变换/自伴变换与Hermite矩阵/实对称矩阵
  • 酉变换/正交变换与酉矩阵/正交矩阵
  • 正规变换与正规矩阵

【说明】需要指出的是，严格来说，向量组并不是一个集合，向量组中可以有重复向量，例如向量组$x,x,y$，其中$x,y\in C^n$，而集合是不能有重复元素的。对于有限大小的向量组，我们总可以明确地把它写成向量的序列的形式（例如$x,x,y$），但对于无限大小的向量组，我们没法明确地写出这个向量组，此时向量组到底是什么呢？实际上，很多线代教材没有明确地给出向量组的定义，很多人认为向量组就是向量的一个集合。按照严格的数学定义，向量组（a family of vectors）分为有序向量族（an ordered family of vectors）和无序向量族（a family of vectors）两种情形，其中无序向量族是给定线性空间上的一个加标族（indexed family），有序向量族是给定线性空间上的加标族以及该加标族的指标集上的一个良序（well order）。通常情况下，向量组的概念是指无序向量族，但也有不同的处理，例如丘维声的高等代数书中就认为向量组是有序的，此时$x,x,y$和$x,y,x$并不是同一个向量组。本文只讨论有限的向量组，且默认向量组是无序的、可含有重复向量。另外，当向量组中不含重复向量时，本文不区分向量组和向量的集合（换言之，直接用向量的集合来表示一个向量组）。
好奇的朋友可以参考如下资料：
math.stackexchange.com/questions/1375149
Indexed family - Wikipedia

---

线性空间

线性空间与子空间

• 线性空间的定义
  设V是一个非空集合，F是一个数域，若V满足以下10条公理，则称V是F上的一个线性空间，简称线性空间（又称向量空间）：
  • 在V的元素（称为向量，是一种抽象的概念）间定义了一种二元运算，叫做“加法”，满足加法运算是封闭的$$\forall x,y\in V,x+y\in V$$
  • 在数域F和V的元素间定义了一种代数运算，叫做“数量乘法”，简称数乘，满足数乘运算是封闭的$$\forall k\in F,\forall x\in V,kx\in V$$
  • 满足加法的交换律：$\forall x,y\in V,x+y=y+x$
  • 满足加法的结合律：$\forall x,y,z\in V,(x+y)+z=x+(y+z)$
  • 存在零元：$\exists 0\in V,\forall x\in V,x+0=x$
  • V中每个元素都有负元：$\forall x\in V,\exists -x\in V,x+(-x)=0$
  • 满足数乘的单位率：$\forall x\in V,1x=x$
  • 满足数乘运算的结合律：$\forall k,b\in F,\forall x\in V,k(bx)=(kb)x$
  • 满足数乘运算对向量的分配律：$$\forall k\in F,\forall x,y\in V,k(x+y)=kx+ky$$
  • 满足数乘运算对数的分配律：$$\forall k,b\in F,\forall x\in V,(k+b)x=kx+bx$$
    当数域F是实数域时，称线性空间V是实线性空间；当F是复数域时，称V是复线性空间。易验证$C^n$是一个复线性空间。
• 线性空间的性质
  • 零元是唯一的
  • 每个向量的负元是唯一的，由此可以定义向量间的减法：$x-y=x+(-y)$
  • $0x=0,(-1)x=-x,k0=0$
  • 若$kx=0$，则$k=0\vee x=0$
• 线性子空间的定义与判定

  • 定义：设W是线性空间V的一个非空子集，若W是线性空间，则称W是V的线性子空间

  • 定理：设W是线性空间V的一个非空子集，则W是V的子空间的充要条件为W对V中的线性运算（加法和数乘）封闭

    例：关于x的齐次线性方程组$Ax=0，A\in F^{m\times n}$的所有解向量$x\in F^n$构成了$F^n$的一个线性子空间，称为矩阵A的零空间或核空间，记为$N(A)$，即$N(A)=\{x\in F^n|Ax=0\}$。$A^T$的零空间称为$A$的左零空间。

  • 定义：设$a_1,a_2,\cdots ,a_s$是V中的向量，这些向量的所有线性组合构成了V的一个线性子空间$\{k_1{a}_1+\cdots +k_s{a}_s|k_1,\cdots ,k_s\in F\}$，称为V的生成子空间，记作$W=span\{a_1,a_2,\cdots ,a_s\}$

    例：矩阵$A\in F^{m\times n}$的所有列向量的线性组合构成了$F^m$的一个生成子空间，常称为A的列空间，又叫A的值域，记为$R(A)$，即$R(A)=\{Ax|x\in F^n\}$；同样地，$A\in F^{m\times n}$的所有行向量的线性组合构成了$F^n$的一个生成子空间，常称为A的行空间。注意，$A$的行向量就是$A^T$的列向量，因此$A$的行空间实际上就是$R(A^T)$。

內积公理

设V是数域F上的线性空间，若在V的任意两个向量间定义了满足以下4条內积公理的二元运算$V\times V\to F$，则称V是內积空间。若$F=R$，则称V是实内积空间，或欧式空间（也有资料认为有限维的实内积空间才叫欧式空间）；若$F=C$，则称V是复内积空间，或酉空间。

• 共轭对称性：$⟨x,y⟩=\overline{⟨y,x⟩}$
• 加性：$⟨x+y,z⟩=⟨x,z⟩+⟨y,z⟩$
• 齐性：$⟨kx,y⟩=k⟨x,y⟩,k\in F$
• 非负性/正定性：$⟨x,x⟩\in R\wedge ⟨x,x⟩⩾0$，且$⟨x,x⟩=0$的充要条件为$x=0$

设$F$为任一数域，在$F^n$中定义向量的欧氏內积为$⟨x,y⟩=y^{H}x$，易验证是满足內积公理的。欧氏內积是$F^n$中最常用的向量內积，如无特别说明，$F^n$中的內积默认是欧氏內积。
注意上述内积公理的定义对任意数域F上的线性空间都是适用的，当数域$F$为实数域或有理数域时，内积公理的第一条“共轭对称性”将自动退化为对称性。

从上面的公理可以推导出：

• $⟨x,y+z⟩=⟨x,y⟩+⟨x,z⟩$
• $⟨x,ky⟩=\bar{k}⟨x,y⟩,k\in F$
• 柯西施瓦兹不等式：$|⟨x,y⟩|⩽\sqrt{⟨x,x⟩}\sqrt{⟨y,y⟩}$，等号当且仅当x和y线性相关时取

下面我们证明柯西施瓦兹不等式这个內积空间中最基本的不等式。在此之前，有必要引入向量的正交投影这个概念，使读者更容易理解柯西施瓦兹不等式的几何意义。

• 向量的夹角:向量x和y的夹角余弦定义为$cos(x,y)=\frac{⟨x,y⟩}{||x|{|}_2||y|{|}_2}$
  【注1】若在复內积空间中探讨，则余弦值为复数；若在实內积空间中探讨，则余弦值为实数
  【注2】这个定义的几何意义其实在高中数学中有讲到，只不过当时$||x|{|}_2$被称为向量的模，也就是向量的长度，$⟨x,y⟩$是向量的点积$x\bullet y$。在实数域下，$x\bullet y=x^{T}y=y^{T}x$。
• 向量正交：若x和y的夹角是$90^{\circ }$，即$cos(x,y)=0$，$⟨x,y⟩=0$，则称x和y正交（垂直）
• 向量的正交投影
  所谓向量的投影，就是将向量$x$分解为两个向量的和$x=x_1+x_2$，使得其中一个向量（例如$x_1$）与一给定的非零向量$y$共线。$x_1$被称作是$x$在$y$上的一个投影。而正交投影是说，$x$在$y$上的投影$x_1$必须满足$x_2=x-x_1$与$y$正交。从几何上看（如下图），过向量$x$的头部作向量$y$的垂线，得到的投影$x_1$就是$x$到$y$的正交投影，满足$x_2=x-x_1$（图中未标出）与图中的虚线平行。
  
  正交投影$x_1$的具体表达式是什么呢？我们可以通过下面的推理构造出来：
  已知$x_1$与$y$共线，因此存在常数$k\in F$使$x_1=ky$，$x_2=x-x_1=x-ky$应与$y$垂直/正交，因此必须满足$⟨x-ky,y⟩=0$。现在运用內积公理求出常数$k$：$⟨x-ky,y⟩=⟨x,y⟩-⟨ky,y⟩=⟨x,y⟩-k⟨y,y⟩=0$，因此$k=\frac{⟨x,y⟩}{⟨y,y⟩}$。
  这就得到了正交投影的具体表达式$x_1=\frac{⟨x,y⟩}{⟨y,y⟩}y$。

柯西施瓦兹不等式的证明：

• 定理：设V是数域F上的内积空间，则$\forall x,y\in V$，有$|⟨x,y⟩|⩽\sqrt{⟨x,x⟩}\sqrt{⟨y,y⟩}$，当且仅当$x$和$y$线性相关时取等号

  证明：
  （法1）（实际上，柯西施瓦兹不等式是基于这样一个简单的事实：把向量$x$正交投影到向量$y$上，得到$x$的分量$\frac{⟨x,y⟩}{⟨y,y⟩}y$，则$x$的另一个分量是$z=x-\frac{⟨x,y⟩}{⟨y,y⟩}y$，有$⟨z,z⟩⩾0$）
  若$y=0$，显然结论成立。若$y\ne 0$，令$z=x-\lambda y$，其中$\lambda =\frac{⟨x,y⟩}{⟨y,y⟩}$，则$$\begin{array}{rl}0& ⩽⟨z,z⟩\\ & =⟨x,x⟩-⟨x,\lambda y⟩-⟨\lambda y,x⟩+⟨\lambda y,\lambda y⟩\\ & =⟨x,x⟩-\overline{\lambda }⟨x,y⟩-\lambda ⟨y,x⟩+\lambda \overline{\lambda }⟨y,y⟩\\ & =⟨x,x⟩-\frac{|⟨x,y⟩{|}^2}{⟨y,y⟩}-\frac{|⟨x,y⟩{|}^2}{⟨y,y⟩}+\frac{|⟨x,y⟩{|}^2}{⟨y,y⟩}\\ & =⟨x,x⟩-\frac{|⟨x,y⟩{|}^2}{⟨y,y⟩}\end{array}$$故$|⟨x,y⟩|⩽\sqrt{⟨x,x⟩}\sqrt{⟨y,y⟩}$，显然当且仅当$z=0$即$x=\lambda y$时取等号，得证。

  （法2）
  引入实值函数$f(k)=⟨x+ky,x+ky⟩,k\in C$，记$k=a+bi,a,b\in R$，其中$i$是虚数单位，$g(a,b)=f(k)=⟨x+(a+bi)y,x+(a+bi)y⟩$。
  当$x$和$y$线性无关时，必对$\forall k\ne 0$，有$x+ky\ne 0$，故由內积公理知$g(a,b)>0$。$$\begin{array}{rl}g(a,b)& =⟨x+(a+bi)y,x+(a+bi)y⟩\\ & =⟨x,x⟩+|a+bi{|}^2⟨y,y⟩+(a-bi)⟨x,y⟩+(a+bi)\overline{⟨x,y⟩}\\ & =(a^2+b^2)⟨y,y⟩+a(⟨x,y⟩+\overline{⟨x,y⟩})-bi(⟨x,y⟩-\overline{⟨x,y⟩})+⟨x,x⟩\end{array}$$
  $\frac{\partial g}{\partial a}=2a⟨y,y⟩+⟨x,y⟩+\overline{⟨x,y⟩}=2a⟨y,y⟩+2Re\{⟨x,y⟩\}$
  $\frac{\partial g}{\partial b}=2b⟨y,y⟩-i(⟨x,y⟩-\overline{⟨x,y⟩})=2b⟨y,y⟩+2Im\{⟨x,y⟩\}$
  hessian矩阵$\left[\begin{array}{cc}\frac{{\partial }^{2}g}{{\partial }^{2}a}& \frac{{\partial }^{2}g}{\partial a\partial b}\\ \frac{{\partial }^{2}g}{\partial b\partial a}& \frac{{\partial }^{2}g}{{\partial }^{2}b}\end{array}\right]=2\left[\begin{array}{cc}⟨y,y⟩& 0\\ 0& ⟨y,y⟩\end{array}\right]$是对称半正定的，故$g$是$R^2$上的凸函数。令$\frac{\partial g}{\partial a}=0$且$\frac{\partial g}{\partial b}=0$得极值点$a_0=-\frac{Re\{⟨x,y⟩\}}{⟨y,y⟩}$，$b_0=-\frac{Im\{⟨x,y⟩\}}{⟨y,y⟩}$，故$g$的最小值为$$\begin{array}{rl}g(a_0,b_0)& =\frac{|⟨x,y⟩{|}^2}{⟨y,y⟩}-\frac{2R{e}^2\{⟨x,y⟩\}}{⟨y,y⟩}-\frac{2I{m}^2\{⟨x,y⟩\}}{⟨y,y⟩}+⟨x,x⟩\\ & =-\frac{|⟨x,y⟩{|}^2}{⟨y,y⟩}+⟨x,x⟩\\ & >0\end{array}$$即$|⟨x,y⟩|<\sqrt{⟨x,x⟩⟨y,y⟩}$。
  当$x$和$y$线性相关，即存在$t\ne 0$使得$x=ty$时，易验证$|⟨x,y⟩|=\sqrt{⟨x,x⟩⟨y,y⟩}$。证毕。

  【注】对复数$x$，$Re\{x\}$是$x$的实部，$Im\{x\}$是$x$的虚部。法1和法2其实是从相同的角度出发，但用了不同的手段，法1是根据几何意义直截了当地构造出了辅助函数$f(k)=⟨x+ky,x+ky⟩,k\in C$的极值点（垂直距离最短），法2是先利用分析学方法对辅助函数的性质做一刻化，然后得到极值点。更多证法请参考维基百科。

范数公理

在数域F上的线性空间$V$中，若给每个向量赋予唯一的一个实数，当该实数满足如下四条范数公理时，称给每个向量定义了范数，并称$V$是赋范空间：

• 非负性/正定性：$||x||⩾0$，且$||x||=0$的充要条件是$x=0$
• 齐次性：$||cx||=|c|||x||,c\in F$
• 三角不等式：$||x+y||⩽||x||+||y||$

线性空间中內积与范数的关系（内积诱导的范数）：

• 定理：设$⟨\bullet ,\bullet ⟩$是内积空间$V$上的內积，则$f(x)=\sqrt{⟨x,x⟩}$可作为$V$上的范数（称$\sqrt{⟨x,x⟩}$是由内积诱导的范数）

  证明：
  由內积的正定性可直接得$f$的正定性。
  $\forall c\in F$，$f(cx)=\sqrt{⟨cx,cx⟩}=\sqrt{\bar{c}c⟨x,x⟩}=\sqrt{|c{|}^2⟨x,x⟩}=|c|\sqrt{⟨x,x⟩}=|c|f(x)$，故$f$满足齐次性。
  由內积的柯西施瓦兹不等式，得$Re\{⟨x,y⟩\}⩽|⟨x,y⟩|⩽\sqrt{⟨x,x⟩}\sqrt{⟨y,y⟩}$，故$$\begin{array}{rl}f(x+y)& =\sqrt{⟨x+y,x+y⟩}\\ & =\sqrt{⟨x,x⟩+⟨y,y⟩+2Re\{⟨x,y⟩\}}\\ & ⩽\sqrt{⟨x,x⟩+⟨y,y⟩+2\sqrt{⟨x,x⟩}\sqrt{⟨y,y⟩}}\\ & =\sqrt{⟨x,x⟩}+\sqrt{⟨y,y⟩}\\ & =f(x)+f(y)\end{array}$$故$f$满足三角不等式。综上，$f$可作为$V$上的一种范数。

  【注】这一定理说明，任意内积空间都可以定义范数（由内积诱导的范数），使其成为一个赋范空间。（不严谨的说法是，任意内积空间都是赋范空间）

内积诱导的范数的性质：

• 勾股定理
  若$⟨x,y⟩=0$，则$||x+y|{|}^2=||x|{|}^2+||y|{|}^2$
• 平行四边形公式
  $||x+y|{|}^2+||x-y|{|}^2=2(||x|{|}^2+||y|{|}^2)$
• 极化恒等式（内积诱导的范数可以表达出内积本身）
  在实数域下，$⟨x,y⟩=\frac{1}{4}(||x+y|{|}^2-||x-y|{|}^2)$
  在复数域下，$⟨x,y⟩=\frac{1}{4}(||x+y|{|}^2-||x-y|{|}^2+i||x+iy|{|}^2-i||x-iy|{|}^2)$（$i$是虚数单位）

$R^m$或$C^m$中常用的向量范数

• $l_1$范数：$||x|{|}_1={\sum }_{i=0}^m|x_i|$

• $l_2$范数（又称Frobenius范数、欧几里得范数等）：$||x|{|}_2=\sqrt{{\sum }_{i=0}^m|x_i{|}^2}$，即$||x|{|}_2=\sqrt{x^{H}x}$

• $l_p$范数：$||x|{|}_p=({\sum }_{i=1}^m|x_i{|}^p{)}^{\frac{1}{p}},p\in R\wedge p⩾1$

• $l_{\infty }$范数：当$l_p$范数中的$p$趋于正无穷时，其极限是存在的，称该极限为$l_{\infty }$范数。现在证明该极限是存在的：

  证明：
  记$S=max\{|x_1|,|x_2|,\cdots ,|x_m|\}$。$$S=(S^p{)}^{\frac{1}{p}}⩽(\sum _{i=1}^m|x_i{|}^p{)}^{\frac{1}{p}}⩽(m{S}^p{)}^{\frac{1}{p}}=m^{\frac{1}{p}}S$$$$\underset{p\to +\infty }{\lim }S=\underset{p\to +\infty }{\lim }{m}^{\frac{1}{p}}S=S$$由夹逼定理$$\underset{p\to +\infty }{\lim }(\sum _{i=1}^m|x_i{|}^p{)}^{\frac{1}{p}}=S=max(|x_1|,|x_2|,\cdots ,|x_m|)$$因此我们定义$||x|{|}_{\infty }=max(|x_1|,|x_2|,\cdots ,|x_m|)$。

• 向量间的距离：常采用两向量差的$l_p$范数作为这两个向量间的距离的定义，以下是各个范数定义出的距离的名称。

  • 欧几里得距离（欧式距离）：$d(x,y)=||x-y|{|}_2$
  • 曼哈顿距离：$d(x,y)=||x-y|{|}_1$
  • 切比雪夫距离：$d(x,y)=||x-y|{|}_{\infty }$

• 向量间的距离的性质（根据范数公理得出）：

  • 对称性$d(x,y)=d(y,x)$
  • 非负性$d(x,y)⩾0$，等号当且仅当x=y时取
  • 三角不等式$d(x,y)⩽d(x,z)+d(z,y)$

线性空间的基（仅限有限维空间）

对数域F上一有限维线性空间V，n维向量组的线性无关、极大无关组等概念都可以直接搬过来用。实际上线性空间可以看做一个特殊的向量组（不过不一定是n维向量组，这里的向量应该抽象地理解，实际上就是指V这一集合中的元素），特殊在它对线性运算具有封闭性，这也导致它要么是只含一个向量的向量组（零元），要么是含有无穷多向量的向量组。正因为线性空间这样的特殊性，需要引入一些新的概念来描述它。

• 定义：若V中的线性无关向量组可以含任意多个向量，则称V是无限维空间，否则称V是有限维空间

• 定义：若V的一个线性无关向量组满足任意V中向量都可由该组线性表示，则称该线性无关组是V的一组基

• 定理：有限维空间V必有极大无关组，V的所有极大无关组都含有相同数目的向量，都可以作为V的一组基。定义V的极大无关组所含向量的个数为V的维数，记作$\dim V$。对于n维线性空间V，V中任意n个线性无关的向量都可构成V的一组基。V中任意向量都可由V的一组基唯一地线性表示。

• 定义：设有限维空间V的一个基向量组为$a_1,a_2,\cdots ,a_n$，任意V中向量x可由它唯一地线性表示，即存在唯一的向量z使得$x=\left[\begin{array}{ccc}{a}_1& \cdots & a_n\end{array}\right]z$，称z是x在该基下的坐标向量，简称坐标

  【注】$\left[\begin{array}{ccc}{a}_1& \cdots & a_n\end{array}\right]$不是通常意义的矩阵，这里只是引用矩阵的记法以及矩阵与向量的乘法来简洁地表达x与z的关系。

• 定义：设有限维空间V的两组基分别为$a_1,a_2,\cdots ,a_n$和$b_1,b_2,\cdots ,b_n$，则$b_i$可由$a_1,a_2,\cdots ,a_n$线性表示，即存在$z_i\in F^n$使得$b_i=\left[\begin{array}{ccc}{a}_1& \cdots & a_n\end{array}\right]z_i$，记矩阵$Z=\left[\begin{array}{cccc}{z}_1& z_2& \cdots & z_n\end{array}\right]$，则有$\left[\begin{array}{cccc}{b}_1& b_2& \cdots & b_n\end{array}\right]=\left[\begin{array}{ccc}{a}_1& \cdots & a_n\end{array}\right]Z$，称Z是从基$a_1,a_2,\cdots ,a_n$到基$b_1,b_2,\cdots ,b_n$的过渡矩阵

• 定理：有限维空间V的基$a_1,a_2,\cdots ,a_n$到基$b_1,b_2,\cdots ,b_n$的过渡矩阵$Z$是可逆矩阵

  证明：（反证法）
  假设$Z=\left[\begin{array}{ccc}{z}_1& \cdots & z_n\end{array}\right]$不可逆，即$Z$的列向量组是线性相关的，则存在$0⩽i⩽n$以及$k_1,\cdots ,k_{i-1},k_{i+1},\cdots ,k_n\in F$使得$z_i={\sum }_{j\ne i}{k}_j{z}_j$。则$$\begin{array}{rl}{b}_i& =\left[\begin{array}{ccc}{a}_1& \cdots & a_n\end{array}\right]z_i\\ & =\left[\begin{array}{ccc}{a}_1& \cdots & a_n\end{array}\right]\sum _{j\ne i}{k}_j{z}_j\\ & =\sum _{j\ne i}{k}_j\left[\begin{array}{ccc}{a}_1& \cdots & a_n\end{array}\right]z_j\\ & =\sum _{j\ne i}{k}_j{b}_j\end{array}$$即$b_1,b_2,\cdots ,b_n$是线性相关的，这与基的定义相矛盾，故假设不成立。故$Z$是可逆矩阵。

• 定义：（正交向量组和标准正交向量组）若V的一个向量组不含零向量，且任意两向量正交，则称该向量组是一个正交向量组。如果V的正交向量组的每个向量都是单位向量，则称该正交向量组是标准正交向量组

• 定理：正交向量组一定是线性无关向量组

• 定义：n维内积空间V的n个向量构成的正交向量组称为V的正交基，若某正交基的每个向量是单位向量，则称该正交基为V的标准正交基（单位向量是指满足$⟨x,x⟩=1$）

• 定理：设$a_1,a_2,\cdots ,a_n$是内积空间V的一个正交基，则$$\forall x\in V,x=\sum _{i=1}^n\frac{⟨x,a_i⟩}{⟨a_i,a_i⟩}{a}_i$$
  【注】对于实內积空间，$⟨a_i,x⟩=⟨x,a_i⟩$，但对于复內积空间，$⟨a_i,x⟩=\overline{⟨x,a_i⟩}$。上式对于实內积空间和复內积空间都成立。这个定理说明，只要在线性空间上定义出内积这个东西，那么任意向量在给定基下的表示都是可以求的（用内积表示出来）。

• Gram-Schmidt正交化方法：任意$n$维内积空间V都有标准正交基，其标准正交基可从$V$的任何一组基$a_1,a_2,\cdots ,a_n$构造而得：$$\begin{array}{rl}& b_1=a_1\\ & b_2=a_2-\frac{⟨a_2,b_1⟩}{⟨b_1,b_1⟩}{b}_1\\ & b_3=a_3-\frac{⟨a_3,b_1⟩}{⟨b_1,b_1⟩}{b}_1-\frac{⟨a_3,b_2⟩}{⟨b_2,b_2⟩}{b}_2\\ & \cdots \cdots \cdots \\ & b_n=a_n-\frac{⟨a_n,b_1⟩}{⟨b_1,b_1⟩}{b}_1-\frac{⟨a_n,b_2⟩}{⟨b_2,b_2⟩}{b}_2-\cdots -\frac{⟨a_n,b_{n-1}⟩}{⟨b_{n-1},b_{n-1}⟩}{b}_{n-1}\end{array}$$这就构造出了V的一组正交基，只要再将每个基向量单位化就得到V的一组标准正交基。

  【注1】其实Gram-Schmidt正交化方法是根据几何意义得出的，基本思路很简单：当我们已经使用$a_1,a_2,...,a_k$构造出正交向量组$b_1,b_2,...b_k$时，我们考虑如何将这个正交向量组扩充为$k+1$个向量。取$a_{k+1}$，将它依次正交投影到$b_1,b_2,...,b_k$上，得到分量$\frac{⟨a_{k+1},b_1⟩}{⟨b_1,b_1⟩}{b}_1,\frac{⟨a_{k+1},b_2⟩}{⟨b_2,b_2⟩}{b}_2,\cdots ,\frac{⟨a_{k+1},b_k⟩}{⟨b_k,b_k⟩}{b}_{n-1}$，那么$a_{k+1}$减去所有这些分量后得到的自然就是与$b_1,b_2,...,b_k$都正交的向量。令这个结果为$b_{k+1}$，可以看出$b_{k+1}\ne 0$（否则$a_{k+1}$就可由$a_1,a_2,...,a_k$线性表出了），于是就有正交向量组$b_1,b_2,...,b_{k+1}$。

  【注2】Gram-Schmidt正交化方法还有一个理论分析上很好用的地方：任意正交向量组可以扩充为完整的正交基。设$a_1,a_2,...,a_r$是$n$维內积空间$V$的一个正交向量组，根据下面的扩充定理，可以把$a_1,a_2,...,a_r$扩充为基$a_1,a_2,...,a_n$。使用上面的公式计算得到正交基$b_1,b_2,...b_n$，你会发现$b_1=a_1$，$b_2=a_2$，……，$b_r=a_r$。也就是说，这是正交向量组$a_1,a_2,...,a_r$扩充后的结果。

• 扩充定理：对任意r维线性空间V，V的任意一个线性无关组都可以扩充为V的一组基

  证明：
  对V中任意线性无关组U，若U含有r个向量，则U就是V的一组基。若U含有$n<r$个向量，取$V$的一组基$U^{{}^{\prime }}$，则存在$U^{{}^{\prime }}$中的一个向量x，x不能用U线性表示（用反证法：U可以用$U^{{}^{\prime }}$线性表示，假设$U^{{}^{\prime }}$可以用U线性表示，则U和$U^{{}^{\prime }}$是等价的，它们含有的向量个数相同，这与$n<r$是矛盾的，故假设不成立）。所以$U\cup \text{x}$是线性无关的（若$U\cup \text{x}$是线性相关的，则由U线性无关知，x可由U线性表示，这是矛盾的）。将x加入U中，得到$n+1$个线性无关的向量。重复以上步骤，直到U中含有r个向量，这就将开始时的U扩充为了V的一组基。得证。

• 设$a_1,a_2,...,a_r$是$F^n$的一个线性无关向量组，则可通过如下方法将$a_1,a_2,...,a_r$扩充为$F^n$的一组基：

  方法：
  设$A=\left[\begin{array}{cccc}{a}_1& a_2& \cdots & a_r\end{array}\right]$，则A是一个列满秩矩阵，故可通过有限步初等行变换将A变换成它的秩标准形，即存在可逆矩阵P使得$PA=\left[\begin{array}{c}{I}_r\\ O\end{array}\right]$。设$B=P^{-1}\left[\begin{array}{cc}{I}_r& O\\ O& I_{n-r}\end{array}\right]=P^{-1}$，则B是可逆矩阵，B的列向量组是$F^n$的一组基。由于$$B=\left[\begin{array}{cc}{P}^{-1}\left[\begin{array}{c}{I}_r\\ O\end{array}\right]& P^{-1}\left[\begin{array}{c}O\\ I_{n-r}\end{array}\right]\end{array}\right]=\left[\begin{array}{cc}A& P^{-1}\left[\begin{array}{c}O\\ I_{n-r}\end{array}\right]\end{array}\right]$$，故B的列向量组包含了A的列向量组，这就将A的列向量组扩充为了$F^n$的一组基。

• 设V是$F^n$的一个m维线性子空间，且$a_1,a_2,...,a_r$是V中一组线性无关的向量，则可通过如下方法将$a_1,a_2,...,a_r$扩充为V的一组基：

  方法：
  设$b_1,b_2,\cdots ,b_m$是已知的V的一组基，设$B=\left[\begin{array}{cccc}{b}_1& b_2& \cdots & b_m\end{array}\right]$，$A=\left[\begin{array}{cccc}{a}_1& a_2& \cdots & a_r\end{array}\right]$，A的列向量组可以用B的列向量组线性表示，设$a_i=B{x}_i$，求出每个$x_i$。设$X=\left[\begin{array}{cccc}{x}_1& x_2& \cdots & x_r\end{array}\right]$，则$A=BX$，显然X是一个列满秩矩阵，可以通过扩充的方法（见上一条）将X扩充为$\left[\begin{array}{cc}X& X^{{}^{\prime }}\end{array}\right]$，它有m个线性无关的列向量。显然$B\left[\begin{array}{cc}X& X^{{}^{\prime }}\end{array}\right]$的列向量组是线性无关的，且都在V内，故可作为V的一组基，又知它包含了A的列向量组，这就将A的列向量组扩充为了V的一组基。

子空间的运算与关系（仅限有限维空间）

交、和、直和、正交补

（注意，子空间的交与并就是集合的交与并）

• 定理：设$V_1$、$V_2$是数域F上的线性空间V的两个子空间，则$V_1\cap V_2$也是V的子空间

• 定义：设$V_1$、$V_2$是数域F上的线性空间V的两个子空间，定义$V_1$、$V_2$的和为：$V_1+V_2=\left\{x+y\mid x\in V_1,y\in V_2\right\}$

• 定理：设$V_1$、$V_2$是数域F上的线性空间V的两个子空间，则$V_1+V_2$也是V的子空间

• 定义：若$V_1+V_2$中的任意向量可唯一地表示为$V_1$中一个向量和$V_2$中一个向量的和，则称$V_1+V_2$是$V_1$和$V_2$的直和，记为$V_1\oplus V_2$

• 定理：$V_1+V_2=V_1\oplus V_2$的充要条件为$V_1\cap V_2=L(0)$，其中$L(0)=\{0\}$是V的零子空间

  证：
  必要性：由线性空间的定义，$L(0)\subseteq V_1\cap V_2$，故只需证$V_1\cap V_2\subseteq L(0)$。任取$x\in V_1\cap V_2$，则$x\in V_1$且$x\in V_2$，由线性空间对数乘的封闭性知$-x\in V_2$。在$V_1+V_2$中，零向量$0=x+(-x)$，其中$x\in V_1,-x\in V_2$，另一方面，$0=0+0$，其中$0\in V_1$且$0\in V_2$。由直和的定义知$x=0$，故$V_1\cap V_2\subseteq L(0)$。
  充分性：任取$x\in V_1+V_2$，若$x$可表示为$x=y_1+z_1=y_2+z_2$，其中$y_1,y_2\in V_1$，$z_1,z_2\in V_2$，则有$y_1-y_2=z_2-z_1$，记$x^{\prime }=y_1-y_2=z_2-z_1$，则由线性空间的封闭性知$x^{\prime }\in V_1$且$x^{\prime }\in V_2$，即$x^{\prime }\in V_1\cap V_2=L(0)$，得$x^{\prime }=0$，故$y_1=y_2,z_1=z_2$，可见$x$可唯一表示为$V_1$中一向量和$V_2$中一向量之和，故$V_1+V_2=V_1\oplus V_2$。

• 定理：设$V_1$、$V_2$是数域F上的线性空间V的两个子空间，$V_1+V_2=V_1\oplus V_2$，则任取$V_1$的一组基$U_1$以及$V_2$的一组基$U_2$，有$U_1\cap U_2=\varnothing$且$U_1\cup U_2$是$V_1+V_2$的一组基

  证明：
  设$U_1=\{a_1,...,a_k\}$，$U_2=\{b_1,...,b_l\}$。首先证明$a_1,...,a_k,b_1,...,b_l$线性无关（从而有$U_1\cap U_2=\varnothing$）。任取$c_1,...,c_k,d_1,...,d_l\in F$，满足$c_1{a}_1+...+c_k{a}_k+d_1{b}_1+...+d_l{b}_l=0$，则$c_1{a}_1+...+c_k{a}_k=-(d_1{b}_1+...+d_l{b}_l)\in V_1\cap V_2=L(0)$，故$c_1{a}_1+...+c_k{a}_k=0$且$d_1{b}_1+...+d_l{b}_l=0$，由基的线性无关性得$c_1=...=c_{}$