矩阵分析与应用（三）——基与Gram-Schmidt正交化

  n维Euclidean空间只有一个，但是n维向量空间却有无穷多个，如x={0,0,α,β,γ}和y={1,5,α,β,γ}就是两个完全不同的5维向量空间，虽然他们都在5阶Euclidean空间内。
  我们知道，n维空间的多个向量的线性组合也属于n维空间（根据向量空间加法运算的闭合性）。因此，我们引出：
  由n维向量x1,x2,...,xm所有的线性组合的集合W称为由x1,x2,...,xm张成的子空间。x1,x2,...,xm称为W的张成集。

  可以看到，任意一个空间W的张成集都不是唯一的，这些集合称为平凡张成集，对平凡张成集进行分析显然是没有意义的，为此我们需要寻找一种张成集， 该集合中包括张成空间W所需的最小个数的向量，也即空间的基：
  生成子空间W的线性无关的向量集合称为W的基。

  子空间的基也不是唯一的，但是它们包含的向量个数时相同的，等于子空间的维度。

• 对偶基：
  如果α1,α2,...,αm和β1,β2,...,βm是两组不同的基，并且αHiβi=0，则称其中一组基是另外一组的对偶基。
• 正交基：
  如果一个基的所有向量之间相互正交，则称其为正交基。
• 标准正交基：
  如果一个正交基的每个向量的范数均为1，则成为标准正交基。

  在很多时候，我们需要对某个空间的标准正交基进行分析变换，这就要涉及到基的正交化，其中最常用的便是Gram-Schmidt正交化。

Gram-Schmidt正交化

  令x1,x2,...,xm时子空间W的任何一组基，则通过以下变换生成的μ1,μ2,...,μm为一组标准正交基：

p1=x1，μ1=p1∥p1∥

pk=xk−∑ik−1(μHkxk)μi，μk=pk∥pk∥

  可以使用数学归纳法证明，经过上述过程生成的基是标准正交基。
  Gram-Schmidt正交化的主要缺点是，在某些情况下，数值性能不是很好，为此修正的Gram-Schmidt正交化法能很好地解决这个问题：

μ1=x1∥x1∥

对所有的向量进行第一次修正x(1)i=xi−μH1xiμ1

构造第二个向量μ2=x2∥x2∥

对所有的向量进行第二次修正x(2)i=x(1)i−μH2x(1)iμ2，依次类推