11正交矩阵和Gram-Schmidt正交化法

转载自：https://blog.csdn.net/huang1024rui/article/details/69568991

这是关于正交性最后一讲，已经知道正交空间，比如行空间和零空间，今天主要看正交基和正交矩阵

1.标准正交基与正交矩阵

---

1.定义标准正交向量（orthonormal）： qTiqj={01i!=ji=j q i T q j = { 0 i!=j 1 i=j

2.将标准正交向量放入矩阵中,有 Q=[q1q2…qn] Q = [ q 1 q 2 … q n ] ，计算 QTQ Q T Q

QTQ=⎡⎣⎢⎢⎢⎢⎢10⋮001⋮0......⋱⋯00⋮1⎤⎦⎥⎥⎥⎥⎥=I Q T Q = [ 1 0 . . . 0 0 1 . . . 0 ⋮ ⋮ ⋱ ⋮ 0 0 ⋯ 1 ] = I

我们也把 Q Q 成为标准正交矩阵（orthonormal matrix）

---

标准正交基

例1:

例2：

Q=12–√[111−1] Q = 1 2 [ 1 1 1 − 1 ]

上面矩阵列向量长度为1，列向量相互正交。

例3：

Q′=c[QQQ−Q] Q ′ = c [ Q Q Q − Q ]

上面矩阵取合适的c使得矩阵的列向量长度为1，也可以构造标准正交矩阵。构造结果如下：

Q=12⎡⎣⎢⎢⎢11111−11−111−1−11−1−11⎤⎦⎥⎥⎥ Q = 1 2 [ 1 1 1 1 1 − 1 1 − 1 1 1 − 1 − 1 1 − 1 − 1 1 ]

这种构造方法以阿德玛（Adhemar）命名，对2,4,16,64,⋯阶矩阵有效。

格拉姆-施密特正交化法的缺点在于，由于要求得单位向量，所以我们总是除以向量的长度，这导致标准正交矩阵中总是带有根号，而上面几个例子很少有根号。

标准正交矩阵

QTQ Q T Q 对任意的 Q Q 都成立，但我们更关注 Q Q 为方阵时的情况，因为其有逆且由 QTQ=I⇒Q−1=QT Q T Q = I ⇒ Q − 1 = Q T ，我们叫这种column vector为标准正交向量组成且为方阵的矩阵为**正交矩阵**orthogonal matrix。

注意：标准正交矩阵 orthogonormal matrix不一定是方阵，当它是方阵的时候，我们叫它正交矩阵 orthogonal matrix。

---

1.2正交矩阵

为什么我们如此关注标准正交矩阵 orthogonormal matrix为方阵 的情形？

上一讲我们研究了 ATA A T A 的特性，联系我们之前学习的投影矩阵projection matrix，将向量 b b 投影在标准正交矩阵Q的列空间中，根据上一讲的公式得 P=Q(QTQ)−1QT P = Q ( Q T Q ) − 1 Q T ，由于标准正交矩阵Q的性质，易得 P=QQT P = Q Q T 。

我们断言，当列向量为标准正交基时， QQT Q Q T 是投影矩阵。极端情况，假设矩阵是方阵，而其列向量是标准正交的，则其列空间就是整个向量空间，而投影整个空间的投影矩阵就是单位矩阵，此时 QQT=I Q Q T = I 。

我们计算的 ATAx=ATb A T A x = A T b ，现在变为 QTQx^=QTb Q T Q x ^ = Q T b ，也就是 x=QTb x = Q T b ，分解开来看就是 x^qTi=qTib x ^ q i T = q i T b ，这个式子在很多数学领域都有重要作用。当我们知道标准正交基，则解向量第 i i 个分量为基的第 i i 个分量乘以b，在第 i i 个基方向上的投影就等于 qTib q i T b 。

2. Gram-Schmidt正交化法

这是一种将矩阵转化为标准正交向量orthogonormal matrix的方法。按老师的说法Schmidt教我们如何将一个向量标准化normalized，而Graham教我们如何使得各个向量正交orthogonal。

总思路： 已知相互无关的向量 a,b a , b ，目标要将 a,b a , b 变成相互正交且长度为1的 q1,q2 q 1 , q 2 ，可将向量 a a 固定，然后 b b 投影到 a a 上，误差 e=b e = b .