正交矩阵和Gram-Schmidt正交化

今天我们学习一下正交向量（orthogonal vector）和正交矩阵（orthogonal matrix）。设有一组向量q1,q2…qn，如果任意的q都与其他的q正交，且每个q向量长度都为1，那么这组向量就是正交向量，用数学式子来表达就是：

注意准确说这组向量应该是标准正交向量（orthonormal vector），因为每个q向量长度都为1，即经过归一化的（normalization），但根据已有的惯例，其实没有标准正交向量（orthonormal vector）或标准正交矩阵（orthonormal matrix）这种说法，只有正交向量或正交矩阵的说法，所以要注意后面说的正交向量或正交矩阵其实已经是归一化的。

现将上面的正交向量放入矩阵Q，则Q=[q1……qn]，由于 ，则有，若Q是方阵，那么Q存在逆矩阵，则Q^TQ等于I说明Q^-1=Q^T，我们将列由正交向量构成的方阵称为正交矩阵（orthogonal matrix），要注意Q必须是方阵才能称为正交矩阵。举几个正交矩阵的例子，比如 均是正交矩阵，它们是方阵，且每列都为单位长度，列之间两两垂直，满足Q^TQ=I，最后再给出一个比较特殊的例子，Q= ，这个矩阵称为Adhemar矩阵，全部由1和 -1构成，已有的研究表明2，4，16，64维的矩阵可以通过类似的方法构造，但是究竟哪些维数的正交矩阵可以由1和-1构成还不清楚，只能说有些维数可以，有些维数不行，比如说5维就不可能。

那么使用正交矩阵有什么好处呢？令矩阵Q为由正交向量构成的矩阵（Q不一定是方阵），现需要将向量b投影Q的列空间中，那么投影矩阵为 ，因为 ，所以公式变成 ，如果矩阵Q是方阵且各列是标准正交的，即Q是正交矩阵，那么其列空间就是整个空间，那b投影到整个空间的投影矩阵是I， ，则Q^-1=Q^T，这跟上面得到的结论是一致的，当矩阵Q各列正交时，不仅投影矩阵可化简，投影方程 也可化简， 左边等于单位阵，不需要再计算逆矩阵，得到 ，也就是说 。

Gram-Schmidt正交化

Gram-Schmidt正交化方法是将线性无关的向量转化为标准正交化向量的方法，注意这里的前提，Gram-Schmidt正交化方法是对线性无关的向量操作，我们从最简单的两列情况开始，假设有两无关向量a、b，我想得到正交化向量A、B以及标准正交化向量q1、q2，第一个向量不变，即A=a，我们希望从b中求得一个向量，使其正交于A，结合上一篇博文，易得这个向量为e=b-p，其中p为b在A上的投影，e不可能为0，因为a、b是无关的，因此，这就是Gram-Schmidt公式，假如再来一个向量c，即总共三个向量a，b，c，那么同样只要找到c中垂直于A、B两个向量的分量， ，最后进行归一化得到 ，现在我们举个具体的例子，令 ，则 有

所以 ，记 （前面已经用A做过记号A=a，这里仍然取为A是因为以前的博文中使用的都是记号A，所以还是记为A吧，下面的A都是指 ），Q的列空间和A的列空间是一样的，因为新计算的B和C只不过是a和b的组合。最后，跟消元类似，我们也可以从矩阵的角度来看Gram-Schmidt正交化，正交化过程可表示为A=QR，注意R是一个上三角矩阵， ，因此