线性代数 -- 正交矩阵和Gram-Schmidt正交化
今天来谈谈正交矩阵和Gram-Schmidt正交化。 先来看看正交矩阵
正交矩阵
在详细讨论正交矩阵之前， 我们先来看看正交向量。 假设q1, q2……qn 是一组正交向量， 那么每一个q向量都和其他的q向量正交（垂直）。 也就是说：如果一组向量中任一向量与除它自己之外的向量都正交， 那么就称这组向量是正交向量, 易知：qiTqj = 0（i != j）。 在上面那组向量中， 如果所有 q 向量的长度都为 1， 那么称为标准正交向量， 但是根据以往的惯例是没有标准正交向量或者标准正交矩阵这种说法的。
什么是正交矩阵
Q：什么是正交矩阵？
A：一般来说， 由正交向量构成的方阵我们称之为正交矩阵
下面我将正交向量放入矩阵 Q 中：Q = [q1, q2, q3……qn], 因为qiTqj = 0（当i != j）， 所以存在QTQ = I, 也就是, 前面我已经说过正交矩阵的概念， 如果 Q 是一个正交矩阵 要满足什么条件呢？ 方阵。 那么 Q 存在逆矩阵并且 Q-1Q = I, 即QT = Q-1。
下面我举几个正交矩阵的例子：
还有一个特殊的例子：
上面这个矩阵称为Adhemar矩阵， 该矩阵的特点是全部由-1和1组成并且任意两列的内积为零。我们现在已经知道了在2， 4， 16， 64 …… 维矩阵可以是这样。但是究竟哪些维数的正交矩阵可以由1和-1构成还不清楚，只能说有些维数可以，有些维数不行。
正交矩阵的好处
举个例子：如果矩阵Q为由正交向量构成的矩阵（不是方阵）， 现在我想投影到列空间中， 那么根据上一篇博文可以知道投影矩阵为P = Q(QTQ)-1QT， 由于QTQ = I， 所以 P = QQT, 如果Q是正交矩阵， 那么它的列空间就是整个空间， 该空间维数是矩阵列的个数。 那么我断言投影到整个空间的投影矩阵P就是 I。 怎么证明呢？ 投影矩阵有两个性质： 1， 对称； 2， 投影两次之后的结果为零。 第一个性质显然成立。 对于第二个性质， 投影两次也就是(QQT)(QQT)=(QQT)， 成立。 所以投影矩阵就是 I。
对于ATAx = ATb来说， A is Q， 带入得QQTx = QTb, 左边矩阵为 I， 所以x = QTb。从前面这个式子可以得到：xi = qiTb， 这个式子的意思就是在第i个基方向上的投影就等于qiTb。这个式子可能在某些领域有正要作用。
Gram-Schmidt正交化
Gram-Schmidt正交化方法是将线性无关的向量转化为标准正交化向量的方法，注意这里的前提，Gram-Schmidt正交化方法是对线性无关的向量操作。
从二维开始， 对于任意的线性无关向量a，b。 我希望得到它们的正交向量q1, q1。 首先我求得正交向量组A， B（从任意两个向量求得正交向量）。然后在得到q1,q2。q1 = A/|A|, q2 = B/|B|。具体的方法是保持第一个向量a不变， 然后在第二个向量b上找出正交与第一个向量的向量， 这个向量是b向量的分向量。 由前文可以知道该向量是e=b-p， 如图：
所以， A = a， B = b-(ATbA)/(ATA), 这就是Gram-Schmidt公式。在三维空间和二维空间的方法是差不多的， 比如向量a, b, c。只要找到c中垂直于A、B两个向量的分量， C = c-(ATcA)/(ATA)-(BTcB)/(BTB), 下面要求的q1, q2, q3就不难了。 q1 = A/|A|, q2 = B/|B|, q3 = C/|C|。