线性代数导论17——正交矩阵和Gram-Schmidt正交化

本文是Gilbert Strang的线性代数导论课程笔记。课程地址： http://v.163.com/special/opencourse/daishu.html  

第十七课时：正交矩阵和Gram-Schmidt正交化

这是关于正交性最后一讲，已经知道正交空间，比如行空间和零空间，今天主要看正交基和正交矩阵

一组基里的向量，任意q都和其他q正交，两两垂直，内积为零，且qi不和自己正交，qi的长度为1，这样的向量组叫标准正交基

把如上的 这些标准正交的向量作为矩阵Q的列，那么Q^TQ=I为单位矩阵。

只有当Q是一个方阵时，Q各列向量相互垂直且长度为1，Q叫正交矩阵。

如果Q是方阵，然后 Q^TQ=I，那么Q^T=Q^-1，正交矩阵很容易得到，比如单位阵，或交换单位阵的列向量的位置也可。

   

举几个正交矩阵的例子：

如上图，那样构造的正交矩阵（ 阿德玛矩阵：是一种只有1和-1的正交矩阵）可以是2维，4维，16维，64维，究竟哪些维数的正交阵可以由1和-1们构成？

设Q是标准正交列向量的矩阵。现在要投影到列空间，那么投影到列空间的投影矩阵是什么？投影矩阵P=Q(Q^TQ)^-1Q^T，因为空间Q有标准正交基，那投影到列空间时，有P=QQ^T，即：

P=Q(Q ^TQ) ^-1Q ^T=Q(I) ^-1Q ^T=QQ ^T，

P是对称的，而且（QQ ^T）（QQ ^T）=QQ ^T

且当Q是方阵时，P=QQ^T=I，因为Q是方阵，且各列线性无关，那么Q的列空间就是整个空间，投影到整个空间里的投影矩阵就是I。

对于投影方程：A^TAx’=A^Tb，如果A是标准正交基Q，那么可得到：x’=Q^Tb。那么x'的分向量：xi'=qi^Tb，即第i个基方向上的投影就等于qi^Tb。

格拉姆-施密特正交化

格拉姆-施密特正交化的目标是让列向量线性无关的矩阵正交化（向量垂直且长度为1）。（就像消元法的目标是将矩阵变成三角矩阵）

已知相互无关的向量a,b，目标要将a,b变成相互正交且长度为1的q1,q2，可将向量a固定，然后b投影到a上，误差e=B，那么基本步骤如下：可验证 A ^T B=0

可得到格拉姆-施密特公式：

假设有三个向量呢，a,b,c，正交化得到A,B,C。可由上已知了A和B，求得C：

一个例子，已知两个向量a,b，求格拉姆-施密特标准正交基Q，Q的列空间和原来的矩阵列空间是一样的。

假设原来的矩阵A（a1,a2），向量a1,a2线性无关，通过格拉姆-施密特标准正交化得到Q（q1,q2），A与Q的列空间相同，就像消元法A=LU一样，存在一个矩阵R，满足公式如下： 这就是格拉姆-施密特表达式。

A=QR  ，R是一个上三角矩阵。

也就是说一个由线性无关的向量组成的矩阵A，与格拉姆-施密特标准正交化矩阵Q的关系是一个上三角矩阵R。

由A和Q得到R很方便（也可参照文章上面有句话： 对于投影方程：A^TAx’=A^Tb，如果A是标准正交基Q，那么可得到：x’= Q^Tb。那么x'的分向量：xi'=qi^Tb，即第i个基方向上的投影就等于qi^Tb），A=QR， Q ^TA=R。由于左下角元素q2 ^Ta1相互垂直，所以相乘为0，R是一个上三角矩阵。