CP.17正交矩阵与正交化

1.标准正交向量

前面讲过向量和矩阵的运算，提到过如果两个向量的乘积是0，那么这两个向量正交。除此之外，标准正交向量也是一个重要概念：设有一组向量$q_1,q_2,...,q_n$，如果满足下列条件则称其为一组标准正交向量$$q_i^T{q}_j=\begin{array}{c}0,i\ne j\\ 1,j=j\end{array}$$
标准正交向量的长度都是1，并且两两相互正交。

2.标准正交矩阵

如果矩阵$Q$的列是标准正交向量组，那么$Q^{T}Q=I$，如果恰好$Q$是方阵，同时满足其列是标准正交向量组，那么称$Q$为正交矩阵，$Q^{T}Q=I，Q^{-1}Q=I,Q^{-1}=Q^T$
例如：$$Q=\left[\begin{array}{ccc}0& 0& 1\\ 1& 0& 0\\ 0& 1& 0\end{array}\right]，Q^T=\left[\begin{array}{ccc}0& 1& 0\\ 0& 0& 1\\ 1& 0& 0\end{array}\right]$$这两者都是正交矩阵。$$A=\left[\begin{array}{cc}1& 1\\ 1& -1\end{array}\right]$$不是正交矩阵，因为列向量的长度不是$1$，将其前面除以$\sqrt{2}$就可以将其转化成正交矩阵：
$$A^{’}=\frac{1}{\sqrt{2}}\left[\begin{array}{cc}1& 1\\ 1& -1\end{array}\right]$$再比如：
$$B=\frac{1}{3}\left[\begin{array}{cc}1& -2\\ 2& -1\\ 2& 2\end{array}\right]$$虽然列向量为标准正交向量，但因为它不是方阵，所以不称为正交矩阵，将其扩展成：$$B=\frac{1}{3}\left[\begin{array}{ccc}1& -2& 2\\ 2& -1& -2\\ 2& 2& 1\end{array}\right]$$就可以称之为正交阵了。

2.1标准正交矩阵的优势

前面讲过向量的投影，推出投影矩阵的表达式为：$P_m=\frac{A{A}^T}{A^{T}A}=A(A^{T}A{)}^{-1}{A}^T$，本式子是将某向量投射到$A$的列空间的投影矩阵。如果矩阵$A$是正交矩阵，那么运算会简单的多，因为$A^{T}A=I$所以$P_m=A{A}^T$，进一步地$A$是正交矩阵$A{A}^T=I$，所以最终$P_m=I$。
除此之外，还有前面讲过的无解矩阵求解最优解的问题：$A^{T}A\hat{x}=A^{T}b$，最终演变成$\hat{x}=A^{T}b$

3.格拉姆-施密特正交化

加入有两个向量$a,b$，如下图所示。我们希望从$b$出发，找到一个向量能与$a$形成标准正交，其步骤如下：
1.将向量单位化，这一步是施密特提出的（GS老师嘲讽施密特“真聪明”），具体来说就是$a_1=\frac{a}{||a||}，b_1=\frac{b}{||b||}$
2.利用投影，找到原向量的有效分量（与$a$正交的分量）.令$b$往$a$方向投影，则投影向量$p=\frac{a^{T}b}{a^{t}a}a$，误差向量$e=b-\frac{a^{T}b}{a^{t}a}a$这个误差向量就是$b$与$a$正交的分量。
验证：$e$与$a$正交，$a^{T}e=a^T(b-\frac{a^{T}b}{a^{t}a}a)=a^{T}b-a^T\frac{a^{T}b}{a^{t}a}a=0$
问题上面讲的是2个向量的正交化，如果有3个向量怎么办？
如果有三个向量那么$c$的正交化就是用向量$c$减去其在$a,b$方向上的分量即可。
$$c_1=c-\frac{a^{T}c}{a^{T}a}a-\frac{b^{T}c}{b^{T}b}b$$
例：有向量$$a=\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right]，b=\left[\begin{array}{c}1\\ 0\\ 2\end{array}\right]$$求由他们演化而来的标准正交向量。
$$A=\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right]，B=b-\frac{a^{T}b}{a^{T}a}a=\left[\begin{array}{c}1\\ 0\\ 2\end{array}\right]-\frac{3}{3}\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right]=\left[\begin{array}{c}0\\ -1\\ 1\end{array}\right]$$
$$q_1=\frac{A}{||A||}=\left[\begin{array}{c}\frac{1}{\sqrt{3}}\\ \frac{1}{\sqrt{3}}\\ \frac{1}{\sqrt{3}}\end{array}\right]，q_2=\frac{B}{||B||}=\left[\begin{array}{c}0\\ -\frac{1}{\sqrt{2}}\\ -\frac{1}{\sqrt{2}}\end{array}\right]$$
原列向量组成的矩阵为$$W=\left[\begin{array}{cc}1& 1\\ 1& 0\\ 1& 2\end{array}\right]$$正交化后的向量组成的矩阵为
$$Q=\left[\begin{array}{cc}\frac{1}{\sqrt{3}}& 0\\ \frac{1}{\sqrt{3}}& \frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{3}}& \frac{1}{\sqrt{2}}\end{array}\right]$$
矩阵$W$和$Q$拥有相同的列空间，因为$Q$的列空间本身就是由向量$a,b$张成的