矩阵的QR分解

在线性最小二乘里，最后得到的闭式解为$(A^{T}A)x=A^{T}b$，对于该等式的求解，其中一种方法是正交变换法求解，而正交变换求解线性最小二乘的实质就是对矩阵$A$进行QR分解。

QR分解的概念：若实非奇异对称矩阵A能化为正交矩阵Q和实非奇异上三角矩阵R的乘积，即$A=QR$，则称该式为A的QR分解。

事实上，任何的实非奇异n阶矩阵A都可以分解成正交矩阵Q和上三角矩阵R的乘积，这可以通过施密特正交化来证明。
证明过程如下：
对于实非奇异n阶矩阵A的各个列向量依次为${\alpha }_1,{\alpha }_2,\cdots {\alpha }_n$，那么，通过施密特正交化得到的n个标准正交向量如下，
$\{\begin{array}{l}{\beta }_1=b_{11}{\alpha }_1\\ {\beta }_2=b_{12}{\alpha }_1+b_{22}{\alpha }_2\\ ⋮\\ {\beta }_n=b_{1n}{\alpha }_1+b_{2n}{\alpha }_2+\cdots +b_{nn}{\alpha }_n\end{array}$

则，写成矩阵形式为，
$$({\beta }_1,{\beta }_2,\cdots {\beta }_n)=({\alpha }_1,{\alpha }_2,\cdots {\alpha }_n)B$$
即，
$$Q=AB$$
其中，$$B=\left[\begin{array}{lccc}{b}_{11}& b_{12}& \cdots & b_{1n}\\ & b_{22}& \cdots & b_{2n}\\ & & \ddots & ⋮\\ & & & b_{nn}\end{array}\right]$$
很显然，矩阵B就是一个上三角矩阵，而且B可逆，QR分解中的R就是$R=B^{-1}$，$Q=[{\beta }_1,{\beta }_2,\cdots {\beta }_n]$是正交矩阵(施密特正交化的结果)，则有，
$$A=Q{B}^{-1}=QR$$
这就说明了QR分解的存在性。

从上述的QR分解存在性的证明过程可以看出，QR分解步骤的关键就是找到一个上三角矩阵R和一个正交矩阵Q。那么，怎么才能得到一个Q和R，正交变换就能做到这一点。所以，QR分解的方法就有三种，第一种就是上述证明过程所示的，用施密特正交化求解，其他两种是Givens变换(初等旋转变换)和Housholder(镜像变换)。

施密特正交化

设${\alpha }_1,{\alpha }_2,\cdots {\alpha }_n$为一组线性无关的向量，施密特正交化后的向量为${\beta }_1,{\beta }_2,\cdots {\beta }_n$，则施密特正交化的一般式如下，
$$\{\begin{array}{l}{\beta }_m={\alpha }_m+k_{m1}{\beta }_{m-1}+k_{m2}{\beta }_{m-2}+\cdots +k_{m,m-1}{\beta }_1\\ \\ k_{mi}=-\frac{(x_m,{\beta }_{m-i})}{({\beta }_{m-i},{\beta }_{m-i})}i=1,2,\cdots m-1\end{array}$$

举个例子，对矩阵$A=\left[\begin{array}{lcc}1& 1& 0\\ 1& -1& 1\\ 0& 0& 2\end{array}\right]$进行QR分解。

令$A=[{\alpha }_1,{\alpha }_2,{\alpha }_3]$,则${\alpha }_1=(1,1,0{)}^T,{\alpha }_2=(1,-1,0{)}^T,{\alpha }_1=(0,1,2{)}^T$，则根据上述的施密特方法得，

$$\{\begin{array}{l}{\beta }_1^{{}^{\prime }}={\alpha }_1={(1,1,0)}^T\\ \\ {\beta }_2^{{}^{\prime }}={\alpha }_2-\frac{({\beta }_1^{{}^{\prime }},{\alpha }_2)}{({\beta }_1^{{}^{\prime }},{\beta }_1^{{}^{\prime }})}{\beta }_1^{{}^{\prime }}={(1,-1,0)}^T\\ \\ {\beta }_3^{{}^{\prime }}={\alpha }_3-\frac{({\beta }_1^{{}^{\prime }},{\alpha }_3)}{({\beta }_1^{{}^{\prime }},{\beta }_1^{{}^{\prime }})}{\beta }_1^{{}^{\prime }}-\frac{({\beta }_2^{{}^{\prime }},{\alpha }_3)}{({\beta }_2^{{}^{\prime }},{\beta }_2^{{}^{\prime }})}{\beta }_2^{{}^{\prime }}={(0,0,2)}^T\end{array}$$
单位化后得，
$$\{\begin{array}{l}{\beta }_1={(\frac{1}{\sqrt{2}},\frac{1}{\sqrt{2}},0)}^T=\frac{1}{\sqrt{2}}{\alpha }_1\\ \\ {\beta }_2={(\frac{1}{\sqrt{2}},-\frac{1}{\sqrt{2}},0)}^T=\frac{1}{\sqrt{2}}{\alpha }_2\\ \\ {\beta }_3={(0,0,1)}^T=-\frac{1}{4}{\alpha }_1+\frac{1}{4}{\alpha }_2+\frac{1}{2}{\alpha }_3\end{array}$$
上式写成矩阵形式，
$$\underset{Q}{({\beta }_1,{\beta }_2,{\beta }_3)}=\underset{A}{({\alpha }_1,{\alpha }_2,{\alpha }_3)}\left[\begin{array}{lcc}\frac{1}{\sqrt{2}}& 0& -\frac{1}{4}\\ & & \\ 0& \frac{1}{\sqrt{2}}& \frac{1}{4}\\ & & \\ 0& 0& \frac{1}{2}\end{array}\right]$$

$$\begin{array}{l}A=({\beta }_1,{\beta }_2,{\beta }_3){\left[\begin{array}{lcc}\frac{1}{\sqrt{2}}& 0& -\frac{1}{4}\\ & & \\ 0& \frac{1}{\sqrt{2}}& \frac{1}{4}\\ & & \\ 0& 0& \frac{1}{2}\end{array}\right]}^{-1}\\ \\ =\left[\begin{array}{lcc}\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}& 0\\ & & \\ \frac{1}{\sqrt{2}}& -\frac{1}{\sqrt{2}}& 0\\ & & \\ 0& 0& 1\end{array}\right]\left[\begin{array}{lcc}\sqrt{2}& 0& \frac{1}{\sqrt{2}}\\ & & \\ 0& \sqrt{2}& -\frac{1}{\sqrt{2}}\\ & & \\ 0& 0& 2\end{array}\right]\\ \\ =QR\end{array}$$

从上例可以看出，矩阵的QR实际上就是施密特正交化的特性，施密特正交化可以得到一个上三角矩阵和一个正交矩阵，所以矩阵可以QR分解。

Givens变换法
Givens变换，即初等旋转变换，正交变换的一种，对应的初等旋转矩阵形式如下，
$$R_{ij}=\left[\begin{array}{lcccccccccc}1& & & & & & & & & & \\ & \ddots & & & & & & & & & \\ & & 1& & & & & & & & \\ & & & \cos \theta & 0& \cdots & 0& \sin \theta & & & \\ & & & 0& 1& & & & & & \\ & & & ⋮& ⋮& & ⋮& ⋮& & & \\ & & & 0& 0& \cdots & 1& 0& & & \\ & & & -\sin \theta & 0& \cdots & 0& \cos \theta & & & \\ & & & & & & & & 1& & \\ & & & & & & & & & \ddots & \\ & & & & & & & & & & 1\end{array}\right]\begin{array}{l}\\ \\ \\ \leftarrow i行\\ \\ \\ \\ \leftarrow j行\\ \\ \\ \end{array}$$
初等变换矩阵在矩阵化简方面有很好的应用，即，若以$R_{ij}$左乘一个矩阵A，并且其中的s和c按如下方式取值，
$$s=\frac{x_j}{\sqrt{x_i^2+x_j^2}},c=\frac{x_i}{\sqrt{x_i^2+x_j^2}}$$则就可以把矩阵A的第j个分量化为0。

举个例子，把向量$x=(1,2,3{)}^T$通过Givens变换化成与$(1,0,0{)}^T$同方向。
第一步，可以选择把向量x中的第二项化为0，则，
$$\begin{array}{l}c=\frac{x_1}{\sqrt{x_1^2+x_2^2}}=\frac{1}{\sqrt{5}}\\ \\ s=\frac{x_2}{\sqrt{x_1^2+x_2^2}}=\frac{2}{\sqrt{5}}\end{array}$$
得到初等旋转矩阵为，
$$R_{12}=\left[\begin{array}{lcc}\frac{1}{\sqrt{5}}& \frac{2}{\sqrt{5}}& 0\\ & & \\ -\frac{2}{\sqrt{5}}& \frac{1}{\sqrt{5}}& 0\\ & & \\ 0& 0& 1\end{array}\right]$$
从而把x的第二项化为0，即，
$$y=R_{12}x=(\sqrt{5},0,3{)}^T$$
第二步，把y中的第3项化为0，同样，取c和s为，
$$\begin{array}{l}c=\frac{x_1}{\sqrt{x_1^2+x_3^2}}=\sqrt{\frac{5}{14}}\\ \\ s=\frac{x_3}{\sqrt{x_1^2+x_3^2}}=\frac{3}{\sqrt{14}}\end{array}$$
得到初等旋转矩阵为，
$$R_{13}=\left[\begin{array}{lcc}\sqrt{\frac{5}{14}}& 0& \frac{3}{\sqrt{14}}\\ & & \\ 0& 1& 0\\ & & \\ -\frac{3}{\sqrt{14}}& 0& \sqrt{\frac{5}{14}}\end{array}\right]$$
这里就把第三项化为0，即，
$$z=R_{13}y=R_{13}{R}_{12}x={\left(\sqrt{14},0,0\right)}^T$$

对一个向量可以这样化简，那么对于矩阵而言，矩阵可以看作是由n个列向量组成的，所以把矩阵A左乘一系列的初等旋转矩阵，就可以把A化简为结构较为简单的上三角矩阵R。而前面已经证明了一个实非奇异的矩阵A可以进行QR分解，那么这里的Givens变换就能把一个矩阵A化成上三角矩阵，所以，Givens变换可以用于QR分解。

$$\begin{array}{l}{R}_{n-1,n}\cdots R_{2n}\cdots R_{23}{R}_{1n}\cdots R_{12}A=R\\ \\ Q=(R_{n-1,n}\cdots R_{2n}\cdots R_{23}{R}_{1n}\cdots R_{12}{)}^{-1}\\ \\ =(R_{n-1,n}\cdots R_{2n}\cdots R_{23}{R}_{1n}\cdots R_{12}{)}^H\end{array}$$

举个例子，用Givens方法对矩阵$A=\left[\begin{array}{lcc}12& -20& 41\\ & & \\ 9& -15& -63\\ & & \\ 20& 50& 35\end{array}\right]$进行QR分解。

第一步，用$R_{12}$左乘A，消去第1列第2行处的元素，

$$c=\frac{12}{\sqrt{{12}^2+9^2}}=\frac{12}{15}=\frac{4}{5},s=\frac{9}{\sqrt{{12}^2+9^2}}=\frac{3}{5}$$故，
$$R_{12}A=\left[\begin{array}{lcc}\frac{4}{5}& \frac{3}{5}& 0\\ & & \\ -\frac{3}{5}& \frac{4}{5}& 0\\ & & \\ 0& 0& 1\end{array}\right]A=\left[\begin{array}{lcc}15& -25& -5\\ & & \\ 0& 0& -75\\ & & \\ 20& 50& 35\end{array}\right]$$
同理，接着消去A中第1列第3个元素，
$$c=\frac{15}{\sqrt{{15}^2+{20}^2}}=\frac{15}{25}=\frac{3}{5},s=\frac{20}{\sqrt{{15}^2+{20}^2}}=\frac{4}{5}$$故

$$A^{(1)}=R_{13}{R}_{12}A=\left[\begin{array}{lcc}\frac{3}{5}& 0& \frac{4}{5}\\ & & \\ 0& 1& 0\\ & & \\ -\frac{4}{5}& 0& \frac{3}{5}\end{array}\right]R_{12}A=\left[\begin{array}{lcc}25& 25& 25\\ & & \\ 0& 0& -75\\ & & \\ 0& 50& 25\end{array}\right]$$
这里就把矩阵A中的第一列的第二个和第三个元素化为0，即第一列($A^{(1)}$)化简完成，下面开始第二列的化简。

第二步，进行第二列的化简，即把第二列的第三个元素化为0，
$$c=\frac{0}{\sqrt{0^2+{50}^2}}=0,s=\frac{50}{\sqrt{0^2+{50}^2}}=1$$故，
$$R_{23}=\left[\begin{array}{lcc}1& 0& 0\\ 0& 0& 1\\ 0& -1& 0\end{array}\right]$$
$$A^{(2)}=R_{23}{A}^{(1)}=\left[\begin{array}{lcc}25& 25& 25\\ & & \\ 0& 50& 25\\ & & \\ 0& 0& 75\end{array}\right]$$

这里的$A^{(2)}$就是上三角矩阵，即QR分解里的R，而Q的求解如下，
$$\begin{array}{l}Q=(R_{23}{R}_{13}{R}_{12}{)}^{-1}\\ \\ ={\left[\begin{array}{lcc}\frac{12}{25}& \frac{9}{25}& \frac{20}{25}\\ & & \\ -\frac{16}{25}& -\frac{12}{25}& \frac{15}{25}\\ & & \\ \frac{15}{25}& -\frac{20}{25}& 0\end{array}\right]}^{-1}\\ \\ ={\left[\begin{array}{lcc}\frac{12}{25}& \frac{9}{25}& \frac{20}{25}\\ & & \\ -\frac{16}{25}& -\frac{12}{25}& \frac{15}{25}\\ & & \\ \frac{15}{25}& -\frac{20}{25}& 0\end{array}\right]}^H\\ \\ =\left[\begin{array}{lcc}\frac{12}{25}& -\frac{16}{25}& \frac{15}{25}\\ & & \\ \frac{9}{25}& -\frac{12}{25}& -\frac{20}{25}\\ & & \\ \frac{20}{25}& \frac{15}{25}& 0\end{array}\right]\end{array}$$
从上例可以看出，Givens方法需要作$\frac{n(n-1)}{2}$个初等旋转矩阵的乘积，当$n$比较大时，计算量较大。

Housholder变换法

Housholder变换，即镜像变换，正交变换的一种，对应的初等反射矩阵形式如下，$$H=I-2\omega {\omega }^T$$其中$\omega$表示某单位向量。

其镜面关系为：若$\eta =H\xi$，则向量$\eta$和向量$\xi$关于某单位向量$\omega$的正交轴$l$镜像对称。

用初等反射矩阵也可以完成对矩阵的简化，其简化原理用的是如下定理：
镜像变换可以使任何非零向量$\xi$变成与给定单位向量$a$同方向的向量$\eta$。
用这一定理可以构造出H里单位向量$\omega$如下，
$$\omega =\frac{\xi -\left|\xi \right|a}{\left|\xi -\left|\xi \right|a\right|}$$那么，可以通过构造$\omega$的方法来简化矩阵A，使其变为一个上三角阵。

举个例子，用镜像变化把向量$\xi =(0,3,0,4{)}^T$变为与向量$e_1=(1,0,0,0{)}^T$同方向的向量。
首先就是构造$\omega$，
$$\omega =\frac{\xi -\left|\xi \right|e_1}{\left|\xi -\left|\xi \right|e_1\right|}=\frac{{(-5,3,0,4)}^T}{\left|{(-5,3,0,4)}^T\right|}=(-\frac{1}{\sqrt{2}},\frac{3}{5\sqrt{2}},0,\frac{4}{5\sqrt{2}}{)}^T$$则初等反射矩阵H为，
$$H=I-2\omega {\omega }^T=\left[\begin{array}{lccc}0& \frac{3}{5}& 0& \frac{4}{5}\\ & & & \\ \frac{3}{5}& \frac{16}{25}& 0& -\frac{12}{25}\\ & & & \\ 0& 0& 1& 0\\ & & & \\ \frac{4}{5}& -\frac{12}{25}& 0& \frac{9}{25}\end{array}\right]$$
从而有，
$$\eta =H\xi =(5,0,0,0{)}^T$$

上例，是使用镜像变换完成了对向量的化简。那么，对于矩阵而言，同样把矩阵看成是一组列向量的组合，那么每次求解只完成一列列向量的简化。

而与Given变换不同的是，对于每一列列向量的简化，其对应的反射矩阵H只要求解一次，所以，经过$n-1$次左乘初等反射矩阵H就可以化成一个上三角阵，计算量大约是Givens变换的一半，即，
$$\begin{array}{l}{H}^{(n-1)}{H}^{(n-2)}\cdots H^{(1)}A=A^{(n)}=R\\ \\ Q=(H^{(n-1)}{H}^{(n-2)}\cdots H^{(1)}{)}^{-1}\end{array}$$

举个例子，用Housholder变换法对矩阵$A=\left[\begin{array}{lcc}2& 2& 1\\ 1& 2& 2\\ 2& 1& 2\end{array}\right]$进行QR分解。

第一步，完成对第一列的简化。
因为${\alpha }_1^{(1)}=(2,1,2{)}^T\ne 0$，作单位向量，
$${\omega }^{(1)}=\frac{{\alpha }_1^{(1)}-\left|{\alpha }_1^{(1)}\right|e_1}{\left|{\alpha }_1^{(1)}-\left|{\alpha }_1^{(1)}\right|e_1\right|}=\frac{{(2,1,2)}^T-3e_1}{\left|{(2,1,2)}^T-3e_1\right|}=(-\frac{1}{\sqrt{6}},\frac{1}{\sqrt{6}},\frac{2}{\sqrt{6}}{)}^T$$则反射矩阵H为，
$$H^{(1)}=I-2{\omega }^{(1)}{\omega }^{(1)T}=\left[\begin{array}{lcc}\frac{2}{3}& \frac{1}{3}& \frac{2}{3}\\ & & \\ \frac{1}{3}& \frac{2}{3}& -\frac{2}{3}\\ & & \\ \frac{2}{3}& -\frac{2}{3}& -\frac{1}{3}\end{array}\right]$$从而得，
$$H^{(1)}A=\left[\begin{array}{lcc}3& \frac{8}{3}& \frac{8}{3}\\ & & \\ 0& \frac{4}{3}& \frac{1}{3}\\ & & \\ 0& -\frac{1}{3}& -\frac{4}{3}\end{array}\right]=\left[\begin{array}{lc}3& \begin{array}{lc}\frac{8}{3}& \frac{8}{3}\end{array}\\ & \\ \begin{array}{l}0\\ \\ 0\end{array}& A_2\end{array}\right]$$
第二步，简化第二列。此时关注的不是矩阵$H^{(1)}A$，而是$A_2$。
则，
$${\hat{\omega }}^{(2)}=\frac{{(\frac{4}{3},-\frac{1}{3})}^T-\left|{(\frac{4}{3},-\frac{1}{3})}^T\right|e_1}{\left|{(\frac{4}{3},-\frac{1}{3})}^T-\left|{(\frac{4}{3},-\frac{1}{3})}^T\right|e_1\right|}={\left(\frac{4-\sqrt{17}}{\sqrt{34-8\sqrt{17}}},-\frac{1}{\sqrt{34-8\sqrt{17}}}\right)}^T$$
那么有，
$${\hat{H}}^{(2)}=I-2{\hat{\omega }}^{(2)}{\hat{\omega }}^{(2)T}=\left[\begin{array}{lc}1-\frac{2{(4-\sqrt{17})}^2}{34-8\sqrt{17}}& \frac{2(4-\sqrt{17})}{34-8\sqrt{17}}\\ & \\ \frac{2(4-\sqrt{17})}{34-8\sqrt{17}}& 1-\frac{2}{34-8\sqrt{17}}\end{array}\right]$$从而对应的反射矩阵为，
$$H^{(2)}=\left[\begin{array}{lc}1& 0\\ & \\ 0& {\hat{H}}^{(2)}\end{array}\right]=\left[\begin{array}{lcc}1& 0& 0\\ & & \\ 0& 1-\frac{2{(4-\sqrt{17})}^2}{34-8\sqrt{17}}& \frac{2(4-\sqrt{17})}{34-8\sqrt{17}}\\ & & \\ 0& \frac{2(4-\sqrt{17})}{34-8\sqrt{17}}& 1-\frac{2}{34-8\sqrt{17}}\end{array}\right]$$则有，
$$H^{(2)}{H}^{(1)}A=\left[\begin{array}{lcc}3& \frac{8}{3}& \frac{8}{3}\\ & & \\ 0& \frac{\sqrt{17}}{3}& \frac{8\sqrt{17}}{51}\\ & & \\ 0& 0& \frac{5\sqrt{17}}{17}\end{array}\right]=R$$
Q的求解如下，
$$Q=(H^{(2)}{H}^{(1)}{)}^{-1}=\left[\begin{array}{lcc}\frac{2}{3}& \frac{2\sqrt{17}}{51}& -\frac{3\sqrt{17}}{17}\\ & & \\ \frac{1}{3}& \frac{10\sqrt{17}}{51}& \frac{2\sqrt{17}}{17}\\ & & \\ \frac{2}{3}& -\frac{7\sqrt{17}}{17}& \frac{2\sqrt{17}}{17}\end{array}\right]$$

附：
从实用性角度考虑，一般不用施密特正交化进行QR分解，用Givens变换法和Housholder变换法较多，但Givens变换法需要$\frac{n(n-1)}{2}$次左乘初等旋转矩阵，计算量大，而Housholder变换法只需$n-1$次左乘初等反射矩阵，计算量小是Housholder变换法的优势。但在稀疏矩阵的QR分解上，用Givens方法求解仍有方便之处。