[矩阵的QR分解系列二] 吉文斯(Givens)变换

之前介绍的矩阵的三角分解系列介绍了利用矩阵初等变换解决了矩阵三角化问题以及具体的三角分解。但是以初等变换工具的三角分解方法并不能消除病态线性方程组不稳定问题，而且有时候对于可逆矩阵有可能也不存在三角分解。所以后面为了解决这里问题，发展出来了以正交(酉)变换的矩阵的QR(正交三角)分解，矩阵的正交三角分解是一种对任何可逆矩阵均存在理想分解。进行QR分解需要用到施密特(Schmidt)正交规范化，吉文斯(Givens)变换和豪斯霍尔德(Householder)变换等。这里矩阵的QR分解系列教程主要是针对在学习QR分解时候的涉及到的一些细节，包括很多方法的来源和证明等，以及其中用到的一些矩阵操作的基础知识，主要包括：

• [矩阵的QR分解系列一] 施密特(Schmidt)正交规范化
• [矩阵的QR分解系列二] 吉文斯(Givens)变换
• [矩阵的QR分解系列三] 豪斯霍尔德(Householder)变换
• [矩阵的QR分解系列四] QR(正交三角)分解
• [矩阵的QR分解系列五] Eigen中的QR分解

这个系列后面文章会用到前面文章的理论和技术，所以建议按照顺序查看。

简介

初等旋转变换或者说是吉文斯(Givens)变换是一种正交变换，经过多次吉文斯(Givens)变换可以把矩阵转换成上三角形式，是一种常用的$\mathbf{Q}\mathbf{R}$分解方式。

初等旋转变换

定义

在平面${\mathbf{R}}^2$中旋转变换对应的矩阵为
$$\mathbf{A}=\left[\begin{array}{cc}cos\theta & sin\theta \\ -sin\theta & cos\theta \end{array}\right].$$
一般在$n$维欧式空间$\mathbf{V}$中取一组标准正交基$e_1,e_2,\cdots ,e_n$,沿平面$[e_i,e_j]$旋转，它的旋转矩阵为
$${\mathbf{R}}_{ij}=\left[\begin{array}{ccccccccccc}1& & & & & & & & & & \\ & \ddots & & & & & & & & & \\ & & 1& & & & & & & & \\ & & & cos\theta & 0& \cdots & 0& sin\theta & & & \\ & & & 0& 1& \cdots & 0& 0& & & \\ & & & ⋮& ⋮& & ⋮& ⋮& & & \\ & & & 0& 0& \cdots & 1& 0& & & \\ & & & -sin\theta & 0& \cdots & 0& cos\theta & & & \\ & & & & & & & & 1& & \\ & & & & & & & & & \ddots & \\ & & & & & & & & & & 1\end{array}\right].$$
这里矩阵${\mathbf{R}}_{ij}$里面元素满足：$r_{ii}=cos\theta ,r_{ij}=sin\theta ,r_{ji}=-sin\theta ,r_{jj}=cos\theta (i<j),r_{pp}=1(p\ne i,j)$，除此之外其余元素$r_{pq}=0$。可以看成是$n$阶单位矩阵$\mathbf{I}$修改而成：将$\mathbf{I}$位于$(i,i),(i,j),(j,i),(j,j)$上的元素分别替换成$cos\theta ,sin\theta ,-sin\theta ,cos\theta$，其余元素保持不变。式中的$\theta$通常称为旋转角，而$cos\theta ,sin\theta$常分别记为$c,s$，所以满足$c^2+s^2=1$，所以矩阵${\mathbf{R}}_{ij}$可以简记为
$${\mathbf{R}}_{ij}=\left[\begin{array}{ccccccccccc}1& & & & & & & & & & \\ & \ddots & & & & & & & & & \\ & & 1& & & & & & & & \\ & & & c& 0& \cdots & 0& s& & & \\ & & & 0& 1& \cdots & 0& 0& & & \\ & & & ⋮& ⋮& & ⋮& ⋮& & & \\ & & & 0& 0& \cdots & 1& 0& & & \\ & & & -s& 0& \cdots & 0& c& & & \\ & & & & & & & & 1& & \\ & & & & & & & & & \ddots & \\ & & & & & & & & & & 1\end{array}\right].\text{\hspace{1em}(1)}$$
上面的${\mathbf{R}}_{ij}$一般叫做初等旋转矩阵，它所确定的线性变换叫做初等旋转变换，也可以叫做吉文斯(Givens)变换。
而且它具有以下性质：

1. $det{\mathbf{R}}_{ij}=1$；
2. ${\mathbf{R}}_{ij}$对应的初等旋转变换是正交变换， ${\mathbf{R}}_{ij}$是正交矩阵。

正交变换 $\mathbf{x},\mathbf{y}$为$n$维欧式空间$\mathbf{V}$上的任意两个向量，如果$f$是$\mathbf{V}$的一个线性变换，且满足
$$(f(\mathbf{x}),f(\mathbf{y}))=(\mathbf{x},\mathbf{y})$$
那么$f$就是$\mathbf{V}$上的正交变换。(其中$(\mathbf{x},\mathbf{y})$表示内积操作)

证明

1. 由行列式展开定理可知，$det{\mathbf{R}}_{ij}=c^2+s^2=1$；
2. 设$e_1,e_2,\cdots ,e_n$是$n$维欧式空间$\mathbf{V}$中取一组标准正交基，$\mathbf{x}=(x_1,x_2,\dots ,x_n),\mathbf{y}=(y_1,y_2,\dots ,y_n)$为$\mathbf{V}$上在标准正交基下的两个坐标向量，即$\mathbf{x}=x_1{e}_1+x_2{e}_2+\cdots +x_n{e}_n,\mathbf{y}=y_1{e}_1+y_2{e}_2+\cdots +y_n{e}_n$。
   如果$\mathbf{y}={\mathbf{R}}_{ij}\mathbf{x}$，根据矩阵乘法原理可知$mathbfx$的第$i,j$分量有变化，其他分量不变，即
   $$\{\begin{array}{l}{y}_i=c{x}_i+s{x}_j\\ y_j=-s{x}_i+c{x}_j\\ y_k=x_k,k\ne i,j\end{array},\text{\hspace{1em}(2)}$$
   所以
   $$(\mathbf{y},\mathbf{y})==\sum _{m=1}^n{y}_m^2=\sum _{m=1(m\ne i,j)}^n{x}_m^2+y_i^2+y_j^2=\sum _{m=1}^n{x}_m^2=(\mathbf{x},\mathbf{x}),$$
   从而有
   $$|\mathbf{y}|=|\mathbf{x}|,$$
   说明向量$\mathbf{x}$变换后长度不变，所以${\mathbf{R}}_{ij}$对应的初等旋转变换是正交变换，${\mathbf{R}}_{ij}$是正交矩阵。

初等旋转变换证明完成！！！

应用

初等旋转变换在简化矩阵方面很有用。
对于非零$n$维列向量$\mathbf{x}$，如果以${\mathbf{R}}_{ij}$左乘，即令$\mathbf{y}={\mathbf{R}}_{ij}\mathbf{x}$，如果要把$\mathbf{x}$的第$j$个分量简化为零，根据上面公式$(2)$可知需要令
$$s=\frac{x_j}{\sqrt{x_i^2+x_j^2}},c=\frac{x_i}{\sqrt{x_i^2+x_j^2}}$$
其中$x_i,x_j$不能同时为零。左乘${\mathbf{R}}_{ij}$可得
$$\begin{array}{rl}{y}_i& =\sqrt{x_i^2+x_j^2}>0\\ y_j& =0\end{array}$$
同理，对于非零$n$维行向量$\mathbf{x}$，如果以${\mathbf{R}}_{ij}$右乘，即令$\mathbf{y}={\mathbf{R}}_{ij}\mathbf{x}$，此时公式$(2)$变为
$$\{\begin{array}{l}{y}_i=c{x}_i-s{x}_j\\ y_j=s{x}_i+c{x}_j\\ y_k=x_k,k\ne i,j\end{array},\text{\hspace{1em}(3)}$$
如果要把$\mathbf{x}$的第$j$个分量简化为零，根据上面公式$(3)$可知需要令
$$s=\frac{-x_j}{\sqrt{x_i^2+x_j^2}},c=\frac{x_i}{\sqrt{x_i^2+x_j^2}}$$
其中$x_i,x_j$不能同时为零。右乘${\mathbf{R}}_{ij}$可得
$$\begin{array}{rl}{y}_i& =\sqrt{x_i^2+x_j^2}>0\\ y_j& =0\end{array}$$
根据以上的这一性质，进而可以推出：
对非零$n$维列(行)向量$\mathbf{x}$连续左(右)乘以${\mathbf{R}}_{r,r+1},{\mathbf{R}}_{r,r+2},\cdots ,{\mathbf{R}}_{rn}$，可使$\mathbf{x}$的第$r$个分量变为一新的正数，而第$r+1$个到第$n$个分量全部化为0，即分别有
$$\mathbf{y}={\mathbf{R}}_{rn}\cdots {\mathbf{R}}_{r,r+2}{\mathbf{R}}_{r,r+1}\mathbf{x}=\left[\begin{array}{c}{x}_1\\ ⋮\\ x_{r-1}\\ y_r\\ 0\\ ⋮\\ 0\end{array}\right],\text{\hspace{1em}(4)}$$
或
$$\mathbf{y}=\mathbf{x}{\mathbf{R}}_{r,r+1}{\mathbf{R}}_{r,r+2}\cdots {\mathbf{R}}_{rn}=(x_1,\cdots ,x_{r-1},y_r,0,\cdots ,0),\text{\hspace{1em}(5)}$$
其中$y_r=\sqrt{x_r^2+\cdots +x_n^2}>0$，而${\mathbf{R}}_{r,r+1},{\mathbf{R}}_{r,r+2},\cdots ,{\mathbf{R}}_{rn}$中的$c,s$按照上面公式$(2)$和公式$(3)$求得。

例子

已知$\mathbf{x}=(1,2,3{)}^{\mathrm{T}}$，用初等旋转变换转换$\mathbf{x}$使$\mathbf{x}$与$e_1=(1,0,0{)}^{\mathrm{T}}$同方向。
解：
利用公式$(2)$可知
$$\begin{gathered} s=sin\theta =\frac{x_2}{\sqrt{x_1^2+x_2^2}}=\frac{2}{\sqrt{5}} \\ c=cos\theta =\frac{x_1}{\sqrt{x_1^2+x_2^2}}=\frac{1}{\sqrt{5}} \end{gathered}$$
所以初等旋转变换矩阵为
$${\mathbf{R}}_{12}=\left[\begin{array}{ccc}\frac{1}{\sqrt{5}}& \frac{2}{\sqrt{5}}& 0\\ -\frac{2}{\sqrt{5}}& \frac{1}{\sqrt{5}}& 0\\ 0& 0& 1\end{array}\right].$$
所以可得
$${\mathbf{y}}^{\prime }={\mathbf{R}}_{12}\mathbf{x}=(\sqrt{5},0,3{)}^{\mathrm{T}}$$
再次利用公式$(2)$可知
$$\begin{gathered} s=sin\theta =\frac{x_3}{\sqrt{y_1^{\prime 2}+x_3^2}}=\frac{3}{\sqrt{14}} \\ c=cos\theta =\frac{y_1^{\prime 2}}{\sqrt{y_1^{\prime 2}+x_3^2}}=\sqrt{\frac{5}{14}} \end{gathered}$$
所以初等旋转变换矩阵为
$${\mathbf{R}}_{13}=\left[\begin{array}{ccc}\sqrt{\frac{5}{14}}& 0& \frac{3}{\sqrt{14}}\\ 0& 1& 0\\ -\frac{3}{\sqrt{14}}& 0& \sqrt{\frac{5}{14}}\end{array}\right].$$
由公式$(4)$有
$$\mathbf{y}={\mathbf{R}}_{13}{\mathbf{R}}_{12}\mathbf{x}={\mathbf{R}}_{13}{\mathbf{y}}^{\prime }=\left[\begin{array}{ccc}\sqrt{\frac{5}{14}}& 0& \frac{3}{\sqrt{14}}\\ 0& 1& 0\\ -\frac{3}{\sqrt{14}}& 0& \sqrt{\frac{5}{14}}\end{array}\right]=\left[\begin{array}{c}\sqrt{5}\\ 0\\ 3\end{array}\right]=(\sqrt{14},0,0{)}^{\mathrm{T}}=\sqrt{14}{e}_1.$$

引用

【1】 矩阵论(第二版)