[矩阵的QR分解系列三] 豪斯霍尔德(Householder)变换

之前介绍的矩阵的三角分解系列介绍了利用矩阵初等变换解决了矩阵三角化问题以及具体的三角分解。但是以初等变换工具的三角分解方法并不能消除病态线性方程组不稳定问题，而且有时候对于可逆矩阵有可能也不存在三角分解。所以后面为了解决这里问题，发展出来了以正交(酉)变换的矩阵的QR(正交三角)分解，矩阵的正交三角分解是一种对任何可逆矩阵均存在理想分解。进行QR分解需要用到施密特(Schmidt)正交规范化，吉文斯(Givens)变换和豪斯霍尔德(Householder)变换等。这里矩阵的QR分解系列教程主要是针对在学习QR分解时候的涉及到的一些细节，包括很多方法的来源和证明等，以及其中用到的一些矩阵操作的基础知识，主要包括：

• [矩阵的QR分解系列一] 施密特(Schmidt)正交规范化
• [矩阵的QR分解系列二] 吉文斯(Givens)变换
• [矩阵的QR分解系列三] 豪斯霍尔德(Householder)变换
• [矩阵的QR分解系列四] QR(正交三角)分解
• [矩阵的QR分解系列五] Eigen中的QR分解

这个系列后面文章会用到前面文章的理论和技术，所以建议按照顺序查看。

简介

镜像变换或者说是豪斯霍尔德(Householder)变换是一种正交变换，经过多次豪斯霍尔德(Householder)变换可以把矩阵转换成上三角形式，是一种常用的$\mathbf{Q}\mathbf{R}$分解方式。

镜像变换

反射变换

在平面${\mathbf{R}}^2$中如果存在变换$f$可以把$\mathbf{\alpha }=x{\mathbf{e}}_1+y{\mathbf{e}}_2$转换成${\mathbf{\alpha }}^{\prime }=x{\mathbf{e}}_1-y{\mathbf{e}}_2$，其中$(x,y)$是在标准正交基${\mathbf{e}}_1,{\mathbf{e}}_2$下的坐标值。这里变换矩阵为
$$\mathbf{H}=\left[\begin{array}{cc}1& 0\\ 0& -1\end{array}\right]$$
把$\mathbf{H}$称为${\mathbf{R}}^2$中关于$x$轴的反射阵。那么${\mathbf{R}}^2$中的向量$\mathbf{\xi }$关于$x$轴反射后变为$\mathbf{\eta }$，即
$$\mathbf{\eta }=\mathbf{H}\mathbf{\xi }=\left[\begin{array}{cc}1& 0\\ 0& -1\end{array}\right]\mathbf{\xi }.$$
同时反射阵$\mathbf{H}$可以用与$x$轴正交的单位向量$\mathbf{\omega }=(0,1{)}^{\mathrm{T}}$来表示，即
$$\mathbf{H}=\left[\begin{array}{cc}1& 0\\ 0& -1\end{array}\right]=\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]-2\left[\begin{array}{c}0\\ 1\end{array}\right](0,1)=\mathbf{I}-2{\mathbf{\omega }\mathbf{\omega }}^{\mathrm{T}}$$

镜像变换

前面介绍了平面${\mathbf{R}}^2$中向量关于$x$轴的反射阵可以用和$x$轴正交的向量$\mathbf{\omega }$来表示，其实这可以推广到一般的反射变换，在平面平面${\mathbf{R}}^2$中向量关于$l$轴的反射阵$\mathbf{H}$可以用$l$轴正交的向量$\mathbf{\omega }$来表示。下面就简单推导一下

如上图所示，$\mathbf{\xi }$和$\mathbf{\eta }$是平面${\mathbf{R}}^2$上的同样长度的两个向量，其中$\mathbf{\omega }$是$\mathbf{\xi }-\mathbf{\eta }$同方向(虚线表示的向量)的单位向量，可得
$$\mathbf{\xi }-\mathbf{\eta }=2\mathbf{\omega }({\mathbf{\omega }}^{\mathrm{T}}\mathbf{\xi })$$
其中${\mathbf{\omega }}^{\mathrm{T}}\mathbf{\xi }$表示向量$\mathbf{\xi }$在$\mathbf{\omega }$上的投影长度(即内积)。
所以
$$\mathbf{\eta }=\mathbf{\xi }-2\mathbf{\omega }({\mathbf{\omega }}^{\mathrm{T}}\mathbf{\xi })=(\mathbf{I}-2{\mathbf{\omega }\mathbf{\omega }}^{\mathrm{T}})\mathbf{\xi }.\text{\hspace{1em}(1)}$$
又$l$轴(无方向)和向量$\mathbf{\omega }$正交，其实从几何关系上知道向量$\mathbf{\xi }$和$\mathbf{\eta }$关于$l$轴对称，可以简单证明一下：
上图中旋转坐标系，使$\mathbf{\omega }$和${\mathbf{e}}_2=(0,1{)}^{\mathrm{T}}$即$y$轴重合，即$l$轴和$x$轴重合。即
$$\mathbf{\omega }=\left[\begin{array}{c}{\omega }_1\\ {\omega }_2\end{array}\right]\Rightarrow \left[\begin{array}{c}0\\ 1\end{array}\right]={\mathbf{e}}_2$$
令初等旋转矩阵为
$$\mathbf{Q}=\left[\begin{array}{cc}cos\theta & sin\theta \\ -sin\theta & cos\theta \end{array}\right]$$
且$\mathbf{Q}$是正交矩阵满足${\mathbf{Q}}^{-1}={\mathbf{Q}}^{\mathrm{T}}$，令$\mathbf{H}=\mathbf{I}-2{\mathbf{\omega }\mathbf{\omega }}^{\mathrm{T}}$，所以对公式$(1)$转换得
$$\mathbf{\eta }=\mathbf{H}\mathbf{\xi }\Rightarrow \mathbf{Q}\mathbf{\eta }=\mathbf{Q}\mathbf{H}{\mathbf{Q}}^{-1}\mathbf{Q}\mathbf{\xi }$$
得
$$\begin{array}{rl}\mathbf{Q}\mathbf{H}{\mathbf{Q}}^{-1}& =\mathbf{Q}(\mathbf{I}-2{\mathbf{\omega }\mathbf{\omega }}^{\mathrm{T}}){\mathbf{Q}}^{\mathrm{T}}\\ & =\mathbf{I}-2{\mathbf{Q}\mathbf{\omega }\mathbf{\omega }}^{\mathrm{T}}{\mathbf{Q}}^{\mathrm{T}}\\ & =\mathbf{I}-2(\mathbf{Q}\mathbf{\omega })(\mathbf{Q}\mathbf{\omega }{)}^{\mathrm{T}}\\ & =\mathbf{I}-2\left[\begin{array}{c}0\\ 1\end{array}\right](0,1)\\ & =\left[\begin{array}{cc}1& 0\\ 0& -1\end{array}\right]\end{array}$$
旋转后的反射阵变成了前面讲解的关于$x$轴的反射阵，所以旋转后的向量$\mathbf{Q}\mathbf{\eta }$和$\mathbf{Q}\mathbf{\xi }$是关于$x$轴对称的。所以原始向量$\mathbf{\xi }$和$\mathbf{\eta }$关于与$\mathbf{\omega }$垂直的$l$轴对称的。因此公式$(1)$确定的变换是关于$l$轴的一种反射变换，反射阵为
$$\mathbf{H}={\mathbf{Q}}^{-1}\left[\begin{array}{cc}1& 0\\ 0& -1\end{array}\right]\mathbf{Q}$$
上面公式右边三个矩阵都是正交矩阵(正交矩阵的逆也是正交矩阵，所以${\mathbf{Q}}^{-1}$也是正交矩阵)，所以乘积$\mathbf{H}=\mathbf{I}-2{\mathbf{\omega }\mathbf{\omega }}^{\mathrm{T}}$也是正交矩阵，同时
$$det\mathbf{H}=det(\mathbf{I}-2{\mathbf{\omega }\mathbf{\omega }}^{\mathrm{T}})=-1$$
所以最终有
定理1
在欧式空间${\mathbf{R}}^n$中，有线性变换将向量$\mathbf{\xi }$映射成与单位向量$\mathbf{\omega }$正交的$n-1$维子空间对称的向量$\mathbf{\eta }$，且有
$$\mathbf{\eta }=(\mathbf{I}-2{\mathbf{\omega }\mathbf{\omega }}^{\mathrm{T}})\mathbf{\xi }=\mathbf{H}\mathbf{\xi }$$
称这种线性变换为镜像变换或豪斯霍尔德(Householder)变换，其中矩阵
$$\mathbf{H}=\mathbf{I}-2{\mathbf{\omega }\mathbf{\omega }}^{\mathrm{T}}.\text{\hspace{1em}(2)}$$
称为初等反射矩阵或豪斯霍尔德(Householder)矩阵。

性质

基本性质

有$\mathbf{H}=\mathbf{I}-2{\mathbf{\omega }\mathbf{\omega }}^{\mathrm{T}}$是欧式空间${\mathbf{R}}^n$中的初等反射矩阵，则有该矩阵有以下性质

1. $\mathbf{H}$是对称的正交矩阵；
2. $det\mathbf{H}=det(\mathbf{I}-2{\mathbf{\omega }\mathbf{\omega }}^{\mathrm{T}})=-1$.

性质1证明
有$\mathbf{H}=\mathbf{I}-2{\mathbf{\omega }\mathbf{\omega }}^{\mathrm{T}}={\mathbf{I}}^{\mathrm{T}}-(2{\mathbf{\omega }\mathbf{\omega }}^{\mathrm{T}}{)}^{\mathrm{T}}=(\mathbf{I}-2{\mathbf{\omega }\mathbf{\omega }}^{\mathrm{T}}{)}^{\mathrm{T}}={\mathbf{H}}^{\mathrm{T}}$，矩阵$\mathbf{H}$是对称矩阵。
又有
$$\begin{array}{rl}{\mathbf{H}}^{\mathrm{T}}\mathbf{H}& =(\mathbf{I}-2{\mathbf{\omega }\mathbf{\omega }}^{\mathrm{T}}{)}^{\mathrm{T}}(\mathbf{I}-2{\mathbf{\omega }\mathbf{\omega }}^{\mathrm{T}})=(\mathbf{I}-2{\mathbf{\omega }\mathbf{\omega }}^{\mathrm{T}}{)}^2\\ & =\mathbf{I}-4{\mathbf{\omega }\mathbf{\omega }}^{\mathrm{T}}+4\mathbf{\omega }({\mathbf{\omega }}^{\mathrm{T}}\mathbf{\omega }){\mathbf{\omega }}^{\mathrm{T}}\\ & =\mathbf{I}-4{\mathbf{\omega }\mathbf{\omega }}^{\mathrm{T}}+4{\mathbf{\omega }\mathbf{\omega }}^{\mathrm{T}}=\mathbf{I}\end{array}$$
得证。
性质2证明
和上面类似，通过有限次的旋转可使$\mathbf{\omega }$的第一个分了为正，其余分量全为零，而且$\mathbf{\omega }$是单位向量，即转换为${\mathbf{e}}_1=(1,0,\cdots ,0{)}^{\mathrm{T}}$，具体可参考[矩阵的QR分解系列二] 吉文斯(Givens)变换介绍。这里令这些有限次的旋转为$\mathbf{Q}$，则${\mathbf{Q}\mathbf{\omega }=\mathbf{e}}_1$，同时$\mathbf{Q}$是正交矩阵。
又
$$\mathbf{\eta }=\mathbf{H}\mathbf{\xi }\Rightarrow \mathbf{Q}\mathbf{\eta }=\mathbf{Q}\mathbf{H}{\mathbf{Q}}^{-1}\mathbf{Q}\mathbf{\xi }$$
得
$$\begin{array}{rl}\mathbf{Q}\mathbf{H}{\mathbf{Q}}^{-1}& =\mathbf{Q}(\mathbf{I}-2{\mathbf{\omega }\mathbf{\omega }}^{\mathrm{T}}){\mathbf{Q}}^{\mathrm{T}}\\ & =\mathbf{I}-2{\mathbf{Q}\mathbf{\omega }\mathbf{\omega }}^{\mathrm{T}}{\mathbf{Q}}^{\mathrm{T}}=\mathbf{I}-2(\mathbf{Q}\mathbf{\omega })(\mathbf{Q}\mathbf{\omega }{)}^{\mathrm{T}}\\ & =\mathbf{I}-2\left[\begin{array}{c}1\\ 0\\ ⋮\\ 0\end{array}\right](1,0,\cdots ,0)\\ & =\left[\begin{array}{cccc}-1& & & \\ & 1& & \\ & & \ddots & \\ & & & 1\end{array}\right]\end{array}$$
所以
$$\mathbf{Q}\mathbf{\eta }=\left[\begin{array}{cccc}-1& & & \\ & 1& & \\ & & \ddots & \\ & & & 1\end{array}\right]\mathbf{Q}\mathbf{\xi }$$
对于旋转后的向量$\mathbf{Q}\mathbf{\eta }$和$\mathbf{Q}\mathbf{\xi }$而言，仅第一个分量在上面的变换下改变了符号，也就是说$\mathbf{Q}\mathbf{\eta }$可以看作是$\mathbf{Q}\mathbf{\xi }$关于与${\mathbf{e}}_1$正交的$n-1$维子空间的镜像。
又
$$\mathbf{H}={\mathbf{Q}}^{-1}\left[\begin{array}{cccc}-1& & & \\ & 1& & \\ & & \ddots & \\ & & & 1\end{array}\right]\mathbf{Q}$$
右边每个矩阵都是正交矩阵，所以$\mathbf{H}$也是正交矩阵，且
$$det\mathbf{H}=det(\mathbf{I}-2{\mathbf{\omega }\mathbf{\omega }}^{\mathrm{T}})=-1$$
得证。

目标方向旋转

定理
镜像变换可以使任何非零向量$\mathbf{\xi }$变成与给定单位向量$\mathbf{\zeta }$同方向的向量$\mathbf{\eta }$。

这也是后面为消元做准备，主要目前是怎么利用提供的$\mathbf{\zeta }$求$\mathbf{\omega }$。
证明
根据之前的图像可知
$$\begin{array}{rl}\mathbf{\eta }& =|\mathbf{\xi }|\mathbf{\zeta },and\\ {\mathbf{\omega }}^{\mathrm{T}}\mathbf{\xi }& =(\mathbf{\omega },\mathbf{\xi })=\mathbf{\omega }\cdot \mathbf{\xi }\\ & =|\mathbf{\omega }||\mathbf{\xi }|cos(\mathbf{\omega },\mathbf{\xi })\\ & =\frac{1}{2}|\mathbf{\xi }-\mathbf{\eta }|\end{array}$$
又由$\mathbf{\xi }-\mathbf{\eta }=2\mathbf{\omega }({\mathbf{\omega }}^{\mathrm{T}}\mathbf{\xi })$，从而得
$$\mathbf{\omega }=\frac{\mathbf{\xi }-\mathbf{\eta }}{2({\mathbf{\omega }}^{\mathrm{T}}\mathbf{\xi })}=\frac{\mathbf{\xi }-\mathbf{\eta }}{|\mathbf{\xi }-\mathbf{\eta }|}=\frac{\mathbf{\xi }-|\mathbf{\xi }|\mathbf{\zeta }}{|\mathbf{\xi }-|\mathbf{\xi }|\mathbf{\zeta }|}.\text{\hspace{1em}(3)}$$
记住这个公式，后面求$\mathbf{Q}\mathbf{R}$分解会用到。
然后又有$\mathbf{H}=\mathbf{I}-2{\mathbf{\omega }\mathbf{\omega }}^{\mathrm{T}}$得
$$\begin{array}{rl}\mathbf{\eta }& =\mathbf{H}\mathbf{\xi }\\ & =(\mathbf{I}-2\frac{(\mathbf{\xi }-|\mathbf{\xi }|\mathbf{\zeta })(\mathbf{\xi }-|\mathbf{\xi }|\mathbf{\zeta }{)}^{\mathrm{T}}}{|\mathbf{\xi }-|\mathbf{\xi }|\mathbf{\zeta }{|}^2})\mathbf{\xi }\\ & =\mathbf{\xi }-2(\mathbf{\xi }-|\mathbf{\xi }|\mathbf{\zeta },\mathbf{\xi })\frac{\mathbf{\xi }-|\mathbf{\xi }|\mathbf{\zeta }}{|\mathbf{\xi }-|\mathbf{\xi }|\mathbf{\zeta }{|}^2}\\ & =\mathbf{\xi }-(\mathbf{\xi }-|\mathbf{\xi }|\mathbf{\zeta })=|\mathbf{\xi }|\mathbf{\zeta }\end{array}$$
其中利用下面的等式
$$\begin{array}{rl}2(\mathbf{\xi }-|\mathbf{\xi }|\mathbf{\zeta },\mathbf{\xi })& =2(\mathbf{\xi }-\mathbf{\eta },\mathbf{\xi })\\ & =2|\mathbf{\xi }|cos(\mathbf{\xi }-\mathbf{\eta },\mathbf{\xi })|\mathbf{\xi }-\mathbf{\eta }|=2|\mathbf{\xi }|cos(\mathbf{\omega },\mathbf{\xi })|\mathbf{\xi }-\mathbf{\eta }|\\ & =|\mathbf{\xi }-\mathbf{\eta }{|}^2=|\mathbf{\xi }-|\mathbf{\xi }|\mathbf{\zeta }{|}^2\end{array}$$
得证。

初等反射矩阵 转 初等旋转矩阵

定理
初等旋转矩阵(变换)是两个初等反射矩阵(变换)的乘积。
证明
对于初等旋转矩阵
$${\mathbf{R}}_{ij}=\left[\begin{array}{ccccccccccc}1& & & & & & & & & & \\ & \ddots & & & & & & & & & \\ & & 1& & & & & & & & \\ & & & c& 0& \cdots & 0& s& & & \\ & & & 0& 1& \cdots & 0& 0& & & \\ & & & ⋮& ⋮& & ⋮& ⋮& & & \\ & & & 0& 0& \cdots & 1& 0& & & \\ & & & -s& 0& \cdots & 0& c& & & \\ & & & & & & & & 1& & \\ & & & & & & & & & \ddots & \\ & & & & & & & & & & 1\end{array}\right]$$
(1) 取单位向量
$$\mathbf{\omega }=(0,\cdots ,0,sin\frac{\theta }{4},0,\cdots ,0,cos\frac{\theta }{4},0,\cdots ,0{)}^{\mathrm{T}}$$
其中${\mathbf{\omega }}_i=sin\frac{\theta }{4},{\mathbf{\omega }}_j=cos\frac{\theta }{4}$。
根据公式$(2)$构造初等反射阵
$$\begin{array}{rl}{\mathbf{H}}_1& =\mathbf{I}-2{\mathbf{\omega }\mathbf{\omega }}^{\mathrm{T}}\\ & =\left[\begin{array}{ccccccccccc}1& & & & & & & & & & \\ & \ddots & & & & & & & & & \\ & & 1& & & & & & & & \\ & & & cos\frac{\theta }{2}& 0& \cdots & 0& -sin\frac{\theta }{2}& & & \\ & & & 0& 1& \cdots & 0& 0& & & \\ & & & ⋮& ⋮& & ⋮& ⋮& & & \\ & & & 0& 0& \cdots & 1& 0& & & \\ & & & -sin\frac{\theta }{2}& 0& \cdots & 0& -cos\frac{\theta }{2}& & & \\ & & & & & & & & 1& & \\ & & & & & & & & & \ddots & \\ & & & & & & & & & & 1\end{array}\right]\end{array}$$
(2) 再取单位向量
$${\mathbf{\omega }}^{\prime }=(0,\cdots ,0,sin\frac{3\theta }{4},0,\cdots ,0,cos\frac{3\theta }{4},0,\cdots ,0{)}^{\mathrm{T}}$$
其中${\mathbf{\omega }}_i^{\prime }=sin\frac{\theta }{4},{\mathbf{\omega }}_j^{\prime }=cos\frac{\theta }{4}$。
根据公式$(2)$构造初等反射阵
$$\begin{array}{rl}{\mathbf{H}}_2& =\mathbf{I}-2{{\mathbf{\omega }}^{\prime }{\mathbf{\omega }}^{\prime }}^{\mathrm{T}}\\ & =\left[\begin{array}{ccccccccccc}1& & & & & & & & & & \\ & \ddots & & & & & & & & & \\ & & 1& & & & & & & & \\ & & & cos\frac{3\theta }{2}& 0& \cdots & 0& -sin\frac{3\theta }{2}& & & \\ & & & 0& 1& \cdots & 0& 0& & & \\ & & & ⋮& ⋮& & ⋮& ⋮& & & \\ & & & 0& 0& \cdots & 1& 0& & & \\ & & & -sin\frac{3\theta }{2}& 0& \cdots & 0& -cos\frac{3\theta }{2}& & & \\ & & & & & & & & 1& & \\ & & & & & & & & & \ddots & \\ & & & & & & & & & & 1\end{array}\right]\end{array}$$
可以验证有${\mathbf{R}}_{ij}={\mathbf{H}}_2{\mathbf{H}}_1$。
所以说初等反射矩阵比初等旋转矩阵更加基本。

例子

用镜像变化把向量$\mathbf{\xi }=(0,3,0,4{)}^{\mathrm{T}}$变为与向量${\mathbf{e}}_1=(1,0,0,0{)}^{\mathrm{T}}$同方向的向量。
解：
用上面的公式$(3)$可得
$$\begin{array}{rl}\mathbf{\omega }& =\frac{\mathbf{\xi }-|\mathbf{\xi }|\mathbf{\zeta }}{|\mathbf{\xi }-|\mathbf{\xi }|\mathbf{\zeta }|}=\frac{\mathbf{\xi }-|\mathbf{\xi }|{\mathbf{e}}_1}{|\mathbf{\xi }-|\mathbf{\xi }|{\mathbf{e}}_1|}\\ & =\frac{(-5,3,0,4{)}^{\mathrm{T}}}{|(-5,3,0,4{)}^{\mathrm{T}}|}\\ & =(-\frac{1}{\sqrt{2}},\frac{3}{5\sqrt{2}},0,\frac{4}{5\sqrt{2}}{)}^{\mathrm{T}}\end{array}$$
则镜像变换的豪斯霍尔德(Householder)矩阵为
$$\mathbf{H}=\mathbf{I}-2{\mathbf{\omega }\mathbf{\omega }}^{\mathrm{T}}=\left[\begin{array}{cccc}0& \frac{3}{5}& 0& \frac{4}{5}\\ \frac{3}{5}& \frac{16}{25}& 0& -\frac{12}{25}\\ 0& 0& 1& 0\\ \frac{4}{5}& -\frac{12}{25}& 0& \frac{9}{25}\end{array}\right]$$
所以
$$\mathbf{\eta }=\mathbf{H}\mathbf{\xi }=(5,0,0,0{)}^{\mathrm{T}}=5{\mathbf{e}}_1.$$

引用

【1】 矩阵论(第二版)