QR分解的几何解释，并荐书《Algebra, Topology, Differential, Calculus, and Optimization Theory》

一、简介

首先，我在这里推荐一本好书——《Algebra, Topology, Differential, Calculus, and Optimization Theory for Computer Science and Engineering》 【1】 ，该书作者是 Jean Gallier 【2】 教授。老爷子70多岁，就职于宾西法利亚大学 计算机与信息学院，可说本书是他将几十年的教学经验凝聚之精华，总共1900页，分为 9 个大部分，54章，涵盖了线性空间、代数几何、代数、拓扑、微分方程、最优化理论、机器学习等多个方面的数学基础，没有几十年功力实难驾驭自如。书中详细地介绍了计算机科学所需的各门类数学基础，不仅是从本科的基础高等数学到各领域专业前沿研究的重要过渡，也为继续学习更为高深的数学做了一定的铺垫，以及指明了方向。最难得的是，这本大部头是开源的，我把这个资源列在了文章后面的参考文献【1】中，真希望能找到一同学习的同学，可以聊聊学习心得，相互启发、帮助，共同进步。
以下博文是我依据该书第12章（《QR-Decomposition for Arbitrary Matrices》）的内容，结合自己的理解写成，不对之处，还望不吝赐教。

二、QR分解

把矩阵分解为形式比较简单或具有某种特性的一些矩阵的乘积，称之为矩阵分解，它在矩阵理论的研究与应用中占据着非常重要的地位。因为一方面，这些分解式的特殊形式能够反映出原矩阵的某些数值特征；另一方面，这些分解的方法与过程为数值计算提供了理论依据。矩阵 QR 分解是将任意矩阵 $A$ 分解为两个矩阵相乘，如：$A=QR$，其中 $Q$ 是规范正交矩阵（Orthonormal Matrix），$R$ 是上三角矩阵（Upper Triangular Matrix）。QR分解在解决最小二乘问题、特征值计算方面都有广泛应用。【3】
在【4】中，给出了QR分解的一般证明（原书 2.6.1 定理），它是基于 Gram-Schmidt 正交化给出的：
定理1：QR分解
如果 $A\in M_{n,m}$ 且 $n\ge m$，那么存在具有标准正交列（归一化正交）的矩阵 $Q\in M_{n,m}$ 和上三角矩阵 $R\in M_{m,m}$，使得 $A=QR$。如果 $n=m$，那么 $Q$ 是酉矩阵（即 $Q^{\ast }Q=Q{Q}^{\ast }=I$）；此外，如果 $A$ 是非奇异矩阵，则可以选取 $R$ 为具有正对角元的上三角矩阵，并且在这种情况，因子 $Q$ 和 $R$ 都是唯一的，如果 $A\in M_{n,m}(\mathbb{R})$，那么 $Q$ 和 $R$ 都可以取实矩阵。
证明：
如果 $A\in M_{n,m}$ ，且 $rank(A)=m$，则 $A$ 的各列构成 ${\mathbb{C}}^n$ 的一个无关组，把 Gram-Schmidt 过程应用于 $A$ 的各列，用矩阵记号描述所得的结果，就可以得到$A$ 的QR分解。Gram-Schmidt 算法的自然推广使同样的矩阵记号描述能够应用于任意矩阵 $A$ 的各列，于是得到一般矩阵 $A$ 的QR分解。以下简述之：
设 $A=[{\mathbf{a}}_1,{\mathbf{a}}_2,\cdots ,{\mathbf{a}}_m]$，其中 ${\mathbf{a}}_i$ 是$A$ 的列矢量（column vector），对 $A$ 的各列矢量执行 Gram-Schmidt 过程，得到正交矢量 ${\mathbf{p}}_1,{\mathbf{p}}_2,\cdots ,{\mathbf{p}}_m$，归一化得到 ${\mathbf{q}}_1,{\mathbf{q}}_2,\cdots ,{\mathbf{q}}_m$，过程如下：

• 正交化过程：

$$\begin{gathered} {\mathbf{p}}_1={\mathbf{a}}_1 \\ {\mathbf{p}}_2={\mathbf{a}}_2-\frac{{\mathbf{a}}_2^T{\mathbf{p}}_1}{\Vert {\mathbf{p}}_1{\Vert }^2}{\mathbf{p}}_1 \\ {\mathbf{p}}_3={\mathbf{a}}_3-\frac{{\mathbf{a}}_3^T{\mathbf{p}}_1}{\Vert {\mathbf{p}}_1{\Vert }^2}{\mathbf{p}}_1-\frac{{\mathbf{a}}_3^T{\mathbf{p}}_2}{\Vert {\mathbf{p}}_2{\Vert }^2}{\mathbf{p}}_2 \\ \cdots \cdots \\ {\mathbf{p}}_m={\mathbf{a}}_m-\frac{{\mathbf{a}}_m^T{\mathbf{p}}_1}{\Vert {\mathbf{p}}_1{\Vert }^2}{\mathbf{p}}_1-\cdots \frac{{\mathbf{a}}_m^T{\mathbf{p}}_{m-1}}{\Vert {\mathbf{p}}_{m-1}{\Vert }^2}{\mathbf{p}}_{m-1} \end{gathered}$$

• 归一化过程：
  $${\mathbf{q}}_i=\frac{{\mathbf{p}}_i}{\Vert {\mathbf{p}}_i\Vert }$$
  由此
  $$\begin{gathered} {\mathbf{a}}_1={\mathbf{p}}_1=\Vert {\mathbf{p}}_1\Vert {\mathbf{q}}_1=r_{11}{\mathbf{q}}_1 \\ {\mathbf{a}}_2=\frac{{\mathbf{a}}_2^T{\mathbf{p}}_1}{\Vert {\mathbf{p}}_1{\Vert }^2}{\mathbf{p}}_1+{\mathbf{p}}_2=r_{21}{\mathbf{q}}_1+r_{22}{\mathbf{q}}_2 \end{gathered}$$
  其中，$r_{21}=\frac{{\mathbf{a}}_2^T{\mathbf{p}}_1}{\Vert {\mathbf{p}}_1{\Vert }^2}\cdot r_{11}$ 和 $r_{22}=\frac{{\mathbf{p}}_2}{\Vert {\mathbf{p}}_2\Vert }$，如此类推，可得：
  $${\mathbf{a}}_i=r_{i1}{\mathbf{q}}_1+r_{i2}{\mathbf{q}}_2+\cdots +r_{ii}{\mathbf{q}}_i,1\le i\le m$$
  于是，
  $$\begin{gathered} A=[{\mathbf{a}}_1,{\mathbf{a}}_2,\cdots ,{\mathbf{a}}_m] \\ =[r_{11}{\mathbf{q}}_1,r_{21}{\mathbf{q}}_1+r_{22}{\mathbf{q}}_2,\cdots ,r_{m1}{\mathbf{q}}_1+\cdots +r_{mm}{\mathbf{q}}_m] \\ =[{\mathbf{q}}_1,{\mathbf{q}}_2,\cdots ,{\mathbf{q}}_m]\cdot \left[\begin{array}{cccc}{r}_{11}& r_{21}& \cdots & r_{m1}\\ 0& r_{22}& \cdots & r_{m2}\\ 0& 0& \cdots & r_{m3}\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & r_{mm}\end{array}\right] \end{gathered}$$
  我们得到归一化正交矩阵 $Q=[{\mathbf{q}}_1,{\mathbf{q}}_2,\cdots ,{\mathbf{q}}_m]$ 和上三角矩阵
  $$R=\left[\begin{array}{cccc}{r}_{11}& r_{21}& \cdots & r_{m1}\\ 0& r_{22}& \cdots & r_{m2}\\ 0& 0& \cdots & r_{m3}\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & r_{mm}\end{array}\right]$$
  证毕。

三、基于超平面反射（Hyperplane Reflection）的 QR Decomposition

由 Gram-Schmidt 过程是可以证明QR分解的，但其过程不能很好地揭示矢量空间的几何性质。在【1】中给出一个基于超平面反射下QR分解的证明，整个过程有着清晰的几何变换意义，该证明过程简述如下。

3.1 超平面反射映射（Hyperplane Reflection Map）

首先，我们将建立一个称为投影（Projection）的概念。
定理1：（【1】中 Proposition 5.5）投影映射（Projection Map）
如果 $E$ 是任意矢量空间（vector space），对于 $E$ 的任意有限维子空间 $U_1,U_2,\cdots ,U_p$，有
$$E=U_1\oplus U_2\cdots \oplus U_p$$
其中，“$\oplus$”表示直和（Direct Sum），因为任意矢量 $u\in E$ 都可以唯一地表示成为：
$$u=u_1+\cdots +u_p$$
其中，$u_i\in U_i,\text{ for }i=1\cdots ,p$，由此，我们可以定义一个被称为投影（Projection）的映射 ${\pi }_i:E\to U_i$，具体为：
$${\pi }_i(u)={\pi }_i(u_1+\cdots +u_p)=u_i$$
定义2： 对称映射 Symmetry（或称为反射 Reflection），【1】中 Definition 12.1
给定任意矢量空间 $E$，$F$ 和 $G$ 是 $E$ 中任意可以直和构成 $E$ 的子空间，即 $E=F\oplus G$，则“平行于 $G$ ，关于 $F$ ”的反射 Reflection（对称映射 Symmetry）是这样一个映射 $s:E\to E$
$$\begin{gathered} s(u)=2p_F(u)-u,\text{for every }u\in E \\ s=2p_F-id \end{gathered}$$
其中，$p_F(\cdot )$表示关于 $F$ 的投影（Projection），$id$ 表示全等映射（Identity Map，$id(u)=u$），以下 “$\circ$” 表示复合运算，于是有以下等式：
$$\begin{gathered} p_F(u)+p_G(u)=u \\ {p}_F+p_G=id \\ {s}^2=s\circ s=(2p_F-id)\circ (2p_F-id) \\ =2p_F\circ 2p_F-id\circ 2p_F-2p_F\circ id+id\circ id \\ =4p_F-2p_F-2p_F+id=id \\ s(u)=2p_F(u)-u=p_F(u)-p_G(u) \\ s=2p_F-id=p_F-p_G \end{gathered}$$
在定义2上再加一个约束：$F\perp G$，则此反射称为正交反射 Orthogonal Reflection（或正交对称 Orthogonal Symmetry）。若再在此基础上加一个约束，$F$ 是 $E$ 的超平面 Hyperplane，则此关于 $F$ 的反射，就称为超平面反射 Hyperplane Reflection。以下给出一个3维实矢量空间 ${\mathbb{R}}^3$ 的超平面反射例子，如下图：

图1 ${\mathbb{R}}^3$ 的超平面反射，${\mathbb{R}}^3=F\oplus G$，其中橙色平面表示 $F$，$G$ 正交于 $F$，矢量 $u$ 分解为两部分：$p_F(u),p_G(u)$，$u$ 经 $F$ 反射后，得到 $s(u)$

定义3： Householder Matrix（【1】的 Definition 12.3）
具有以下形式的矩阵，称为 Householder 矩阵
$$H=I_n-2\frac{\omega {\omega }^T}{\Vert \omega {\Vert }^2}$$
其中，$\omega \in {\mathbb{R}}^n$ 是一个非 0 矢量。

若 $s(u)$ 是关于 $H$，正交于 $G$ （$G$是正交于$H$的一维矢量空间）的 Hyperplane Reflection，其中 $u\in {\mathbb{R}}^n$。则由定义2，有：
$$\begin{gathered} s(u)=2p_F(u)-u=u-2p_G(u) \\ \text{with }\omega \in G,\Rightarrow p_G(u)=\lambda \omega \\ \Rightarrow s(u)=u-2\lambda \omega \end{gathered}$$
又因为：
$$\begin{gathered} u=p_F(u)+p_G(u)\text{ and }{p}_F(u)\perp p_G(u) \\ u\cdot \omega =(p_F(u)+p_G(u))\cdot \omega \\ =p_F(u)\cdot \omega +p_G(u)\cdot \omega \\ =0+\lambda \omega \cdot \omega =\lambda \Vert \omega {\Vert }^2 \\ \Rightarrow \lambda =\frac{u\cdot \omega }{\Vert \omega {\Vert }^2} \\ \Rightarrow s(u)=u-2\frac{u\cdot \omega }{\Vert \omega {\Vert }^2}\omega \\ =I_{n}u-\frac{2}{\Vert \omega {\Vert }^2}\omega ({\omega }^{T}u) \\ =(I_n-2\frac{\omega {\omega }^T}{\Vert \omega {\Vert }^2})u=Hu) \\ \Rightarrow H=I_n-2\frac{\omega {\omega }^T}{\Vert \omega {\Vert }^2} \end{gathered}$$
上式中“$\cdot$”表示矢量的点积，点积可以化为矢量相乘，矢量乘满足结合律，另外，标量左乘矢量等于标量右乘矢量，即：$(u\cdot \omega )\omega =\omega (u\cdot \omega )$。因此：
$$(u\cdot \omega )\omega =\omega (u\cdot \omega )=\omega ({\omega }^{T}u)=(\omega {\omega }^T)u$$
由上述推导可知，Householder Matrix 实际上就是超平面反射 Hyperplane Reflection 对应的矩阵。

3.2 基于超平面反射的 QR Decomposition 证明

定理的证明分为三个步骤组成：

1. 平面反射的存在性和唯一性
2. 反射矢量可由部分基矢量线性组合表示
3. Q矩阵与R矩阵的形成

这三个步骤其实是三个定理的证明，现摘录如下：
定理2：
平面反射的存在性与唯一性（【1】的 Proposition 12.2）
$E$ 是一个非平凡 Euclidean 矢量空间，取它的任意两个等长矢量有
$$u,v\in E,\text{ and }\Vert u\Vert =\Vert v\Vert$$
则存在一个超平面（hyperplane）$H$，该 $H$ 能对 $u$ 进行超平面反射得到 $v$，若 $u\ne v$，则这样的超平面反射 $H$ 是唯一的。如图2：

图2、$H$ 是 $u,v$ 的反射平面
证明：
如果 $u=v$，则任何包含 $u,v$ 的超平面都可以作为反射平面。否则,$v-u\ne 0$，则一定存在超平面 Hyperplane $H=\{v-u{\}}^{\perp }$，且该平面是唯一的（因为 Hyperplane 超平面是过原点的）。则 $u$ 关于 $H$ 的反射满足：
$$s(u)=u-2\frac{(u\cdot (v-u))}{\Vert (v-u){\Vert }^2}(v-u)=u+\frac{2\Vert u{\Vert }^2-2u\cdot v}{\Vert (v-u){\Vert }^2}(v-u)$$
因为
$$\begin{gathered} \Vert (v-u){\Vert }^2=(v-u)\cdot (v-u)=v\cdot v-u\cdot v-v\cdot u+v\cdot v \\ =\Vert u{\Vert }^2+\Vert v{\Vert }^2-2u\cdot v \end{gathered}$$
又因为 $\Vert u\Vert =\Vert v\Vert$，因此$\Vert (v-u){\Vert }^2=2\Vert u{\Vert }^2-2u\cdot v$，所以 $s(u)=v$，证毕。

定理3：（【1】的 Proposition 12.3）
$E$ 是 n 维非平凡 Euclidean Space，$(e_1,\cdots ,e_n)$ 是它的一个规范正交基（Orthonormal Basis），$(v_1,\cdot ,v_n)$ 是由 $E$ 中 n 个任意矢量构成的 n 元组（n-tuple），则存在 n 个等距变换（Isometries）$h_1,\cdots ,h_n$，$h_i$ 可以是一个超平面反射（Hyperplane Reflection）或者是全等映射（Identity），使得，若 n 元组 $(r_1,\cdots ,r_n)$ 中每一个矢量都来自复合映射
$$r_j=h_n\circ \cdots \circ h_1(v_j)$$
则每个 $r_j$ 皆可由下标不大于 j 的基矢量 $(e_1,\cdots ,e_j),1\le j\le n$ 线性表示，即
$$r_j={\lambda }_1{e}_1+\cdots +{\lambda }_j{e}_j,1\le j\le n$$
这样，由 $r_j$ 作为列矢量的矩阵 $R$ 在基 $(e_1,\cdots ,e_n)$ 上就是一个上三角矩阵（Upper Triangular Matrix），而且，我们还可以通过选择 $h_i$ 使 $R$ 的对角元素是非负实数（nonnegative）。
证明：
该定理的证明可采用递推法（Induction）证明。
第一步，我们令 $E$ 的维数是 $n=1$，由此有 $v_1=\lambda e_1,\lambda \in \mathbb{R}$。如果 $\lambda \ge 0$，令 $h_1=id$，否则，$\lambda <0$，令 $h_1=-id$，则定理成立，此反射是关于原点反射。
第二步，对于 $n\ge 2$，首先，我们需要找出 $h_1$。
令
$$r_{1,1}=\Vert v_1\Vert$$
如果 $v_1=r_{1,1}{e}_1$，我们则令 $h_1=id$。否则，必存在一个唯一的 超平面反射（hyperplane reflection） $h_1$ 使
$$h_1(v_1)=r_{1,1}{e}_1$$
即在基矢量 $e_1$ 与 $v_1$ 之间存在一个超平面反射 $h_1$，有：
$$\begin{gathered} h_1(u)=u-2\frac{(u\cdot {\omega }_1)}{\Vert {\omega }_1{\Vert }^2}{\omega }_1 \\ {\omega }_1=r_{1,1}{e}_1-v_1 \end{gathered}$$
如下图：

图3、 利用定理2，所得 $v_1$ 与 $e_1$ 之间的平面反射 $H_1$

由上可知，$r_1$ 在由基矢量 $e_1$ 张成的子空间中，而且 $r_{1,1}=\Vert v_1\Vert$ 为非负，满足所证定理。
接下来，我们假设已找到 $k$ 个线性映射 $h_1,\cdots ,h_k,1\le k\le n-1$，它们若不是超平面反射（Hyperplane Reflection）便是全等映射（Identity），而且，在这些线性映射复合映射下有：
$$r_j=h_k\circ h_{k-1}\circ \cdots h_2\circ h_1(v_j)$$
每个 $r_j$ 皆可以表示为部分基 $(e_1,\cdots ,e_j),1\le j\le k$ 的线性组合，如下图：

图4、$h_1$ 的构建

由部分基 $(e_1,\cdots ,e_k)$ 可张成子空间 $U_k^{\prime }$，余下部分基 $(e_{k+1},\cdots ,e_n)$ 可张成子空间 $U_k^{\prime \prime }$，则有
$$E=U_k^{\prime }\oplus U_k^{\prime \prime }$$
令
$$u_{k+1}=h_k\circ h_{k-1}\circ \cdots h_2\circ h_1(v_{k+1})$$
这条等式表示矢量 $v_{k+1}$ 经过顺序的k次反射后得到的矢量，我们可以将它 $u_{k+1}$ 表示为
$$u_{k+1}=u_{k+1}^{\prime }+u_{k+1}^{\prime \prime }$$
其中，$u_{k+1}^{\prime }\in U_k^{\prime },u_{k+1}^{\prime \prime }\in U_k^{\prime \prime }$ ，以 $h_1(v_2)$ 为例，如下图：

图5、矢量 $v_2$ 在由图4构建的 $h_1$ 的反射下获得的 $h_1(v_2)$

上面已经论述 $h_k$ 满足了要求，接下来要构建 $h_{k+1}$。令
$$r_{k+1,k+1}=\Vert u_{k+1}^{\prime \prime }\Vert$$
如果 $u_{k+1}^{\prime \prime }=r_{k+1,k+1}{e}_{k+1}$，我们可以令 $h_{k+1}=id$，容易验证，这是符合定理要求的。否则，就存在唯一的超平面反射 $h_{k+1}$ 使得：
$$h_{k+1}(u_{k+1}^{\prime \prime })=r_{k+1,k+1}{e}_{k+1}$$
由此，我们得到超平面反射 $h_{k+1}$ 的定义：
$$h_{k+1}(u)=u-2\frac{u\cdot {\omega }_{k+1}}{\Vert {\omega }_{k+1}{\Vert }^2}{\omega }_{k+1}$$
其中，超平面 $H_{k+1}$ 的法向量 ${\omega }_{k+1}$ 是：
$${\omega }_{k+1}=r_{k+1,k+1}{e}_{k+1}-u_{k+1}^{\prime \prime }$$
由此定义得到的 $h_{k+1}$ 就是关于超平面 $H_{k+1}$ 正交于 ${\omega }_{k+1}$ 的超平面反射。
由前述，
$$\begin{gathered} u_{k+1}=h_k\circ h_{k-1}\circ \cdots h_2\circ h_1(v_{k+1}) \\ {u}_{k+1}=u_{k+1}^{\prime }+u_{k+1}^{\prime \prime } \end{gathered}$$
部分基 $(e_1,\cdots ,e_k)$ 张成子空间 $U_k^{\prime }$，余下部分基 $(e_{k+1},\cdots ,e_n)$ 张成子空间 $U_k^{\prime \prime }$，且有 $u_{k+1}^{\prime }\in U_k^{\prime },u_{k+1}^{\prime \prime }\in U_k^{\prime \prime }$ 。又因为，$u_{k+1}^{\prime \prime },e_{k+1}\in U_k^{\prime \prime }$ 而 $U_k^{\prime }\perp U_k^{\prime \prime }$，所以，子空间 $U_k^{\prime }\subset H_{k+1}$，因此，$e_1,\cdots ,e_k,u_{k+1}^{\prime }\in H_{k+1}$，于是在关于 $H_{k+1}$ 的超平面反射下，这些矢量，以及由它们线性组合而成的线性矢量都保持不变，即：
$$\begin{gathered} x={\lambda }_1{e}_1+\cdots +{\lambda }_k{e}_k \\ {h}_{k+1}(x)=x \\ {h}_{k+1}(u_{k+1}^{\prime })=u_{k+1}^{\prime } \end{gathered}$$
由此，
$$h_{k+1}(u_{k+1})=h_{k+1}(u_{k+1}^{\prime })+h_{k+1}(u_{k+1}^{\prime \prime })=u_{k+1}^{\prime }+r_{k+1,k+1}{e}_{k+1}$$
上式前一项可由 $e_1,\cdots ,e_k$ 线性组合而成，后一项是在 $e_{k+1,k+1}$ 上，因此，$h_{k+1,k+1}(u_{k+1})$ 可以由部分基 $(e_1,\cdots ,e_{k+1})$ 线性表示，令
$$r_{k+1}=h_{k+1,k+1}(u_{k+1})=h_{k+1}\circ \cdots h_2\circ h_1(v_{k+1})$$
$r_{k+1}$ 可以由 $e_1,\cdots ,e_{k+1}$ 线性组合而成。另外，像 $r_{k+1}$ 在 $e_{k+1}$ 上的坐标为 $r_{k+1,k+1}=\Vert u_{k+1}^{\prime \prime }\Vert$，为非负。
综上，定理在 $n=1$ 时成立，而且当 $n\ge 1$ 成立时，$n+1$ 时也成立，根据递推法，此定理成立，证毕。

为了给出一个直观认识，以下是一个例子，如图：

图6、$v_2$ 经 $h_1$ 反射后得到 $u_2$，它可以分解为$u_2^{\prime },u_2^{\prime \prime }$，$u_2^{\prime }$在接下来的反射 $h_2$ 下保持不变，$u_2^{\prime \prime }$ 在 $h_2$ 作用下得到$h_2(u_2^{\prime \prime })=r_{2,2}{e}_2$，最终 $u_1^{\prime }+r_{2,2}{e}_2$ 得到 $r_2=h_2\circ h_1(v_2)$前面，已经完成了定理证明的大部分，还差最后一步了。
定理4：
对于任意 $n\times n$ 实矩阵 $A$，存在一个矩阵序列 $H_1,\cdots ,H_n$，其中每个 $H_i$ 要不是 Householder Matrix，就是 Identity，使 $R=H_n\cdots H_2{H}_{1}A$ 是一个上三角矩阵。由此，存在一个正交矩阵 $Q$，使 $A=QR$，即 $A$ 的QR分解。更进一步，我们可以通过选择 $Q$ 的列向量，使 $R$的对角元素为非负实数。
证明：
我们将矩阵 $A$ 的各列看作定理3的矢量序列 $(v_1,\cdots ,v_n)$，基是 ${\mathbb{R}}^n$标准基 $(e_1,\cdots ,e_n)$。应用定理3，我们得到一组映射 $h_1,\cdots ,h_n$，其中，$h_j,1\le j\le n$ 是一个 hyperplane reflection，或是一个 identity，则可得到：
$$r_j=h_n\circ \cdots \circ h_2\circ h_1(v_j)$$
$r_j$ 必是部分基 $(e_1,\cdots ,e_j),1\le j\le n$ 的线性组合。令矩阵 $R$ 的列向量是 $r_j$，$H_i$ 是 hyperplane reflection 或是 identity 映射对应的矩阵，有：
$$R=H_n\cdots H_2{H}_{1}A$$
由上分析知，$R$ 是上三角矩阵，而 $H_i$ 是 Householder Matrix 或 Identity Matrix。又因为 $h_i\circ h_i=id,1\le i\le n$，所以有
$$v_j=h_1\circ h_2\circ \cdots \circ h_n(r_j)$$
由此，映射 $\rho =h_1\circ h_2\circ \cdots \circ h_n$ 是一个等距映射 isometry，可以用正交矩阵 $Q=H_1{H}_2\cdots H_n$ 表示。由此，$A=QR$，其中$Q$是正交矩阵，而 $R$ 是上三角矩阵，其对角元素可以通过Q的列向量选择保持非负。证毕。

至此，通过上述定理的证明，我们已证明了QR的存在性，以及如何进行QR分解的方法，下面我们将看到如何利用这里的定理获得QR分解的代码实现。

四、QR分解的代码实现

《矩阵论简明教程》p104
在【1】中给出了详细的基于 Householder Reflection 方法的 QR分解MATLAB 实现代码，我这里仅挑选了部分，用 python 将它翻译了一次，若要看看详细代码，可以在【1】的 p417 找到。
该方法应用 Householder reflections 方法，为得到 $R$ 并不直接求Householder 矩阵的乘积，具有很好的数值稳定性和效率。

import numpy as np

def signe(x):
    # if x >= 0, then signe(x)=1
    # else if x < 0, then signe(x)=-1
    if x<0:
        s = -1
    else:
        s = 1
    return s

def house(x):
    # This constructs the unnormalized vector uu
    # defining the Householder reflection that 
    # zeros all but the first entries in x.
    # u is the normalized vector uu/||uu||
    
    tol = 2*10**(-15)  # tolerance
    uu = x.copy()
    p = np.shape(x)[0]

    # computes l^1-norm of x[1:]
    n1 = np.sum(np.abs(x[1:]))
    if n1 <= tol:
        u = np.zeros((p,1),dtype=np.float32)
        uu = u
    else:
        l = np.sqrt(np.matmul(x.transpose(),x))  # l^2 norm of x
        uu[0] = x[0] + signe(x[0])*l
        u = uu/np.sqrt(np.matmul(uu.transpose(),uu))
    return uu,u

def houseeqr(A):
    # This function computes the upper triangular
    # R in QR factorization of A using Householder
    # reflections, and an implicit representation
    # of Q as sequence of n-1 vectors u_i representing
    # Householder reflections
    
    n = np.shape(A)[0]
    R = A
    u = np.zeros([n, n],dtype=np.float32)
    
    for i in range(n-1):
        x = R[i:,i]
        x = x.reshape([len(x),1])
        _, uu = house(x)

        u[i:,i:i+1] = uu
        if any(uu == np.zeros_like(uu)):
            R[i:, i] = np.zeros_like(R[i:, i])
        else:
            R[i:,i:] = R[i:,i:] - 2*np.matmul(np.matmul(uu,uu.transpose()),R[i:,i:])
    return R,u

A  = np.asarray([[1.0, 2.0, 3.0, 4.0],[2.0, 3.0, 4.0, 5.0],[3.0, 4.0, 5.0, 6.0],[4.0, 5.0, 6.0, 7.0]])

R, u = houseeqr(A)
for i in range(4):
    for j in range(4):
        if abs(R[i,j]) < 0.001:
            R[i,j] = 0
print(R)

>[[ -5.47722558  -7.30296743  -9.12870929 -10.95445115]
 [  0.          -0.81649658  -1.63299316  -2.44948974]
 [  0.           0.           0.           0.        ]
 [  0.           0.           0.           0.        ]]

以上代码，函数 house( ) 的目的是求反射平面法矢量。为了使 $\Vert Px\Vert$ 尽可能大，在计算法矢量 uu（u 是它的归一化）时，我们没有选择原公式
$$uu=x-\Vert x\Vert e_1$$
而是选择了：
$$uu=x+sign(x_1)\Vert x\Vert e_1$$
其结果是一样的，因为符号不影响所确定的反射平面。
函数 houseeqr( ) 求得上三角矩阵，不需显示计算 Householder 矩阵乘。这个处理方法也可以在【3】中 定理4.8 和 定理4.5 处找到证明过程。此处，就不再赘述了。

小结

QR 分解有着非常明确的几何意义，采用超平面反射的方法不仅可以揭示其几何关系，而且为我们提供了一种求解 QR 分解的方法。最后，《Algebra, Topology, Differential, Calculus, and Optimization Theory》是一本不可多得的好书，不仅内容覆盖面广、推导详细，而且通俗易懂，与实现代码结合紧密，是从普通大学数学进阶到算法研究的极好学习材料，值得好好学习。若有一起学习的同学，不妨结伴同行。

参考文献

【1】http://www.cis.upenn.edu/~jean/math-basics.pdf
【2】https://www.cis.upenn.edu/~jean/home.html
【3】《矩阵论简明教程》，徐仲、张凯院等，科学出版社，2001.
【4】《Matrix Analysis 矩阵分析》Roger A.Horn（美）,杨奇（译） 机械工业出版社，2004