重温基础数学--矩阵分解（二）

1. QR分解(QR decomposition)

1.1 定义

设 A∈Cm×rr A ∈ C r m × r 是一个列满秩矩阵，则，有如下分解

A=QR A = Q R

其中， Q∈Um×rr Q ∈ U r m × r 是一个次酉矩阵， R R 是一个 r×r r × r 的上三角矩阵。且 当对角线上元素均为正时，分解唯一。
【注】：此定义为复数域含义下，实数域自然适用。
示意图：

1.2 计算QR分解的方法

1.2.1 Gram-Schmidt正交化

以一个例子说明过程：

A=⎡⎣⎢⎢⎢−311111−1−1−2101⎤⎦⎥⎥⎥=[α1α2α3] A = [ − 3 1 − 2 1 1 1 1 − 1 0 1 − 1 1 ] = [ α 1 α 2 α 3 ]

将Gram-Schmidt正交化应用到矩阵 A A 的每一列，

• 正交化
  γ1=α1 γ 1 = α 1
  γ2=α2−<α2,γ1><γ1,γ1>γ1 γ 2 = α 2 − < α 2 , γ 1 > < γ 1 , γ 1 > γ 1
  γ3=α3−<α3,γ1><γ1,γ1>γ1−<α3,γ2><γ2,γ2>γ2 γ 3 = α 3 − < α 3 , γ 1 > < γ 1 , γ 1 > γ 1 − < α 3 , γ 2 > < γ 2 , γ 2 > γ 2

• 单位化
  γ1=γ1∥γ1∥,γ2=γ2∥γ2∥,γ3=γ3∥γ3∥ γ 1 = γ 1 ‖ γ 1 ‖ , γ 2 = γ 2 ‖ γ 2 ‖ , γ 3 = γ 3 ‖ γ 3 ‖

【注】：内积的含义：
矢量 α α 投影在矢量 β β 的长度 与 矢量 β β 的长度 的乘积。结果是个实数。
例如， <α,α>=∥α∥2 < α , α >= ‖ α ‖ 2
<α2,γ1><γ1,γ1>γ1 < α 2 , γ 1 > < γ 1 , γ 1 > γ 1 就是 α2 α 2 在 γ1 γ 1 上的投影（构成的矢量）。

得到：
γ1=[−312√112√112√112√]T γ 1 = [ − 3 12 1 12 1 12 1 12 ] T
γ2=[026√−16√−16√]T γ 2 = [ 0 2 6 − 1 6 − 1 6 ] T
γ3=[−16√−16√−26√0]T γ 3 = [ − 1 6 − 1 6 − 2 6 0 ] T
组成次酉矩阵 U=[γ1γ2γ3] U = [ γ 1 γ 2 γ 3 ]
那么，上三角矩阵 R R

R=U∗A=⎡⎣⎢12−−√00−12−−√/326–√/30212−−√/36–√/66–√/6⎤⎦⎥ R = U ∗ A = [ 12 − 12 / 3 2 12 / 3 0 2 6 / 3 6 / 6 0 0 6 / 6 ]

1.2.2 Householder reflection

1.2.3 Givens rotation

1.3 QR分解的应用

1.3.1 求 不相容方程 某种含义下的最优解

不相容方程(incompatible equation)：
若 n n 元一次线性方程组 Ax=b A x = b 有解，则称该方程组相容；若无解，则称其不相容。
有解的充要条件是： rank(A|b)=rank(A)≤n r a n k ( A | b ) = r a n k ( A ) ≤ n

结合上面的例子，给出方程右侧的常数项 b=[1021]T b = [ 1 0 2 1 ] T
此时，验算有解的充要条件是不满足的。

也就是说，使4个方程同时成立的解是不存在的，即，使下式

Ax−b=⎡⎣⎢⎢⎢0000⎤⎦⎥⎥⎥ A x − b = [ 0 0 0 0 ]

的矢量 x x （解）是不存在的。
但是，我们可以寻求 某种意义下的一个解，比方说，
找到这样一个 x x ，使得即使右端不全为零，但是它的个 元素的平方和最小。
物理意义：It minimizes the distance between the two vector Ax A x and b b .
数学语言：
min∥e∥2=min(Ax−b)∗(Ax−b) m i n ‖ e ‖ 2 = m i n ( A x − b ) ∗ ( A x − b )
使上式成立的那个 x x ，记为 xopt x o p t .

问题转化：
已知

A4×3=Q4×3R3×3=[QQ⊥]4×4[R0]4×3 A 4 × 3 = Q 4 × 3 R 3 × 3 = [ Q Q ⊥ ] 4 × 4 [ R 0 ] 4 × 3

，
其中， Q是一个次酉矩阵，[QQ⊥] Q 是 一 个 次 酉 矩 阵 ， [ Q Q ⊥ ] 组成一个酉矩阵。

则，

Ax−b=[QQ⊥][R0]x−b=[QQ⊥]{[R0]x−[QQ⊥]∗b} A x − b = [ Q Q ⊥ ] [ R 0 ] x − b = [ Q Q ⊥ ] { [ R 0 ] x − [ Q Q ⊥ ] ∗ b }

因此，

(Ax−b)∗(Ax−b)=(Rx−Q∗b)∗(Rx−Q∗b)+b∗Q⊥Q∗⊥b ( A x − b ) ∗ ( A x − b ) = ( R x − Q ∗ b ) ∗ ( R x − Q ∗ b ) + b ∗ Q ⊥ Q ⊥ ∗ b

那么，使上式最小的 x x 为

xopt=R−1Q∗b x o p t = R − 1 Q ∗ b

两向量间的最小距离为

(Ax−b)∗(Ax−b)=b∗Q⊥Q∗⊥b ( A x − b ) ∗ ( A x − b ) = b ∗ Q ⊥ Q ⊥ ∗ b

维基百科搬运：https://en.wikipedia.org/wiki/QR_decomposition#cite_note-Trefethen-1