最小二范数解

最小二范数解

子空间投影问题(最小二乘法)

投影向量

$\text{b}$向$z$轴和$xy$平面投影分别为${\text{p}}_1$和${\text{p}}_2$两个变换矩阵${\text{P}}_1$ 和 ${\text{P}}_2$满足如下以上的例子中两个子空间是正交补的。
上面的问题可以描述为，在空间${\mathbb{R}}^n$中，寻找向量$\text{b}$向子空间${\mathbb{R}}^m$投影的变换矩阵$\text{P}$。

考虑如下情况向量到直线上投影

在二维空间上${\mathbb{R}}^2$,求$\text{b}$在子空间$\text{A}=[10{]}^T$上的投影$\text{p}$。

• 投影方法
  $\text{p}$可以表示为$\text{p}=\text{A}\text{x},\text{x}\in {\mathbb{R}}^1$
  $bp=\text{p}-\text{b}=\text{b}-\text{A}\text{x}$
  由于$\text{b}-\text{A}\text{x}\perp \text{A}$
  所以${\text{A}}^T(\text{b}-\text{A}\text{x})=0$
  ${\text{A}}^T\text{A}\text{x}={\text{A}}^T\text{b}$
  $\text{x}=({\text{A}}^T\text{A}{)}^{-1}{\text{A}}^T\text{b}$，那么最终得到
  $$\text{p}=\text{A}({\text{A}}^T\text{A}{)}^{-1}{\text{A}}^T\text{b}$$
• 优化方法（最小二乘法）
  $\text{p}$可以表示为$\text{p}=\text{A}\text{x},\text{x}\in {\mathbb{R}}^1$ \优化的过程可以表示为$$\underset{\text{x}}{\min }J(\text{x})={\Vert bp\Vert }_2^2$$其中$J(\text{x})=(\text{b}-\text{A}\text{x}{)}^T(\text{b}-\text{A}\text{x})$\那么$J^{\prime }(\text{x})={\text{A}}^T(\text{b}-\text{A}\text{x})=0$得到（具体参见标量函数对矢量/矩阵的导数内容）$$\text{p}=\text{A}({\text{A}}^T\text{A}{)}^{-1}{\text{A}}^T\text{b}$$

子空间投影

之前的叙述中$\text{x}$可以理解为将投影子空间的基线性组合为$\text{p}$的系数，进行如下的叙述：\假设，在空间${\mathbb{R}}^m$中的$n$个向量${\text{a}}_1,{\text{a}}_2,\cdots ,a_n$是线性不相关的，我们想找到一个线性组合$\text{p}={\hat{x}}_1{\text{a}}_1+\cdots +{\hat{x}}_n{\text{a}}_n$使得 $\underset{\text{x}}{\min }J(\text{x})={\Vert bp\Vert }_2^2$，那么只要$bp$垂直于子空间便满足要求，也即$bp$垂直于子空间所有向量，得到如下等式：
$$\begin{array}{c}{a}_1^T(\text{b}-\text{A}\text{x})=0\\ ⋮\\ a_n^T(\text{b}-\text{A}\text{x})=0\end{array}or\left[\begin{array}{c}{a}_1^T\\ ⋮\\ a_n^T\end{array}\right]\left[\text{b}-\text{A}\text{x}\right]={\text{A}}^T(\text{b}-\text{A}\text{x})=\text{0}$$
化简
$$\text{x}=({\text{A}}^T\text{A}{)}^{-1}{\text{A}}^T\text{b}$$
$$\text{p}=\text{A}({\text{A}}^T\text{A}{)}^{-1}{\text{A}}^T\text{b}$$

最小二范数解

对于之前讨论的问题$\underset{\text{x}}{\min }J(\text{x})={\Vert \text{b}-\text{A}\text{x}\Vert }_2^2$

1. $\text{A}\in {\mathbb{R}}^{m\times n},\text{x}\in {\mathbb{R}}^{n\times 1},\text{b}\in {\mathbb{R}}^{m\times 1}$
2. $\text{A}$行满秩或列满秩

设任意一向量$\text{vect}=\text{b}-\text{A}\text{x}$，移项后具有$\text{A}\text{x}=\text{b}$的形式，那么对于$\text{A}\text{x}=\text{b}$我们知道：

• $m=n$时，方程具有唯一解
• $m>n$时，方程无解
• $m<n$时，方程有无穷解
  在之前投影的问题$bp=\text{b}-\text{A}\text{x}$($\text{b}\notin \text{A}$)属于方程无解的情况，得到的解$\text{x}$为使${\Vert \text{b}-\text{A}\text{x}\Vert }_2^2$（或者叫做误差）最小的解。但对于$m<n$，方程有无穷解的情况可以利用最小二乘法求解最小二范数解。
  $\text{A}\text{x}=\text{b}$，满足：

1. $\text{A}\in {\mathbb{R}}^{m\times n},\text{x}\in {\mathbb{R}}^{n\times 1},\text{b}\in {\mathbb{R}}^{m\times 1}$
2. $\text{A}$行满秩
3. $m<n$

问题描述 $\underset{\text{x}}{\min }{\Vert \text{x}\Vert }_2^2={\text{x}}^T\text{x}$ ($s.t.\text{A}\text{x}=\text{b}$)
引入拉格朗日算子$J(\text{x})=\frac{1}{2}{\text{x}}^T\text{x}-\lambda (\text{A}\text{x}-\text{b}),(\lambda \in {\mathbb{R}}^{m\times 1})$
对上式求导$\nabla J(\text{x})=\text{x}-{\text{A}}^T\lambda =0$
$\text{x}={\text{A}}^T\lambda$
$\text{A}\text{x}=\text{A}{\text{A}}^T\lambda$
$(\text{A}{\text{A}}^T{)}^{-1}\text{A}\text{x}=\lambda$
$\lambda =(\text{A}{\text{A}}^T{)}^{-1}\text{b}$
可以得到
$$\text{x}={\text{A}}^T(\text{A}{\text{A}}^T{)}^{-1}\text{b}$$
结论，对$\text{A}\text{x}=\text{b}$：

• $m=n$时，方程具有唯一解- $m>n$时，方程无解 最小二乘解为$\text{x}=({\text{A}}^T\text{A}{)}^{-1}{\text{A}}^T\text{b}$
• $m<n$时，方程有无穷解
  最小二范数解为$\text{x}={\text{A}}^T(\text{A}{\text{A}}^T{)}^{-1}\text{b}$ 其中$({\text{A}}^T\text{A}{)}^{-1}{\text{A}}^T$和${\text{A}}^T(\text{A}{\text{A}}^T{)}^{-1}$为$\text{A}$在相应情况下的伪逆矩阵。