投影矩阵（Projection Matrix）

问题：给定$n$个线性无关的$m$维列向量$a_1,a_2,\cdots ,a_n$，由 $a_1,a_2,\cdots ,a_n$可以展开一个$n$维空间$S$ 。将一个任意的$m$维列向量$b\in {\mathbb{R}}^{m\times 1}$向上述空间$S$ 投影，求投影得到的列向量$p$ 。

投影得到的向量$p$ 一定在空间$S$里面，即$p\in S$，于是可以将$p$表示为 $a_1,a_2,\cdots ,a_n$的线性组合
$$p=\widehat{x_1}{a}_1+\widehat{x_2}{a}_2+\cdot \cdot \cdot +\widehat{x_n}{a}_n$$
将上式写成矩阵形式
$$p=\left[\begin{array}{c}{a}_1{a}_2\cdots a_n\end{array}\right]\left[\begin{array}{c}\widehat{x_1}\\ \widehat{x_2}\\ ⋮\\ \widehat{x_n}\end{array}\right]=A\hat{x}$$
将原向量$b$和投影得到的向量$p$的差记为
$$e=b-p=b-A\hat{x}$$
投影的几何意义：误差向量$e=b-A\hat{x}$和$a_1,a_2,\cdots ,a_n$展开的$n$维空间$S$垂直，即
$$\begin{array}{c}{a}_1^T(b-A\hat{x})=0\\ a_2^T(b-A\hat{x})=0\\ ⋮\\ a_n^T(b-A\hat{x})=0\end{array}$$
将上式写成矩阵形式
$$\left[\begin{array}{c}{a}_1^T\\ a_2^T\\ ⋮\\ a_n^T\end{array}\right]\left[\begin{array}{c}b-A\hat{x}\end{array}\right]=\left[\begin{array}{c}0\end{array}\right]$$
上式即
$$A^T(b-A\hat{x})=0$$
即
$$A^{T}A\hat{x}=A^{T}b$$
求解上式可得
$$\boxed{\hat{x}=(A^{T}A{)}^{-1}{A}^{T}b}$$
则投影得到的向量$p\in R^{m\times 1}$ 可表示为
$$p=A\hat{x}=A(A^{T}A{)}^{-1}{A}^{T}b$$
定义投影矩阵
$$\boxed{P=A(A^{T}A{)}^{-1}{A}^T}$$
使得
$$p=Pb$$