MIT18.06 线性代数笔记 16 投影矩阵和最小二乘

我们知道，投影矩阵是$P=A(A^{T}A{)}^{-1}{A}^T$
若$b$在$C(A)$中, $Pb=b$, 因为$b$可以写成$A$各列的线性组合, 不妨令$b=Ax$, 则$Pb=A[(A^{T}A{)}^{-1}{A}^{T}A]x=Ax=b$
若$b$垂直于$C(A)$中，$Pb=0$, 因为$b\in N(A^T)$, $A^{T}b=0$
设误差向量$e$是$b$与投影到$C(A)$后得到的向量$p$的误差, $b-p=e,b=p+e$, 由投影的几何含义可知, $e\perp C(A)$, 即$e\in N(A^T)$, 而$p=Pb$, 所以$e=(I-P)b$, 所以$I-P$也是一个投影矩阵, 同样具有对称性和幂等性.

对于已知点集$X,y$, $X$为$m\times (n+1)$维矩阵, $X$的$n+1$列全为$1$, $y$是$m$维向量，{X, y}表示共有$m$个点分布在$n+1$维空间中,.
最小二乘是为了在空间中找出一个超平面$Xw$(其中$w$为$n+1$维向量, $w_{n+1}=b$, $b$为偏移量), 使得误差$\frac{1}{2}||Xw-y|{|}^2$最小.
常常我们找不出一个超平面使所有的点都落在超平面上, 也就是说, 常常$y$不在$C(X)$中, $Xw=y$无解, 不过我们可以求最小二乘解.
$X^{T}Xw=X^{T}y$
令$\hat{y}=Xw$, $e=Xw-y=\hat{y}-y$, 我们发现, $\hat{y}\in C(X)$, $e+\hat{y}=y$, 我们的最优化目标是$\text{min}||e|{|}^2$, 也就是说, 要找到$y$与$C(X)$中的一个向量$p$, 使$||y-p|{|}^2$最小, 显然$y-p\perp C(A)$时$||y-p|{|}^2$最小, 也就是说$p$是$y$在$C(A)$上的投影. 即, 当$\hat{y}$是$y$在$C(A)$上的投影$p$时, $||e|{|}^2$最小, 而$X^{T}Xw=X^{T}y$中求解出的$w$, 恰好使$Xw=p$. 当$\hat{y}$是$y$在$C(X)$上的投影$p$时, $e$恰好是$y$在$N(X^T)$上的投影.
如果我们用微积分中的方法, 则对$w$求偏导令其等于零.
$\frac{\partial }{\partial w}(Xw-y{)}^T(Xw-y)=2X^T(Xw-y)=0$
整理亦得到$X^{T}Xw=X^{T}y$
真的是非常奇妙呢.

最后提到, $m\times n$维矩阵$A$各列线性无关, 则$A^{T}A$可逆, 上上一节证过了, $rank(A)=rank(A^{T}A)$, 又知道$rank(A)=n$, 所以$rank(A^{T}A)=n$, $A^{T}A$满秩.
还提到相互垂直的单位向量一定线性无关, 不妨令$A$的各列是那些相互垂直的单位向量, 解$Ax=0$, 设$a_i$为$A$的第$i$列, 则$a_i^{T}Ax=0$, 也就是$a_i^T{a}_i{x}_i=0$, 所以$x_i=0$.