【线性代数公开课MIT Linear Algebra】 第十五课 Ax=b与投影矩阵

本系列笔记为方便日后自己查阅而写，更多的是个人见解，也算一种学习的复习与总结，望善始善终吧~
老师说要让这一节课 immortal 名垂青史，不过明显这节课依然还是前菜。

从投影说起

投影？what？
就是我们初中学的如何将一条线段投影到另一条线段上啦~
那…怎么突然讲这个？
故事还要从 Ax=b 无解的时候说起，当其无解的时候，我们求的解是什么？

我们想要的是“最优解”，即这个解对于原方程偏差error 最小，我们知道 Ax=b 有解时 b 在 A 的column space当中，当我们取b在column space中的投影 b^ 时，求解 Ax=b^ 此时的解的error最小。(猜测 b^ 与 b 的距离最小，不过不知道如何定义距离)

投影矩阵

二维上的投影

既然问题的关键在于投影，那么我们先从简单的开始

向量b投影到a上，p是其投影，e就是b到a的距离，就是偏差error
a⊥e=a⊥(b−xa)
⇒aT(b−xa)=0
⇒aTb=xaTa
⇒x= aTbaTa
于是 p=ax=a aTbaTa = aaTaTa b
看着有没有一点眼熟， ata 是一个常数 aaT 是一个矩阵，合起来就是一个投影矩阵 P ， p=Pb 代表 b 被投影成 p
P 就是这节课的主角——投影矩阵
P 有一些显而易见的性质：

• P 是一个对称矩阵symmetric matrix，因为我们知道 aaT 是一个对称矩阵
• 对投影好的vector p 再次投影结果不变，即 PPb=p=Pb ，故 P2=P
• 对于此处的 P 来说，任意向量都会被其投影到向量 a 上，说明 P 的线性组合linear combination全部在 a 这个space当中，所以 a 是 P 的column space

推广到多维

接下来我们考虑多维的情况，实际的去考虑 Ax=b

a1，a2为平面的基basics，构成了一个space，将其作为A的columnspace，b的投影为p，e为偏差，由于p在space当中，所以可以由a1,a2线性组合得到，所以p=x^1a1+x^2a2=Ax^

老样子利用垂直的性质做：
e⊥a1且e⊥a2,e=b−p=b−Ax^
所以：

和前面二维空间的很像有木有！！
从矩阵角度来看 e 在 AT 的null space中，通过之前的学习，我们知道 AT 的null space和 A 的column space垂直，所以 e 垂直于 A 的column space
将上图中式子化开得
ATAx^=ATb⇒x^=(ATA)−1ATb
像之前一样我们关注一下投影矩阵 P
p=Ax^=A(ATA)−1ATb=Pb
⇒P=A(ATA)−1AT
注意：这里 (ATA)−1 无法化简，因为我们说了 Ax=b 无解，所以 A 不可逆
和在二维当中一样 P 有一些相似的性质：

• PT=P
• P2=P

这二个性质都很好推导，不写了。

引申：最小二乘 least squares拟合直线

这里老师引入一个问题：我们如何通过三个点拟合出一条直线：

实际上这里我们的直线是无解的，就是说我们找不到一条直线完全通过这三个点，实际上就是说我们根据输入输出可以写出三个方程，但是无解，这就是一个 Ax=b 的问题，我们需要求“最优解”。
看来老师大概想告诉我们：何为“最优”，即我们的目标是什么？很明显是使得偏差error最小，这里我们要用的就是使得偏差error的平方square最小least，就是这样~翻译成最小二乘反而有点影响人理解了。
其他的就是下一节课的内容咯~

PS：另一位仁兄的笔记
http://blog.csdn.net/suqier1314520/article/details/13630933