【线性代数公开课MIT Linear Algebra】 第十四课 正交，再次回到Ax=b

本系列笔记为方便日后自己查阅而写，更多的是个人见解，也算一种学习的复习与总结，望善始善终吧~

正交 orthogonal

正交就是垂直

垂直的起源：三角形，毕达哥拉斯发现的勾股定理

1.向量的正交

如何知道向量是否正交？我们从勾股定理得到启发，满足勾股定理的为直交三角形即两边垂直(正交)，推广至向量我们知道两向量的inner product为0则两向量正交，零向量与所有向量正交。

1.1内积、点积、数量积 inner product、dot product、 scalar product

上面这么多名字全是代表一个东西！！！！
上面这么多名字全是代表一个东西！！！！
上面这么多名字全是代表一个东西！！！！
其运算为两个向量 a→=[a1,a2,a3...an],b→=[b1,b2,b3...bn]
二者的inner product为 a1∗b1+a2∗b2+a3∗b3+...an+bn
看起来好眼熟有没有，如果把向量看出矩阵，那么用矩阵的乘法来表示inner product就是 aTb或bTa

1.2外积、叉积、向量积outer product、cross product、vector product

是的，这玩意也有这么多名字！！！！
正常人只要记得inner product和outer product好了，对称又好记
叉乘的运算规则：

引用自百度百科
http://baike.baidu.com/link?url=WmoEkP_27dXdMT1Ir1oqHGb_IwZMRV8jElwuq2nVNq22vaujE5w8SNAcmA3B15auWtytb9LE-uiiIJNbygF_75wc-BbLdmgDK4p_O0oWcAhCbYvKqh059LVOOyXBhXyzd8pyi6ATDGTFPW-jckfDT_
叉乘会生成一个垂直于两个向量的新的向量，方向可以用右手定则确定，大小为 |a||b|sin(θ)

2.空间的正交

两空间正交意味着在空间 A 中的所有向量都和在空间 B 中的所有向量正交

所以我们可以知道，如果两个空间相交于一个非零向量，则两个空间不可能正交，因为一个非零向量不可能与其本身正交。
老师又祭出了这张图：

并告知我们说，记住了小朋友们：

row space与null space正交且他们把n维空间一分为二，称二者为在 Rn 中的正交补orthogonal complements

row space与null space正交的理由就大大方方的展示在 Ax=0 里：

再次回到Ax = b

又一次！ Ax=b

应用促进了理论研究，理论又回过头来指导应用。

通过之前的学习我们已经知道了 Ax=b 在什么情况下有解并且能得出其解，那么，当无解的时候，我们要取什么解？！听起来很绕是吧？都无解了还怎么求解。
在应用当中，我们经常做一件这样的事情，有某个线性系统 x ，我们不知道其数学模型，于是我们试着用不同的输入去观察系统的输出，以此来知道系统的模型。我们可能会丢进去成千上万组的 A1,A2...An ，得到成千上万的 b1,b2...bn ,把他们当做 A 和 b 的column vector,方程写成矩阵形式： Ax=b
这里面的数据不可能每一组都是完美的，会有一些很糟糕的数据混进去，这些数据会使得我们的方程无解，比如第一组数据说 A=2 时 b=1.8 ,第二组数据说 A=2 时 b=1.9 ，类似这样的情况，方程根本无解，但是很明显如果我们有足够多的数据，我们是能够得到一个最优解来表示这个系统，那么方法是什么？！

方法就藏在 ATA 之中，因为其结果为方阵同时又是对称矩阵symmetric matrix，利用它我们可以把 Ax=b转化为ATAx=ATb 此时求解的x是原本的x是不同的，我们给它加个帽子 ATAx^=ATb ， x^ 真的就叫做x hat

这个新的方程可能就解了，这里有个重要的性质 rank(ATA)=rank(A) ，是否有解就看是否有逆/满秩/column vector线性无关

老师强调说下节课很重要~~~

PS：另一位仁兄的笔记
http://blog.csdn.net/suqier1314520/article/details/13625687