普通最小二乘法（OLS）

引言
       对于一元线性回归模型，假设从总体中获取了n组观察值（X1，Y1），（X2，Y2）， …，（Xn，Yn）。对于平面上的这n个点，可以使用无数条曲线拟合，要求样本回归函数尽可能好的拟合这组值，综合来看，这条直线处于样本数据的中心位置最合理。选择最佳拟合曲线的标准可以确定为：使总的拟合误差（即总残差）达到最小。
OLS：所选择的回归模型是使所有观察值的残差平方和达到最小。

以下是相关的推导过程：

向量推导：

参考博客：

http://blog.csdn.net/zlbflying/article/details/47806783

http://wenku.baidu.com/link?url=GXpabgBPsQQERdSalEw5fBZyxSg3nDr3xziPC1Eb-KckhhvnJl8Dbvj-2hBiXFGOc4DCaq_JSvWAwFjXXsivG-OSqfU9f2PIYqRrz13JgOe