学习大数据第二天：数据挖掘的基础方法——最小二乘法

1.原理

最常用的是普通最小二乘法（ Ordinary  Least Square，OLS）：所选择的回归模型应该使所有观察值的残差平方和达到最小。（Q为残差平方和）- 即采用平方损失函数。

 　样本回归模型：

                                    

 其中e_i为样本（X_i, Y_i）的误差

平方损失函数：

则通过Q最小确定这条直线，即确定，以为变量，把它们看作是Q的函数，就变成了一个求极值的问题，可以通过求导数得到。求Q对两个待估参数的偏导数：

    

根据数学知识我们知道，函数的极值点为偏导为0的点。

解得：

2.最小二乘法MATLAB实现

（1）