【机器学习笔记】线性回归之最小二乘法

线性回归

   线性回归（Linear Regreesion）就是对一些点组成的样本进行线性拟合，得到一个最佳的拟合直线。

最小二乘法

   线性回归的一种常用方法是最小二乘法，它通过最小化误差的平方和寻找数据的最佳函数匹配。

代数推导

   假设拟合函数为 $y=ax+b$，对于任意样本点$(x_i,y_i)$，误差为$e=y_i-(a{x}_i+b)$。当损失函数$L={\sum }_{i=1}^n{e_i}^2$为最小时拟合度最好，即${\sum }_{i=1}^n(y_i-a{x}_i-b{)}^2$最小。
   函数$L={\sum }_{i=1}^n(y_i-a{x}_i-b{)}^2$分别是关于$a$和$b$的二次抛物线，没有最大值，所以当$L$分别关于$a$和$b$的偏导等于$0$时有最小值。
   分别求出一阶偏导
$$\begin{gathered} \frac{\partial S}{\partial a}=-2(\sum _{i=1}^n{x}_i{y}_i-b\sum _{i=1}^n{x}_i-a\sum _{i=1}^n{x_i}^2) \\ \frac{\partial S}{\partial b}=-2(\sum _{i=1}^n{y}_i-nb-a\sum _{i=1}^n{x}_i) \end{gathered}$$
   让上式都等于$0$，并且有$n\overline{x}={\sum }_{i=1}^n{x}_i$，$n\overline{y}={\sum }_{i=1}^n{y}_i$。得到解为
$$a=\frac{{\sum }_{i=1}^n(x_i-\overline{x})(y_i-\overline{y})}{{\sum }_{i=1}^n(x_i-\overline{x}{)}^2}，b=\overline{y}-a\overline{x}$$