挖掘原理|线性回归损失函数和正规方程数学推导

一元线性回归浅析与公式推导

我们在高中的时候学过最小二乘法公式求解回归方程，所谓回归方程就是一条可以近似的拟合所给数据点的分布的直线方程：$$\hat{y}=ax+b$$
事实上，这是一元变量的线性回归问题，确定上述方程中参数a和b的方法就是最小二乘法公式：$$a=\frac{\sum x_i{y}_i-n\bar{x}\bar{y}}{\sum x_i^2-n{\bar{x}}^2}$$
$$b=\bar{y}-a\bar{x}$$
下面我们来推导一下这两个公式：

我们注意看上面的点，直观上大致可以找到一些直线去拟合数据点，我们似乎可以找到不止一条线，但是我们希望能找到一条直线让数据点尽可能的落在这条直线上，也就是尽可能的让我们拟合出的$\hat{y}$与实际的$y$的差值尽可能小，换言之就是让预测点与实际点的距离尽可能小(事实上应该是因为误差服从均值为0的正态分布，在后面的多元线性回归中用这种方式去推导)，这一距离之和我们可以用欧式距离公式来表示，由于预测点与实际点的x相同，所以$$d(y_i,{\hat{y}}_i)=\sqrt{(y_i-{\hat{y}}_i{)}^2}$$
求$mind$其实也就是求$min(y_i-{\hat{y}}_i{)}^2$
所以这个问题是求$$D(y_i,{\hat{y}}_i)=\underset{i}{\sum ^n}(y_i-{\hat{y}}_i{)}^2=\underset{i}{\sum ^n}(y_i-(a{x}_i+b){)}^2$$
取到最小值时，$a,b$的值。

于是我们可以将其看作是D关于a和b 的二元函数，这个问题就变成了二元函数求极值的问题，接下来是求解过程：
$$\frac{\partial D(y_i-{\hat{y}}_i)}{\partial a}=-2\underset{i}{\sum ^n}{x}_i(y_i-a{x}_{}$$