简单线性回归的解析解（最小二乘法）

  这里所说的简单线性指的是一元线性回归，即特征个数为1，并且样本个数为m个。符号表示中${\hat{y}}^i$表示的是对第i个样本的预测值。

  所以损失函数$L(w,b)=\sum _{i=1}^m(y^i-{\hat{y}}^i{)}^2=\sum _{i=1}^m(y^i-(w{x}^i+b){)}^2$，则所求为
$$L(w,b)=\underset{w,b}{\mathrm{argmin}}\sum _{i=1}^m(y^i-{\hat{y}}^i{)}^2=\underset{w,b}{\mathrm{argmin}}\sum _{i=1}^m(y^i-(w{x}^i+b){)}^2$$

  由于此函数是凸函数，所以极值点则为最小值点。则使
$$\frac{\partial L}{\partial w}=0(1)$$ $$\frac{\partial L}{\partial b}=0(2)$$

  先来求解公式(2)，推导过程如下：
$$\frac{\partial L}{\partial b}=0\Rightarrow \sum (-2)\ast (y^i-(w{x}^i+b))=0$$
$$\sum b=\sum (y^i-w{x}^i)$$
$$b=\overline{y}-w\overline{x}$$

  再来求解公式(1)，推导过程如下：
$$\frac{\partial L}{\partial w}=0\Rightarrow \sum (-2x^i)\ast (y^i-(w{x}^i+b))=0$$
  先左右两边同时除以-2，则公式如下所示：
$$\sum (x^i)\ast (y^i-(w{x}^i+b))=0\Rightarrow \sum x^i{y}^i-w(x^i{)}^2-x^{i}b=0$$
  将$b=\overline{y}-w\overline{x}$带入上式，如下所示：
$$\sum x^i{y}^i-w(x^i{)}^2-x^i(\overline{y}-w\overline{x})=0\Rightarrow \sum w(x^i{)}^2-w\overline{x}{x}^i=\sum x^i{y}^i-x^i\overline{y}$$

  $$w=\frac{\sum x^i{y}^i-x^i\overline{y}}{\sum (x^i{)}^2-\overline{x}{x}^i}$$