一元线性回归总结

一元线性回归

定义

一元线性回归是只有一个自变量(自变量x和因变量y)线性相关的方法。

回归

最早源于遗传学，由高尔顿引入：

观测1078对夫妇，研究父母身高(平均身高x)与子女身高(成年的身高)的遗传问题时，得到如下回归方程：
$$\hat{y}=33.73+0.516x$$
表明父母平均身高每增加一个单位，成年儿子增加0.516个单位，反之亦然。即子代的平均高度向中心回归了(33.73为中心值)，也就是无限次迭代之后也不会出现为0的情况，而是33.73。说明了生物学中“种”的稳定性。

回归的现代解释：

回归分析是研究某一变量（因变量）与另一个或多个变量（自变量、解释变量）之间的依存关系，用解释变量(自变量)的已知值或固定值来估计或预测因变量的总体平均值。

人话：将已知的X带入回归模型，去预测未知Y的值。于是关键在于怎么设计回归模型。

一元线性回归模型

$$\{\begin{array}{l}y={\beta }_0+{\beta }_{1}x+ϵ\\ Eϵ=0,D(ϵ)={\sigma }^2\end{array}$$

${\beta }_0+{\beta }_{1}x$：表述的是总体关系

$ϵ$：表述的是个体差异，且$ϵ-N(\mu ,{\sigma }^2)$

参数估计

前面我们把回归模型建立起来了，但是参数并没有给定，所以这一步主要是确定回归模型里面的参数，学过机器学习的同学应该一眼就能看出来，梯度下降法的原理就是这个。

模型目的

预测出的$\hat{y}$尽可能的接近真实值y，也就是预测误差尽可能的小。

最小二乘法

根据模型的目的，设计出一个损失函数，对预测过程中的损失进行量化。
$$\begin{gathered} Q_e=\sum _{i=1}^n(y-\hat{y}{)}^2=\sum _{i=1}^n(y-\widehat{{\beta }_0}-\widehat{{\beta }_1}{x}_i{)}^2 \\ y:样本值 \\ \hat{y}=\widehat{{\beta }_0}+\widehat{{\beta }_1}{x}_i:预测值 \end{gathered}$$
注：因为绝对值不好表示，所以通常我们使用平方进行计算，这里同样也是如此，而最小二乘法中的二乘也是来源于此

此时，模型目的就转化为(3)式的最小值(此处也就是极值)。
$$\begin{gathered} 令： \\ \{\begin{array}{l}\frac{\partial Q}{\partial {\beta }_0}=-2{\sum }_{i=1}^n(y_i-\widehat{{\beta }_0}-\widehat{{\beta }_1}{x}_i)=0\\ \frac{\partial Q}{\partial {\beta }_1}=-2{\sum }_{i=1}^n{x}_i(y_i-\widehat{{\beta }_0}-\widehat{{\beta }_1}{x}_i)=0\end{array} \end{gathered}$$
于是可得：
$$\{\begin{array}{l}n\widehat{{\beta }_0}+\widehat{{\beta }_1}{\sum }_{i=1}^n{x}_i={\sum }_{i=1}^n{y}_i\\ \widehat{{\beta }_0}{\sum }_{i=1}^n{x}_i+\widehat{{\beta }_1}{\sum }_{i=1}^n{x}_i^2={\sum }_{i=1}^n{x}_i{y}_i\end{array}$$
解得：
$$\{\begin{array}{l}{\hat{\beta }}_1=\frac{{\sum }_{i=1}^n(x_i-\bar{x})(y_i-\bar{y})}{{\sum }_{i=1}n(x_i-\bar{x}{)}^2}=\frac{L_{xy}}{L_{xx}}\\ {\hat{\beta }}_0=\bar{y}-{\hat{\beta }}_1\bar{x}\end{array}$$
由此，便求出对应的回归方程。

---

补充一点：

由(4)式中的1可知${\sum }_{i=1}^nϵ=0$,由此可得出$Eϵ=0$，与(2)中的1式对应。