03 一元线性回归

1.一元线性回归模型

一元回归模型的一般形式如下图所示：
该模型中包含的要点有：

• 解释变量、被解释变量
• 参数（截距项、斜率）、扰动项
• 确定部分称为总体回归线或总体回归函数

一元线性回归模型1

一元线性回归模型2

一元线性回归模型3

一元线性回归模型4

引用：《计量经济学及Stata应用》 陈强

2.OLS估计量推导

OLS，普通最小二乘法，选择alpha hat 、beta hat 使得残差平方和最小化。
残差指观测值点到“直线”的距离。这里的直线指我们希望在(x,y)平面上找到的一条直线，该直线具有离所有的观测值点最近的特性。
若直接将残差加起来，则残差和会出现正负抵消的情况。因此，需要另找它法。绝对值不易运算如无法微分，故选择取平方的方法处理。这边是SSR或RSS（残差平方和）的由来

先来看一个简单的例子，来感受下通过OLS得到待估参数：

OLS应用1

引用：Wiki-最小二乘法

alpha hat 、beta hat推导过程如下：
首先构造目标函数，即最小化残差平方和

目标函数

运用高数里的多元函数知识有：

多元函数求偏导

然后对式子做简单整理有：

方程组整理

alpha hat 闪亮登场~

alpha hat

再接再厉，继续求beta hat

代入、移项

beta hat 闪亮登场~

beta hat

基于alpha hat、beta hat得到样本回归线或样本回归函数（SRF）

样本回归线

由（4.10）可知改线一定经过均值点

样本回归线过均值点

引用：《计量经济学及Stata应用》 陈强

3OLS的正交性

接下来介绍OLS的重要特征：
残差向量与解释向量、拟合值向量正交

证明过程如下：

首先证明残差向量和解释变量正交

e 与 x hat 正交性证明1

e 与 x hat 正交性证明2

上面提到了3中的正规方程组，这里再回顾下：

正规方程组

over~

然后证明残差向量和拟合值向量正交

e 与 y hat 正交性证明

此处用到了残差向量和解释变量正交证明中的4.17式

over~

4.平方和分解公式

我们分两种情况讨论平方和分解公式：回归方程有常数项和无常数项

• 有常数项
  
  有常数项

此时得到平方和分解公式

平方和分解公式

关于ESS的理解：

ESS

ESS

• 无常数项
  如果没有常数项，则没有alpha hat，则没有如下过程：

无常数项1

无常数项2

无常数项3

无常数项4

即无法保证残差和为0
那么下式将不再成立：

无常数项5

那么平方和分解公式在无常数项下不在成立

引用：《计量经济学及Stata应用》 陈强

5.拟合优度

OLS的样本回归线可以理解为离所有样本点最近的线，但是这条线到底离样本点有多近？凡事都需要有个标准。这里引入“拟合优度”来衡量样本回归线对数据的拟合优良程度。
在有常数项的情况下，根据平方和分解公式：

平方和分解公式

如果模型可以解释的部分占比越大，则样本回归线的拟合程度越好

拟合优度

注意：拟合优度 只能反映拟合程度的好坏，除此以外没有太多意义。评估回归方程是否显著，需要使用F检验

6.无常数项的回归

尽管一般情况下都是存在常数项的回归，但偶尔也会有无常数项的回归。例如：经济理论的要求，做模型变换时消去了常数项。

无常数项1

beta hat

beta hat

关于无常数项的拟合优度：

无常数项1

无常数项2

7.Stata应用

在stata中做一元回归很简单

Stata