简单回归模型（二）：OLS最小二乘法

简单回归模型（二）

拟合优度

已知：$y_i={\hat{y}}_i+{\hat{u}}_i$,可以把OLS分成拟合值和残差两个部分，在样本中，拟合值和残差是不相关的。定义总平方和（SST）、解释平方和（SSE），和**残差平方和（SSR）**如下：

$$SST=\sum _{i=1}^n(y_i-\bar{y}{)}^2$$

$$SSR=\sum _{i=1}^n({\hat{y}}_i-\bar{y}{)}^2$$

$$SSR=\sum _{i=1}^n{u}_i^2=\sum _{i-1}^n(y_i-\bar{y}{)}^2$$

容易证得：$SST=SSE+SSR$

假定总平方和SST不为零，我们可以通过将方程两边同时除以SST得到$1=SSE/SST+SSR/SST$。回归的$R^2$有时又被称为判定系数，是被解释波动与总波动之比，被定义为：

$$R^2=SSE/SST=1-SSR/SST$$

根据该方程，$R^2$的值总是介于0和1之间。若所有数据点都落在同一条直线上，此时$R^2=1$;同理，一个接近于零的$R^2$给出了一个糟糕的拟合，因为$y_i$的波动极少能被$\bar{y}$所解释（后者全部落在OLS回归线上）。另外，可以证明$R^2$等于$y_i$和$x_i$样本相关系数的平方：

$$R^2=\frac{{\sum }_{i=1}^n{\hat{y}}_i^2}{{\sum }_{i=1}^n{y}_i^2}=\frac{{\hat{\beta }}_1^2{\sum }_{i=1}^n{x}_i^2}{{\sum }_{i=1}^n{y}_i^2}=\cdots =r^2$$

(太麻烦了不写了)

注意：$R^2$不能作为评价计量分析成功与否的主要准则！

度量单位与函数形式

当自变量和因变量的单位发生变化时，OLS的估计值也会发生变化。一般的自变量被除以或乘以一个非零的常数c时，OLS的斜率和截距也会分别被乘以或除以c，但判定系数$R^2$不会因y或x的单位变化而变化。

我们也可以把许多非线性因素引入到简单回归分析之中，例如：对于一个变量为非线性形式的模型：$Y={\beta }_0{X}_1^{\beta }$,我们可以通过一定的函数变换得到一个新的模型，如$lnY=ln{\beta }_0+{\beta }_{1}lnX$,令$W=lnY$，$Z=lnX$,${\alpha }_0=ln{\beta }_0$，就能够得到$W={\alpha }_0+{\beta }_{1}Z$。再对上式进行OLS估计，可以得到${\beta }_1$的无偏估计量${\hat{\beta }}_1$和${\alpha }_0$的无偏估计量${\hat{\alpha }}_0$。

但是通过上述变换却无法得到${\beta }_1$的无偏估计量${\hat{\beta }}_1$，因为$e^{{\hat{\alpha }}_0}$并不是${\beta }_0$的一个好的估计量。然而，在回归分析中一般都关心斜率系数而不是截距系数，因此我们只要能够正确估计出${\beta }_1$，仍然可以看作是一个线性模型。

对解释变量进行某种形式的函数变换，不会改变模型的参数线性，但会使得模型的经济意义更加合理。主要有一下三种常用的函数形式：

模型	因变量	自变量	对${\beta }_1$的解释
水平值-水平值	y	x	$△y={\beta }_1△x$
水平值-对数	y	log(x)	$△y=({\beta }_1/100)\%△x$
对数-水平值	log(y)	x	$\%△y=(100{\beta }_1)△x$
对数-对数	log(y)	log(x)	$\%△y={\beta }_1\%△x$

过原点回归

在分析问题时，有些情况我们希望x=0时y=0，这时得到的方程$\bar{y}={\bar{\beta }}_{1}x$又被称为过原点回归。通过最小化残差平方和的一阶条件，我们可以得到

$${\bar{\beta }}_1=\frac{{\sum }_{i=1}^n{x}_i{y}_i}{{\sum }_{i=1}^n{x}_i^2}$$

(分子不为零)

同样的，判定系数

$$R^2=1-\frac{{\sum }_{i=1}^n(y_i-{\bar{\beta }}_1{x}_i{)}^2}{{\sum }_{i=1}^n{y}_i^2}$$

使用过原点回归需要非常强的前提条件，在实际分析中应用不多。

估计量的性质

高斯-马尔科夫假定

定理：对于线性回归模型，在某些约束条件下，由最小二乘法得到的估计量（估计子），即线性回归模型的系数，是最优的线性无偏估计子。

为了判断点估计的无偏性、有效性等性质，需要对模型做出一些假定

1.线性于参数：$y={\beta }_0+{\beta }_{1}x+u$

2.随机抽样：从总体中随机抽取样本，样本容量为n。同时，可以把随机样本的形式将方程写为：$y_i={\beta }_0+{\beta }_1{x}_i+u_i$,其中$u_i$是第i次观测时的误差或干扰。

3.解释变量的样本有波动：即$x_i$的标准差不为零。

4.零条件均值假定：对给定任何x值，误差的期望都为零：$E(u|x)=0$

OLS估计量的无偏性

基于以上四个假定，可以证明出OLS估计量的无偏性：

首先，我们把${\beta }_1$的估计量改写为

$${\hat{\beta }}_1=\frac{{\sum }_{i=1}^n(x_i-\bar{x})y_i}{{\sum }_{i=1}^n(x_i-\bar{x}{)}^2}$$

将随驾抽样形式的方程代入：其中 $SS{T}_X={\sum }_{i=1}^n(x_i-\bar{x}{)}^2$

$${\hat{\beta }}_1=\frac{{\sum }_{i=1}^n(x_i-\bar{x})({\beta }_0+{\beta }_1{x}_i+u_i)}{SS{T}_x}=\frac{{\beta }_0{\sum }_{i=1}^n(x_I-\bar{x})+{\beta }_1{\sum }_{i=1}^n(x_i-\bar{x})x_i+{\sum }_{i=1}^n(x_i-\bar{x})u_i}{SS{T}_x}=\frac{{\beta }_{1}SS{T}_x+{\sum }_{i=1}^n(x_i-\bar{x})u_i}{SS{T}_x}$$

进一步整理，得到

$${\hat{\beta }}_1={\beta }_1+(1/SS{T}_x)\sum _{i=1}^n{d}_i{u}_i$$

其中 $d_i=x_i-\bar{x}$

得到上式，就可证明出OLS的无偏性：

**定理：**基于假定1-4，对任意${\beta }_1$和${\beta }_0$都有 $E({\hat{\beta }}_0)={\beta }_0$,$E({\hat{\beta }}_1)={\beta }_1$。
$$\begin{array}{c}\mathrm{E}\left({\hat{\beta }}_1\right)={\beta }_1+\mathrm{E}\left[\left(1/{\mathrm{S}\mathrm{S}\mathrm{T}}_x\right){\sum }_{i=1}^n{d}_i{u}_i\right]={\beta }_1+\left(1/{\mathrm{S}\mathrm{S}\mathrm{T}}_x\right){\sum }_{i=1}^n\mathrm{E}\left(d_i{u}_i\right)\\ ={\beta }_1+\left(1/{\mathrm{S}\mathrm{S}\mathrm{T}}_x\right){\sum }_{i=1}^n{d}_i\mathrm{E}\left(u_i\right)={\beta }_1+\left(1/{\mathrm{S}\mathrm{S}\mathrm{T}}_x\right){\sum }_{i=1}^n{d}_i\cdot 0={\beta }_1\end{array}$$

$$\begin{array}{rl}& {\hat{\beta }}_0=\bar{y}-{\hat{\beta }}_1\bar{x}={\beta }_0+{\beta }_1\bar{x}+\bar{u}-{\hat{\beta }}_1\bar{x}={\beta }_0+\left({\beta }_1-{\hat{\beta }}_1\right)x+u\\ & \text{ 据假定}2\text{ 和 }4,\text{ 有 }\mathrm{E}(\bar{u})=0,\text{ 于是以 }{x}_i\text{ 的值为条 }\\ & \mathrm{E}\left({\hat{\beta }}_0\right)={\beta }_0+\mathrm{E}\left[\left({\beta }_1-{\hat{\beta }}_1\right)\bar{x}\right]+\mathrm{E}(\bar{u})={\beta }_0+\mathrm{E}\left[\left({\beta }_1-{\hat{\beta }}_1\right)\right]\bar{x}={\beta }_1\end{array}$$

证毕。

OLS估计量的方差

结果表明，在假定1至4下，OLS估计量的方差可以计算出来。不过，这些表达式多少有些复杂。有鉴于此，我们增加一个在横截面分析中的传统假定。这个假定要求，以x为条件，无法观测变量u的方差是一一个常数。这就是同方差(homoskedasticity) 或“常方差”假定。

假定5（同方差性）：对任意x，误差都具有相同的方差，即$Var(u|x)={\sigma }^2$（误差方差）

相反的，当$Var(u|x)$取决于x时，便称误差项表现为异方差性。由于$Var(u|x)=Var(y|x)$,所以只要$Var(y|x)$是x的函数，便表现出异方差性。

定理：OLS估计量的抽样方差

在假定1-5下，我们有

$$Var({\hat{\beta }}_1)={\sigma }^2/SS{T}_x$$

$$Var({\hat{\beta }}_0)=\frac{{\sigma }^2{n}^{-1}{\sum }_{i=1}^n{x}_i^2}{{\sum }_{i=1}^n(x_i-\bar{x}{)}^2}$$

证明：
$$\begin{array}{rl}\mathrm{Var}\left({\hat{\beta }}_1\right)& ={\left(1/{\mathrm{SST}}_x\right)}^2\mathrm{Var}\left(\sum _{i=1}^n{d}_i{u}_i\right)={\left(1/{\mathrm{S}\mathrm{S}\mathrm{T}}_x\right)}^2\left(\sum _{i=1}^{\infty }{d}^{\prime }\mathrm{Var}\left(u_i\right)\right)\\ & ={\left(1/{\mathrm{S}\mathrm{S}\mathrm{T}}_x\right)}^2\left(\sum _{i=1}^n{d}_i^2{\sigma }^2\right)\left[\text{ 因为 }\mathrm{Var}\left(u_i\right)={\sigma }^2,\forall i\right]\\ & ={\sigma }^2{\left(1/{\mathrm{S}\mathrm{S}\mathrm{T}}_x\right)}^2\left(\sum _{i=1}^n{d}_i^2\right)={\sigma }^2{\left(1/{\mathrm{S}\mathrm{S}\mathrm{T}}_x\right)}^2\mathrm{S}\mathrm{S}\mathrm{T},=\sigma /{\mathrm{S}\mathrm{S}\mathrm{T}}_x\end{array}$$
（$Var({\hat{\beta }}_0)$同理）

证毕

我们可以看出，误差方差越大，$Var({\hat{\beta }}_1)$就越大：影响y的不可观测因素波动越大，要准确估计${\beta }_1$也就越难；自变量波动越大，$Var({\hat{\beta }}_1)$也就越小，x的样本越分散，越容易估计出${\beta }_1$，因此，较大的样本容量会使${\hat{\beta }}_1$的方差越小。

误差方差的估计

待更

---