【中级计量经济学】Lecture 1 计量经济学初步

Lecture 1 计量经济学初步

1.0 其他问题或归纳

ESS (Explained Sum of Squares) = SSR (Sum of Squares from Regression) 回归平方和

RSS (Residual Sum of Squares) = SSE (Sum of Squares from Errors) 残差平方和

TSS=ESS+RSS=SSR+SSE=SST

$R^2=\frac{ESS}{TSS}=\frac{SSR}{SST}$

含对数形式的回归模型：

$y={\beta }_0+{\beta }_{1}x$：$\Delta x=1,\Delta y={\beta }_1$

$y={\beta }_0+{\beta }_1\log x$：$\Delta x=1\%,\Delta y=\frac{{\beta }_1}{100}$

$\log y={\beta }_0+{\beta }_{1}x$：$\Delta x=1,\Delta y=100{\beta }_1\%$

$\log y={\beta }_0+{\beta }_1\log x$：$\Delta x=1\%,\Delta y={\beta }_1\%$

交互项：

$C=\alpha +\beta Y+u$

$\beta ={\beta }_1+{\beta }_{2}Z$

$\Rightarrow C=\alpha +({\beta }_1+{\beta }_{2}Z)Y+u=\alpha +{\beta }_{1}Y+{\beta }_{2}YZ+u$

刻画交互作用的方法，在变量为定性变量时， 是以乘法方式引入虚拟变量的。

• 回归方程括号里的是回归系数的标准差$S_{{\hat{\beta }}_1}$，$t$统计量$t=\frac{{\hat{\beta }}_1}{\sqrt{\frac{{\hat{\sigma }}^2}{\sum x_i^2}}}=\frac{{\hat{\beta }}_1}{S_{{\hat{\beta }}_1}}\sim t(n-2)$

  临界$t$统计量是双侧检验，临界值为$t_{\alpha /2}(n)$：

  $\alpha =10\%$显著性水平，$n=\infty$，$t_{\alpha /2}(n)=t_{0.05}(n)=1.645$

  $\alpha =5\%$显著性水平，$n=\infty$，$t_{\alpha /2}(n)=t_{0.025}(n)=1.96$

  t统计量的绝对值大于临界值，拒绝原假设（$H_0:{\beta }_1=0$，解释变量的回归系数不显著），说明解释变量显著，通过显著性检验。

  t统计量大于3一般都可以通过显著性检验，小于1一般无法通过显著性检验。

• $F$统计量可以用拟合优度$R^2$以及样本数量$n$以及(显式)变量数$k$计算：
  $$F=\frac{(TSS-RSS)/k}{RSS/(n-k-1)}=\frac{R^2/k}{(1-R^2)/(n-k-1)}$$
  F统计量总是单变的，越大越显著。

古典线性回归模型的基本假定：

CLM1：参数线性关系

CLM2：随机样本，样本选择又变异性

CLM3：满秩（否则，存在多重共线性）

CLM4：误差项条件均值为零

​ （前提假设是误差项无条件均值为0且与解释变量无关，否则，存在内生性问题）

CLM5：误差项同方差和无自相关（否则，存在异方差和自相关）

CLM6：误差项正态分布

• 满足1-4，OLS估计无偏（异方差和自相关OLS仍然无偏）
• 满足1-5，OLS估计BLUS（最优线性无偏估计），估计量有效。（高斯马尔可夫定理）
• 满足1-6，古典线性回归模型的基本假定

1.1 一元线性回归计算

区分四个概念：

• 总体回归线：估计给定$X$时的条件期望。
  $$f(X)=E(Y|X)={\beta }_0+{\beta }_{1}X.$$

• 总体回归模型：用于描述每一个个体回归模型，加入了随机误差项。
  $$Y_i={\beta }_0+{\beta }_1{X}_i+{\mu }_i.$$

• 样本回归线：由样本计算出的用于估计总体回归线的函数。
  $$\hat{Y}={\hat{\beta }}_0+{\hat{\beta }}_{1}X.$$

• 样本回归模型：用于解释每一个样本的样本回归模型，加入了残差。
  $$Y_i={\hat{\beta }}_0+{\hat{\beta }}_{1}X+e_i.$$

模型估计

经典假设（前四条称高斯-马尔科夫假设）：

1. 回归模型是正确设定的。
2. 解释变量$X$在所抽取的样本中具有变异性，样本方差趋于非零常数。
3. 对给定$X$的任何值，随机干扰项零均值：$\mathrm{E}({\mu }_i|X)=0$。
4. 对给定$X$的任何值，随机干扰项同方差、序列不相关：$\mathrm{V}\mathrm{a}\mathrm{r}({\mu }_i|X)={\sigma }^2$，$\mathrm{C}\mathrm{o}\mathrm{v}({\mu }_i,{\mu }_j|X)=0$。
5. 随机干扰项服从零均值、同方差的正态分布：${\mu }_i|X\sim N(0,{\sigma }^2)$。

正规方程组：
Cannot read properties of undefined (reading 'type')
估计量的离差形式与样本回归函数的离差形式：
$$\begin{gathered} {\hat{\beta }}_1=\frac{\sum x_i{y}_i}{\sum x_i^2},{\hat{\beta }}_0=\bar{Y}-{\hat{\beta }}_1\bar{X}; \\ {\hat{y}}_i={\hat{\beta }}_1{x}_i. \end{gathered}$$
矩估计时的总体矩条件与对应的样本矩条件（矩条件将在工具变量法中发挥作用）：
$$\begin{gathered} \mathrm{E}({\mu }_i)=0\Rightarrow \frac{1}{n}\sum (Y_i-{\hat{\beta }}_0-{\hat{\beta }}_1{X}_i)=0; \\ \mathrm{E}(X_i{\mu }_i)=0\Rightarrow \frac{1}{n}\sum (Y_i-{\hat{\beta }}_0-{\hat{\beta }}_1{X}_i)X_i=0. \end{gathered}$$
最小二乘估计量具有线性性，无偏性，有效性（最小方差性）与大样本下的一致性。下面的结果将在预测问题中起到作用。
$$\begin{gathered} {\hat{\beta }}_1={\beta }_1+\sum \frac{x_i}{\sum x_i^2}{\mu }_i,\mathrm{V}\mathrm{a}\mathrm{r}({\hat{\beta }}_1)=\frac{{\sigma }^2}{\sum x_i^2}; \\ {\hat{\beta }}_0={\beta }_0+\sum \left(\frac{1}{n}-\frac{x_i\bar{X}}{\sum x_i^2}\right){\mu }_i,\mathrm{V}\mathrm{a}\mathrm{r}({\hat{\beta }}_0)=\frac{\sum X_i^2}{n\sum x_i^2}{\sigma }^2; \\ \mathrm{C}\mathrm{o}\mathrm{v}({\hat{\beta }}_0,{\hat{\beta }}_1)=-\frac{\bar{X}{\sigma }^2}{\sum x_i^2}. \end{gathered}$$
随机干扰项的方差估计，这是假设检验、预测置信区间的基础：
$${\hat{\sigma }}^2=\frac{\sum e_i^2}{n-2},S_{{\hat{\beta }}_1}=\sqrt{\frac{{\hat{\sigma }}^2}{\sum x_i^2}}.$$

$${\hat{\sigma }}^2=\frac{RSS}{n-k-1}$$

是${\sigma }^2$的一致估计量。对于一元线性回归$k=1$.
$$S_{{\hat{\beta }}_1}=\sqrt{\frac{{\hat{\sigma }}^2}{\sum x_i^2}}=\sqrt{\frac{{\hat{\sigma }}^2}{TSS(1-R^2)}}$$

检验与预测

平方和分解式：在最小二乘估计下，有
$$\mathrm{T}\mathrm{S}\mathrm{S}=\mathrm{R}\mathrm{S}\mathrm{S}+\mathrm{E}\mathrm{S}\mathrm{S}.$$

• $\mathrm{T}\mathrm{S}\mathrm{S}$：总离差平方和(total sum square)，即$\sum y_i^2$，其自由度为$n-1$，$n$是样本数。
• $\mathrm{R}\mathrm{S}\mathrm{S}$：残差平方和(residual sum square)，即$\sum e_i^2$，其自由度为$n-k-1$，$k$为变量数，一元线性回归中$k=1$。
• $\mathrm{E}\mathrm{S}\mathrm{S}$：回归平方和(explained sum square)，即$\sum {\hat{y}}_i^2$，其自由度为$k$，$k$为变量数。

拟合优度：
$$R^2=\frac{\mathrm{E}\mathrm{S}\mathrm{S}}{\mathrm{T}\mathrm{S}\mathrm{S}}=\frac{\mathrm{T}\mathrm{S}\mathrm{S}-\mathrm{R}\mathrm{S}\mathrm{S}}{\mathrm{T}\mathrm{S}\mathrm{S}}.$$
用拟合优度的观点来看，拟合优度反映拟合的优良程度，故拟合得越好$R^2$越大。为计算，有
$$R^2=\frac{\sum {\hat{y}}_i^2}{\sum y_i^2}=\frac{{\hat{\beta }}_1^2\sum x_i^2}{\sum y_i^2}.$$
$t$检验：一元线性回归中的$t$检验基于变量服从的分布${\hat{\beta }}_1\sim N({\beta }_1,\frac{{\sigma }^2}{\sum x_i^2})$，构造检验$H_0:{\beta }_1=0$，对未知的${\sigma }^2$，用服从${\chi }^2(n-2)$分布的${\hat{\sigma }}^2$替代，故检验统计量为
$$t=\frac{{\hat{\beta }}_1}{\sqrt{\frac{{\hat{\sigma }}^2}{\sum x_i^2}}}=\frac{{\hat{\beta }}_1}{S_{{\hat{\beta }}_1}}\sim t(n-2).$$

大样本情形下，近似有$\frac{{\hat{\beta }}_1-{\beta }_1}{S_{{\hat{\beta }}_1}}\sim N(0,1)$，而$t$分布大样本下接近正态分布，也可以说$\frac{{\hat{\beta }}_1-{\beta }_1}{S_{{\hat{\beta }}_1}}\sim t(n-k-1)$

置信区间：${\hat{\beta }}_1\pm t_{\frac{\alpha }{2}}(n-2)\cdot S_{{\hat{\beta }}_1}$。

对条件均值的预测：${\hat{Y}}_0={\hat{\beta }}_0+{\hat{\beta }}_1{X}_0$，
$$\begin{gathered} \mathrm{E}({\hat{Y}}_0)=\mathrm{E}(Y_0|X_0)={\beta }_0+{\beta }_1{X}_0, \\ \begin{array}{rl}\mathrm{V}\mathrm{a}\mathrm{r}({\hat{Y}}_0)& =\mathrm{V}\mathrm{a}\mathrm{r}({\hat{\beta }}_0)+X_0^2\mathrm{V}\mathrm{a}\mathrm{r}({\hat{\beta }}_1)+2X_0\mathrm{C}\mathrm{o}\mathrm{v}({\hat{\beta }}_0,{\hat{\beta }}_1)\\ & =\left(\frac{\sum X_i^2}{n\sum x_i^2}+\frac{X_0^2}{\sum x_i^2}-\frac{2X_0\bar{X}}{\sum x_i^2}\right){\sigma }^2\\ & =\left(\frac{\sum x_i^2}{n}+{\bar{X}}^2+X_0^2-2X_0\bar{X}\right)\frac{{\sigma }^2}{\sum x_i^2}\\ & =\left[\frac{1}{n}+\frac{(\bar{X}-X_0{)}^2}{\sum x_i^2}\right]{\sigma }^2.\end{array} \\ \mathrm{S}\mathrm{E}(\widehat{Y_0})=\sigma \sqrt{\frac{1}{n}+\frac{(X_0-\bar{X}{)}^2}{\sum x_i^2}} \end{gathered}$$
当${\sigma }^2$未知时，用${\hat{\sigma }}^2=\sum \frac{e_i^2}{n-2}$代替，此时有$\widehat{Y_0}$服从$t$分布，将其标准化，
$$t=\frac{\widehat{Y_0}-\mathrm{E}(Y_0|X_0)}{\hat{\sigma }\sqrt{\frac{1}{n}+\frac{(X_0-\bar{X}{)}^2}{\sum x_i^2}}}\sim t(n-2)$$
​

对个别值的预测：$Y_0={\beta }_0+{\beta }_1{X}_0+\mu$，从而它是无偏估计，且
$$\mathrm{V}\mathrm{a}\mathrm{r}(Y_0)=\left[1+\frac{1}{n}+\frac{(\bar{X}-X_0{)}^2}{\sum x_i^2}\right]{\sigma }^2.$$

1.2 多元线性回归模型

总体回归模型中包含了$n$个方程，从而$Y,\mu$是$n$维向量，$\beta$是$k+1$维向量，$X$是$(k+1)\times n$矩阵。
$$Y=X\beta +\mu ,$$

参数估计与预测

基本假设：

1. 回归模型是正确设定的。

2. $X_1,\cdots ,X_k$在抽取的变量中具有变异性，且不存在完全的多重共线性。
   $$\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(X)=k+1.$$

3. 随机干扰项条件零均值。
   $$\mathrm{E}(\mu |X)=0.$$

4. 随机干扰项条件同方差、序列不相关。
   $$\mathrm{V}\mathrm{a}\mathrm{r}(\mu |X)={\sigma }^2{I}_n.$$

5. 随机干扰项服从条件正态分布。
   $$\mu |X\sim N_n(0,{\sigma }^2{I}_n).$$

参数估计量的估计：$\hat{\beta }=(X^{\prime }X{)}^{-1}{X}^{\prime }Y$。具有线性性、无偏性、有效性以及大样本下的一致性。
$$\mathrm{E}(\hat{\beta })=\beta ,\mathrm{V}\mathrm{a}\mathrm{r}(\hat{\beta })={\sigma }^2(X^{\prime }X{)}^{-1}.$$
${\sigma }^2$的估计：${\hat{\sigma }}^2=\frac{e^{\prime }e}{n-k-1}$，$k$为模型中解释变量的个数。

满足基本要求的样本量：$n\ge 3(k+1)$，或$n\ge 30$。

求条件均值$\mathrm{E}(Y_0)$的置信区间：${\hat{Y}}_0=X_0\hat{\beta }$，故
$$\begin{gathered} \mathrm{E}({\hat{Y}}_0)=X_0\beta =\mathrm{E}(Y_0), \\ \mathrm{V}\mathrm{a}\mathrm{r}({\hat{Y}}_0)=X_0\mathrm{V}\mathrm{a}\mathrm{r}(\hat{\beta })X_0^{\prime }={\sigma }^2{X}_0(X^{\prime }X{)}^{-1}{X}_0^{\prime }, \\ {\hat{Y}}_0\pm t_{\frac{\alpha }{2}}(n-k-1)\sqrt{\mathrm{V}\mathrm{a}\mathrm{r}({\hat{Y}}_0)}. \end{gathered}$$
求个别值$Y_0$的置信区间：$Y_0={\hat{Y}}_0+\mu$，故
$$\mathrm{E}(Y_0)=X_0\beta ,\mathrm{V}\mathrm{a}\mathrm{r}(Y_0)={\sigma }^2[1+X_0(X^{\prime }X{)}^{-1}{X}_0].$$

假设检验

平方和分解及其自由度：

• $\mathrm{T}\mathrm{S}\mathrm{S}$：总平方和，自由度为$n-1$。
• $\mathrm{E}\mathrm{S}\mathrm{S}$：回归平方和，自由度为$k$。
• $\mathrm{R}\mathrm{S}\mathrm{S}$：残差平方和，自由度为$n-k-1$。

拟合优度为$R^2=1-\frac{\mathrm{R}\mathrm{S}\mathrm{S}}{\mathrm{T}\mathrm{S}\mathrm{S}}$，为反应变量数的影响，常使用调整可决系数${\overline{R}}^2=1-\frac{\mathrm{R}\mathrm{S}\mathrm{S}/(n-k-1)}{\mathrm{T}\mathrm{S}\mathrm{S}/(n-1)}$，即分子分母各自除去其自由度，这包含了解释变量个数的影响。

信息准则：可比较所含解释变量个数不同模型的拟合优度，不同的信息准则有不同的惩罚项。两个指标都是越小越好。

• 赤池信息准则：$\mathrm{A}\mathrm{I}\mathrm{C}=\ln \frac{e^{\prime }e}{n}+\frac{2(k+1)}{n}+1+\ln (2\pi )$。
• 施瓦茨准则：$\mathrm{S}\mathrm{I}\mathrm{C}=\ln \frac{e^{\prime }e}{n}+\frac{k+1}{n}\ln n+1+\ln (2\pi )$。

$t$检验中，$S_{{\hat{\beta }}_j}^2$是${\hat{\beta }}_j$的方差估计，实际上是$\mathrm{V}\mathrm{a}\mathrm{r}(\hat{\beta })$中第$j$个对角元素，再利用${\hat{\sigma }}^2$替代即可。
$$t=\frac{{\hat{\beta }}_j-{\beta }_j}{S_{{\hat{\beta }}_j}}\sim t(n-k-1).$$
受约束回归：对全估计参数最小二乘的残差平方和为${\mathrm{R}\mathrm{S}\mathrm{S}}_U$，如果对参数施加约束得到的残差平方和为${\mathrm{R}\mathrm{S}\mathrm{S}}_R$，则自然有${\mathrm{R}\mathrm{S}\mathrm{S}}_U\le {\mathrm{R}\mathrm{S}\mathrm{S}}_R$。受约束回归检验的假设是$H_0$：约束为真。如果$H_0$成立，施加的约束为真，则两个残差平方和之间不应具有过大的差异，构造==$F$统计量==为
$$残差平方和形式：F=\frac{({\mathrm{R}\mathrm{S}\mathrm{S}}_R-{\mathrm{R}\mathrm{S}\mathrm{S}}_U)/(k_U-k_R)}{{\mathrm{R}\mathrm{S}\mathrm{S}}_U/(n-k_U-1)}\stackrel{H_0}{\sim }F(k_U-k_R,n-k_U-1).$$

$$拟合优度（可决系数）形式：F=\frac{(R_U^2-R_R^2)/(k_U-k_R)}{(1-R_U^2)/(n-k_U-1)}\stackrel{H_0}{\sim }F(k_U-k_R,n-k_U-1).$$

未约束回归（全参数回归）的残差平方和更小，可决系数更大。（用于记忆公式）

因此，如果$F>F_{\alpha }(k_U-k_R,n-k_U-1)$，则拒绝原假设，认为约束为假。注意$F$检验总是单边的。

• $F$检验：原假设是${\beta }_1={\beta }_2=\cdots ={\beta }_k$，从而${\mathrm{R}\mathrm{S}\mathrm{S}}_R=\sum y_i^2=\mathrm{T}\mathrm{S}\mathrm{S}$，故
  $$F=\frac{(\mathrm{T}\mathrm{S}\mathrm{S}-\mathrm{R}\mathrm{S}\mathrm{S})/k}{\mathrm{R}\mathrm{S}\mathrm{S}/(n-k-1)}=\frac{\mathrm{E}\mathrm{S}\mathrm{S}/k}{\mathrm{R}\mathrm{S}\mathrm{S}/(n-k-1)}.$$

• 原模型有$k$个解释变量，去掉$q$个变量：原假设是${\beta }_k=\cdots ={\beta }_{k-q+1}=0$，从而
  $$F=\frac{({\mathrm{R}\mathrm{S}\mathrm{S}}_R-{\mathrm{R}\mathrm{S}\mathrm{S}}_U)/q}{{\mathrm{R}\mathrm{S}\mathrm{S}}_U/(n-k-1)}.$$

• 原模型有$k$个解释变量，增加$q$个变量：原假设是${\beta }_{k+1}=\cdots ={\beta }_{k+q}=0$，从而
  $$F=\frac{({\mathrm{R}\mathrm{S}\mathrm{S}}_R-{\mathrm{R}\mathrm{S}\mathrm{S}}_U)/q}{{\mathrm{R}\mathrm{S}\mathrm{S}}_U/(n-(k+q)-1)}=\frac{(\mathrm{R}\mathrm{S}\mathrm{S}-{\mathrm{R}\mathrm{S}\mathrm{S}}_U)/q}{{\mathrm{R}\mathrm{S}\mathrm{S}}_U/(n-k-q-1)}.$$

• 邹氏稳定性检验：有两组样本$X^{(1)},X^{(2)}$，估计出两组参数$\alpha ,\beta$，原假设是$\alpha =\beta$，从而
  $$F=\frac{({\mathrm{R}\mathrm{S}\mathrm{S}}_R-{\mathrm{R}\mathrm{S}\mathrm{S}}_U)/(k+1)}{{\mathrm{R}\mathrm{S}\mathrm{S}}_U/(n_1+n_2-(2k+2))}.$$