【统计建模07】残差分析

残差

• 定义残差是响应变量中回归模型所未解释的变异 性度量：
  $$e_i=y_i-\hat{y}+i$$
  其中 $y_i$ 表示样本的观测值，${\hat{y}}_i$ 表示样本的预测值

  • 残差是模型误差的观测值, 误差的任何对基本假设的违背都可以通过残差体现出来
  • 残差分析是探索几种模型不适用性类型的有效办法

• 用向量来描述 $n$ 个数据的残差，记为： $e=y-\hat{y}$ 其中 $\hat{y}=X\hat{\beta }$.

• 将最小二乘估计的结果 $\hat{\beta }=(X^{T}X{)}^{-1}{X}^{T}y$ 代入其 中，有回归向量：
  $$\hat{y}=X(X^{T}X{)}^{-1}{X}^{T}y=Hy$$
  其中 $H=X(X^{T}X{)}^{-1}{X}^T$ 称为帽子矩阵。可以证明，帽子矩阵是幂等对称矩阵，具有如下的性质：

  • $H^T=H$
  • $H^2=H$
  • $(I-H)X=0$
  • $(I-H)H=0$

• 残差向量可以表示为：
  $$e=y-\hat{y}=(I-H)y=(I-H)(X\beta +e)=(I-H)e$$
  残差向量实际上是对误差项的一个估计量。关于 残差，有如下的性质：

定理

对残差向量，我们有：

(1) $E(\hat{e})=0,cov(\hat{e})={\sigma }^2(I-H)$

(2) 若进一步假设误差向量 $e\sim N(0,{\sigma }^{2}I)$，则 $\hat{e}\sim N(0,{\sigma }^2(I-H))$

(3) $\hat{e}$ 和 $\hat{y}$ 相互独立，$cov(\hat{e},\hat{y})=0$

方差齐性检验

注意到：
$$var({\hat{e}}_i)={\sigma }^2(1-h_{ii})$$
可见在一般情况下，ˆei 的方差是不相等的。因此 我们不能直接使用残差来检验方差齐性，需要首 先对残差尺度化，记：
$$ri=\frac{{\hat{e}}_i}{\sqrt{var({\hat{e}}_i)}}=\frac{{\hat{e}}_i}{{\sigma }^2\sqrt{1-h_{ii}}}$$
其中 ${\hat{\sigma }}^2=\frac{SSE}{(n-p)}$.

$r_i$ 近似服从正态分布 $r_i\sim N(0,1)$

因而，
$$P(-2\le r_i\le 2)=95.5\%,i=1,2,\cdot \cdot \cdot ,n$$
即一个观测样本的残差有 95.5% 的概率落在区间 [−2, 2] 之间。

如果违背了这一点，我们就有理由拒绝方差齐性假设。

残差图分析

图中残差在 $|e|\le 2$ 范围内随机变化，表明回归模型满足基本的假设；

表明 $y$ 的观测值的方差并不相同，而是随着 $x$ 的增大而增大，违背了 $e$ 的方差相等的假设；

表明 $y$ 与 $X$ 之间不是线性关系，应该考虑 使用曲线回归来拟合样本观测值；

蛛网现象，表明 $Y$ 存在自相关