关于一元回归检验中的F检验问题

今天上多元回归的时候,学到对经验回归方程进行检验的时候,到了 F F F检验这里的时候,一直想不出来 F = S S R / 1 S S E / ( N − 2 ) F=\frac{SSR/1}{SSE/(N-2)} F=SSE/(N2)SSR/1这个东西是怎么出来的。回寝室之后,想了许久并在网上查了一些东西,但是还没有具体的证明方法,只是暂时对查到的结果做一个简单的整理,为看到的人指一个模糊的方向,也为自己留一个记录,之后可以证下去。

1、网上的一份文档

这个是在网上查的时候看到的最多的一份文档,看过去应该是完成了证明,但是里面有涉及正交线性变换,我还没学过,也没有看懂,但先记下来,以后万一看懂了呢。
《证明残差平方和除随机项方差服从卡方分布》
https://www.docin.com/p-1185555448.html

2、谢宇《回归分析》

这本书是直接用的自由度来计算的,可惜没有完整的数学证明,但也是一个方向,也记一下吧,在原书第63页,下面是涉及到的大致内容:

我们将因变量 Y Y Y的总变异分解为两个部分:被解释的变异和未被解释的变异。这里,被解释的变异是回归模型中的结构项或系统性变动,反映着自变量和因变量之间的线性关系;而未被解释的变异是回归模型中的随机项,它体现了来自变量之外的影响。利用这一关系,我们将回归平方和( S S R SSR SSR)和残差平方和( S S E SSE SSE)分别除以各自的自由度,就得到了回归均方 ( M S R ) (MSR) (MSR)和残差均方 ( M S E ) (MSE) (MSE)

在简单回归的情况下,只有一个自变量,故回归平方和 ( S S R ) (SSR) (SSR)的自由度为1。而对于残差平方和 ( S S E ) (SSE) (SSE),我们需要以回归直线为基准进行计算(即对 y i − y i ^ y_i-\hat{y_i} yiyi^进行估计)。同时,由于决定这条直线需要截距 b 0 b_0 b0和斜率 b 1 b_1 b1两个参数,故其自由度为 n − 2 n-2 n2。另外, M S E MSE MSE是总体误差的方差的无偏估计。

M S R = S S R 1 MSR=\frac{SSR}{1} MSR=1SSR
M S E = S S E n − 2 MSE=\frac{SSE}{n-2} MSE=n2SSE
然后求两者的比值,这就形成了一个可以对模型进行整体检验的统计量:
F = S S R / 1 S S E / ( n − 2 ) = M S R M S E F=\frac{SSR/1}{SSE/(n-2)}=\frac{MSR}{MSE} F=SSE/(n2)SSR/1=MSEMSR
因为该统计量服从自由度为 1 1 1 n − 2 n-2 n2 F F F分布,因此可以直接用它做检验。

3、知乎网友的智慧

在知乎上看到了一个网友的关于 S S R / σ 2 ∼ χ 2 ( 1 ) SSR/\sigma^2\sim\chi^2(1) SSR/σ2χ2(1)的证明,虽然只有 S S R SSR SSR的,但也是很可以了,而且证明思路是我想不出的,也许可以根据它证出 S S E SSE SSE的分布。证明过程如下:

首先,已知:
L x x = ∑ i = 1 n ( x i − x ˉ ) 2 , β i ^ ∼ N ( β i , σ 2 L x x ) , y i ^ = β o ^ + β 1 ^ x i , y ˉ = β o ^ + β 1 ^ x ˉ L_{xx}=\sum_{i=1}^n(x_i-\bar{x})^2,\hat{\beta_i}\sim N(\beta_i,\frac{\sigma^2}{L_{xx}}),\hat{y_i}=\hat{\beta_o}+\hat{\beta_1}x_i,\bar{y}=\hat{\beta_o}+\hat{\beta_1}\bar{x} Lxx=i=1n(xixˉ)2,βi^N(βi,Lxxσ2)yi^=βo^+β1^xi,yˉ=βo^+β1^xˉ
因此:
S S R = ∑ i = 1 n ( y i ^ − y ˉ ) 2 = ∑ i = 1 n ( β 0 ^ + β 1 ^ x i − β 0 ^ − β 1 ^ x ˉ ) = ∑ i = 1 n [ β 1 ^ ( x i − x ˉ ) ] 2 = β 1 ^ 2 ∑ i = 1 n ( x i − x ˉ ) 2 = β 1 ^ 2 L x x ∵ β 1 ^ ∼ N ( β 1 , σ 2 L x x ) 又 ∵ S S R = β 1 ^ L x x ∴ S S R ∼ N ( L x x β 1 , σ 2 ) \begin{aligned} SSR&=\sum_{i=1}^n(\hat{y_i}-\bar{y})^2\\ &=\sum_{i=1}^n\big(\hat{\beta_0}+\hat{\beta_1}x_i-\hat{\beta_0}-\hat{\beta_1}\bar{x}\big)\\ &=\sum_{i=1}^n\big[\hat{\beta_1}(x_i-\bar{x})\big]^2\\ &=\hat{\beta_1}^2\sum_{i=1}^n(x_i-\bar{x})^2\\ &=\hat{\beta_1}^2L_{xx}\\ &\because \hat{\beta_1}\sim N(\beta_1,\frac{\sigma^2}{L_{xx}})\\ &又\because\sqrt{SSR}=\hat{\beta_1}\sqrt{L_{xx}}\\ &\therefore\sqrt{SSR}\sim N(\sqrt{L_{xx}}\beta_1,\sigma^2)\\ & \end{aligned} SSR=i=1n(yi^yˉ)2=i=1n(β0^+β1^xiβ0^β1^xˉ)=i=1n[β1^(xixˉ)]2=β1^2i=1n(xixˉ)2=β1^2Lxxβ1^N(β1,Lxxσ2)SSR =β1^Lxx SSR N(Lxx β1,σ2)
接下来要考虑回归方程检验的目的,是为了能有足够的理由拒绝原假设,从而接受备择假设,故检验统计量的建立是在原假设成立的基础上成立的:
H 0 : β 1 = 0 , H 1 : β 1 ≠ 0 H_0:\beta_1=0,H_1:\beta_1\neq 0 H0:β1=0,H1:β1=0
所以如果在 H 0 H_0 H0成立的前提下,可接下去证明:
S S R ∼ N ( 0 , σ 2 ) ∴ S S R σ ∼ N ( 0 , 1 ) ∴ S S R σ 2 ∼ χ 2 ( 1 ) \begin{aligned} &\sqrt{SSR}\sim N(0,\sigma^2)\\ &\therefore\frac{\sqrt{SSR}}{\sigma}\sim N(0,1)\\ &\therefore\frac{SSR}{\sigma^2}\sim\chi^2(1) \end{aligned} SSR N(0,σ2)σSSR N(0,1)σ2SSRχ2(1)
得证

4、《线性模型引论》

知乎上有人推荐的,可能有完全的数学证明,但里面涉及矩阵论,太难了!!,没看懂。

你可能感兴趣的:(关于一元回归检验中的F检验问题)