多元线性回归模型的F检验

F检验    对于多元线性回归模型,在对每个回归系数进行显著性检验之前,应该对回归模型的整体做显著性检验。这就是 F检验。当检验被解释变量 yt与一组解释变量 x 1x 2 , ... ,  x -1是否存在回归关系时,给出的零假设与备择假设分别是

H0b1 = b2 = ... = bk-1 = 0 ,

H1bii = 1, ..., k -1不全为零。

首先要构造F统计量。由(3.36)式知总平方和(SST)可分解为回归平方和(SSR)与残差平方和(SSE)两部分。与这种分解相对应,相应自由度也可以被分解为两部分。

SST具有- 1个自由度。这是因为在T个变差 ( yt -), t = 1, ..., T,中存在一个约束条件,即 = 0。由于回归函数中含有k个参数,而这k个参数受一个约束条件  制约,所以SSR具有k -1个自由度。因为SSE中含有T个残差,= yt -, t = 1, 2, ..., T,这些残差值被k个参数所约束,所以SSE具有T - k个自由度。与SST相对应,自由度- 1也被分解为两部分,

(-1) = ( k - 1) + (k)                                              (3.44)

平方和除以它相应的自由度称为均方。所以回归均方定义为

MSR = SSR / ( k - 1)

误差均方定义为

MSE = SSE / (k)

(显然MSE = 2 (见3.23式),它的期望是2)。定义F统计量为

                                                    (3.45)

在H0成立条件下,有

F = ~ F(-1, k)

设检验水平为 ,则检验规则是

若用样本计算的F £ Fa (-1, k),则接受H0

若用样本计算的F > Fa (-1, k),则拒绝H0

拒绝H0意味着肯定有解释变量与yt存在回归关系。若F检验的结论是接受H0,则说明k – 1个解释变量都不与yt存在回归关系。此时,假设检验应该到此为止。当F检验的结论是拒绝H0时,应该进一步做t检验,从而确定模型中哪些是重要解释变量,哪些是非重要解释变量。

from:http://classroom.dufe.edu.cn/spsk/c102/wlkj/CourseContents/Chapter03/03_07_01.htm

http://classroom.dufe.edu.cn/spsk/c102/wlkj/CourseContents/Chapter03/

你可能感兴趣的:(机器学习之回归)