统计学六 回归模型

一、回归分析

无论上一期数据如何波动，本期数据围绕均值波动。

线性回归：

非线性回归：

变量变换（特征项高阶/取对数）：

 

二、一元线性回归

1、参数估计（最小二乘法）

总的误差平方和最小。

0、1的最小二乘估计：

2、最小二乘回归直线

 

养成跑完回归后看残差的好习惯，用残差检验模型假设。

三、最小二乘法前提假设（高斯马尔夫假设）

• 线性于参数：回归参数为线性；
• 随机抽样：残差无序列相关；
• 不存在完全共线性：不存在线性相关；（多元线性回归）
• 误差的条件均值为零：遗漏重要变量；
• 误差同方差性：不能异方差；
• 误差的正态性；

四、参数检验

前提：残差相互独立，且服从均值为0，方差为σ2（总体残差的方差）的正态分布。

1、原假设和备择假设

原假设：无线性相关；     备择假设：线性相关；

2、检验方法：t检验

当H0为真时，t1服从自由度为n-2的t分布。

3、标准误

3.1、无偏估计的方差：

3.2、总体残差的方差：

 3.3、标准误：

4、假设检验

可以用t1值和t分布的临界值比较，也可以用p(t1)和显著性水平做比较。

线性回归只做单侧检验。

5、置信区间

 五、预测

1、预测y0

2、预测均值μ0

当X=x0时，y的均值μ0。

 六、评估

决定系数：R2 

 七、无截距的一元线性回归

 八、多元线性回归

1、多元回归模型

2、参数估计（线性变换）

3、评估

 

 4、单个回归系数的检验

 

 九、假设检验：所有自变量的回归系数均为0。

1、原假设

 2、F检验

 十、图形方法

 1、标准化残差正态概率图

都在45度斜线上，否则不满足。

2、 标准化残差关于每个自变量的散点图

异方差可以通过对X取高次、对X取对数、对X开根号、X互乘进行变换，有效消除异方差。

 十一、判断共线性：方差膨胀因子

• VIF=1 完全无关
• VIF=（1,3） 无关
• VIF=（3,10）需要调整
• VIF=10 出现共线性，需要删除变量