多元线性回归分析(Stata)

目录

一、回归分析的介绍与分类

二、多元线性回归模型的条件

1. 线性理解与内生性问题研究

2. 异方差问题

3. 多重共线性问题


一、回归分析的介绍与分类

回归分析的任务是:通过研究自变量X和因变量Y的关系,尝试去解释Y的形成机制,进而达到通过X去预测Y的目的

三个关键字:相关性、因变量Y、自变量X

常见的回归分析有五类(划分的依据是因变量Y的类型):

  • 线性回归:因变量Y为连续性数值变量,例如GDP的增长率

  • 0-1回归:因变量Y为0-1型变量,例如P2P公司研究借款人是否能按时还贷,那么Y可以设计为二值变量,Y=0时代表可以还贷,Y=1时代表不能还贷

  • 定序回归:因变量Y为定序变量 ,例如1表示不喜欢,2表示一般般,3表示喜欢

  • 计数回归:因变量Y为计数变量,例如管理学中的RFM模型,F代表一定时间内,客户到访的次数,次数其实就是一个非负整数

  • 生存回归:因变量Y为生存变量(截断数据),例如研究产品寿命,企业寿命和人的寿命,假设做吸烟对寿命的影响,选取的样本中老王60岁,但是老王此时身体很健康 ,不能等老王去世再做研究,所以只能记他的寿命为60+,这种数据就是截断的数据

回归分析的使命

  1. 识别重要变量,那些自变量X是同Y真的相关

  2. 判断相关性的方向,正相关还是反相关

  3. 要估计权重

回归分析的分类

多元线性回归分析(Stata)_第1张图片

数据的分类

  • 横截面数据:在某一时点收集的不同对象的数据,eg:全国各省份2021年GDP数据

  • 时间序列数据:在同一对象在不同时间连续观察所得的数据,eg:某地方每隔一小时测得的温度数据

  • 面板数据:横截面数据和时间序列数据综合在一起的一种数据

  • 多元线性回归分析(Stata)_第2张图片

二、多元线性回归模型的条件

  • 模型符合线性模式

  • X满秩(无多重共线性)

  • 零均值价值 E(ξi​∣Xi​)=0 (自变量外生)无内生性问题

  • 同方差:Var(ξi​∣Xi​)=σ

  • 无自相关:Cov(ξi​,Xi​)=0

1. 线性理解与内生性问题研究

回归分析中对线性的理解

回归分析中的线性假定并不要求初始模型都呈严格的线性关系,自变量和因变量可以通过变量替换来转换成线性模型

例如:

多元线性回归分析(Stata)_第3张图片

标准化回归系数

我们通常得到的回归方程中的回归系数都是非标准化回归系数,表示的是在其他自变量不变的时候,该系数对应的自变量每增加一个单位的量,因变量就增加该系数的值,体现的是对因变量绝对的影响,并不能去判断不同自变量之间谁对因变量的影响大;而标准化回归系数就是指对数据进行标准化处理

标准化处理:讲原始数据减去它的均数后除以它的标准差,计算得到新的变量值,消除了量纲、数量级等差异的影响

标准化处理后得到的回归方程即为标准化回归方程,使得不同变量间具有可变性,标准回归系数的绝对值越大即对因变量的影响最大(只关注显著的回归系数)

stata操作:在regress 后添加参数b

regress y x1 x2 ... xk, b

对数据进行描述性统计的方法

  • excel数据分析

  • stata-summarize

Stata工具的使用

  1. 数据的描述性统计

    • 定量数据:summarize 变量1 变量2 ...

    • 定性数据:tabulate 变量名, (gen(A))

      返回对应这个变量的频率分布表,可选择并生成对应的虚拟变量(以A开头)

      虚拟变量是针对定性数据而设置的特殊变量详细解释看Chapter7

  2. 回归分析

    regression y x1 x2 ... xk(默认采用的是OLS普通最小二乘法)

利用Stata对数据进行回归分析的注意点

多元线性回归分析(Stata)_第4张图片

解释

  1. 上表格第一行依次为SS(sum of squares),df(degree of freedom),MS(mean square)

  2. 右边的F(df of model, df of residual) = MS of Model / MS of Residual = 7.7543e+10/5.1386e+9 = 15.09

  3. F值的H0假设是:所有的自变量predictor都对y不会产生影响,即所有predictor的coef都=0,所有的predictor都不significant

  4. 下面的prob > F是指上述H0成立的可能性。当其趋于0时表示至少会有一些predictor的coef不为0(即相关)——模型合理

  5. Adj R-squared 由于R2存在一个问题:无论什么predictor加到模型中,R2都会变大。为了避免这个问题,adjR2惩罚了模型的复杂度

  6. 下面这张表格的第一列为coef回归系数

  7. 第二列为Coef的Std.Err,值越小说明Coef的值越可信

  8. 第三列t值=Coef / Std.Err,|t-statistics| > 2对应的predictor就是significant

  9. 第三列是p > |t|,表示prob > |t|,值小于0.05一般就是significant

核心关注点

模型是否合理:联合显著性检验,如果P值<0.05说明存在相关性,否则不存在

置信度高低(系数显著与否):如果P值(蓝色)<0.1说明置信度>90%,<0.05说明置信度大于95%,Regession coeffient显著

2. 异方差问题

第一张为同方差:生成的线性模型到每个数据的垂直水平距离相差无几就是同方差; 后面三张即为不同类型的异方差

多元线性回归分析(Stata)_第5张图片

异方差的检验

  1. 残差图检验(应该是稳定的平行于X轴) Stata中的操作:

    • rvfplot (画残差与拟合值的散点图)

    • rvpplot x (画残差与自变量X的散点图)

  2. 怀特检验(white检验) Stata中的操作: 

    estat imtest, white

        怀特检验的原假设:不存在异方差         若p值<0.05说明在置信度95%以上认为原假设不成立

异方差的纠正

  1. OLS+稳健的标准差

    如果发现存在异方差,一 种处理方法是,仍然进行OLS 回归,但使用稳健标准误。这是最简单,也是目前通用的方法。只要样本容量较大,即使在异方差的情况下,若使用稳健标准误,则所 有参数估计、假设检验均可照常进行。换言之,只要使用了稳健标准误,就可以与异方差“和平共处”了。

    Stata的操作: 

    regress y x1 x2 ... xk, robust
  2. 广义最小二乘法GLS

Stock and Watson (2011)推荐,在大多数情况下应该使用“OLS + 稳健标准误”

3. 多重共线性问题

表现:

  • 系数估计值符号相反

  • 某些重要的解释变量t值低但是R2不低

  • 当一不太重要的解释变量被删除后,回归结果显著变化

原因

  • 某一解释遍历可以由其他解释变量线性表示

  • 解释变量享有共同的时间趋势

  • 由于数据收集的基础不够宽,某些解释变量可能会一起变动

  • 一个解释变量是另一个的滞后,二者往往遵循一个趋势

检验(VIF)

多元线性回归分析(Stata)_第6张图片

Stata操作: 

estat vif

Soution

多元线性回归分析(Stata)_第7张图片

逐步回归分析

较好在生成线性模型时就能避免多重共线性问题

  • 向前逐步回归Forward selection:将自变量逐个引入模型,每引入一个后都要进行检验,显著时才加入回归模型 
    缺点:随着以后的自变量的引入,原来显著的自变量也可能变成不显著
  • 向后逐步回归Backward elimination:与向前逐步回归相反,先将所有自变量添加,之后一个个地尝试将自变量从模型中剔除,看整个模型解释因变量的变异是否有显著变化,之后将最没有解释力的剔除,不断迭代,直到没有需要被剔除的

Stata操作:

Forward selection:

stepwise regress y x1 x2 ... xk, pe(#1)

pe(#1) specifies the significance level for addition to the model; terms with p<#1 are eligible for addition(eg#1=0.05,当p值小于0.05时,认为显著,才可以被添加到模型中)

Backward elimination:

stepwise regress y x1 x2 .. xk, pr(#2)

pr(#2) specifies thr significance level for removal from the model; terms with p>#2 are eligible for removal(eg#2=0.75,当p值大于0.75时,认为不显著,剔除模型)

注意:在stata中,只有regress才会自动排除完全多重共线性,而采用逐步回归stepwise regress则不会,所以需要手动剔除掉造成完全多重共线性的自变量;可以在后面添加参加b和r,即标准化回归系数或稳健标准误

你可能感兴趣的:(数学建模,线性回归,回归,机器学习)