多元线性回归-linear regression(2)

我们之前讲了一元的线性回归，下面我们讲讲多元线性回归。多元线性回归的定义是考查一个变量和其余多个变量之间的关系，如果是同时考查p个因变量与m个自变量之间的依赖关系，称为多因变量的多元回归问题。

和一元线性回归有相同的定义，多元线性回归中，一个因变量开始由多个自变量来决定，所以它的方程的形式就变成了y=beta_0+beta_1x_1+...beta_px_p+\epsilon，由此我们可以得到理论回归方程，E(y)=beta_0+beta_1x_1+...beta_px_p

因为多元线性回归一个观测值就不再是一个标量而是一个向量了，所以可能自变量的观测值就变成了 (1,x11,...x1p)，(1,x21,...x2p)... ，而对应的因变量的观测值不变，还是(y1,...yp) ，因此我们把这些观测值每一行每一行的叠加起来就成为了一个向量或者矩阵。这里我们用C指代x矩阵，Y指代y矩阵，beta指代系数矩阵，\epsilon指代残差。那么这个时候的多元线性回归的表示就变成了y=beta*x+\epsilon。

这个多元线性回归有个假设，残差符合正态分布，并且均值为0。

参数向量\beta的最小二乘估计 

假设b是参数\beta的最小二乘估计，就是说b可以使得误差平方和Q(b)达到最小，Q(b)=minQ(\beta),其中Q(\beta)=\sum\epsilon^2=(Y-C\beta)'(Y-C\beta)。这个时候，b=(C'C)^(-1)C'Y是\beta的最小二乘估计，显然，b是正规方程C'C\beta=C'Y的解。

我们称H=(C'C)^(-1)C'为帽子矩阵，此时的残差向量是\epsilon=Y-\hat(y)=(I-H)Y。

这里有一些结论，b是\beta的最小方差无偏估计量，b和\epsilon服从正态分布。

之后我们同样要检验回归方程和回归系数的显著性。回归方程用F检验，回归系数用T检验。

F检验的统计量是F=MMS/MSE;T检验的统计量是T=\beta_i/\sqrt(l^{ii})/\sqrt(Q/(n-m-1))

给定显著性水平\alpha，由样本观测数据计算Q,P以及检验统计量的值，并且计算显著性概率值（p):p=P{F>=f_i}。如果p<\alpha,否定假设H_0,即是认为x_i对y的作用是显著的，否则认为H_0相容。

我们看一个多元回归的例子（这个例子取自高惠璇的应用多元统计分析一书）。

例 1 :假设某种水泥在凝固时所释放的热量Y和水泥中下列四种化学成分相关:

x1-3CaO.Al2O3的成分

x2-CaO.SIO2的成分

x3-4CaO.Al2O3.Fe2O3的成分

x4-2CaO.SIO2的成分

总共观测了13组数据,求Y和x的回归方程,并且对该回归方程和各个回归系数进行检验。

水泥的数据：

No       x1         x2         x3         x4            Y

 1.0000 7.0000 26.0000 6.0000 60.0000 78.5000

    2.0000    1.0000  29.0000  15.0000  52.0000  74.3000

    3.0000  11.0000  56.0000    8.0000  20.0000  104.3000

    4.0000  11.0000  31.0000    8.0000  47.0000  87.6000

    5.0000    7.0000  52.0000    6.0000  33.0000  95.9000

    6.0000  11.0000  55.0000    9.0000  22.0000  109.2000

    7.0000    3.0000  71.0000  17.0000    6.0000  102.7000

    8.0000    1.0000  31.0000  22.0000  44.0000  72.5000

    9.0000    2.0000  54.0000  18.0000  22.0000  93.1000

  10.0000  21.0000  47.0000    4.0000  26.0000  115.9000

  11.0000    1.0000  40.0000  23.0000  34.0000  83.8000

  12.0000  11.0000  66.0000    9.0000  12.0000  113.3000

  13.0000  10.0000  68.0000    8.0000  12.0000  109.4000

解：回归方程如下hat(Y)=62.4054+1.5511x1+0.5102x2+0.1019x3-0.1441x4

回归方程的显著性检验结果：由方差分析可以得到平方和的分解式是2715.76308=2667.89944+47.86364

均方误差是MSE，它是模型中误差方差\sigma的估计。检验统计量F的值是111.479，p值是0.0001，这表示拟合是高度显著的，该模型解释了这组数据总变差中的主要部分。

回归系数的显著性检验结果：该输出中参数估计不仅给出了回归方程的系数而且给出了检验的结果，表明了四个自变量之间存在很强的相关性，应该从中删除不重要的自变量，比如x3。

下面我们再看一个预测房屋价格的例子。我们使用一个包含21个变量测量值和21613个房屋销售相关的观测值的数据集。首先，通过删除任何缺失值来清理数据，并进行探索性分析以确定变量分布、潜在异常值和共线性。其次，以住宅销售价格为结果变量，以房地产特征为自变量，建立了一般线性回归模型。下一个步骤是使用子集选择方法来选择房屋销售价格的最佳预测因子。我们度量了包括Akaike信息准则（AIC）、贝叶斯信息准则（BIC）和均方根误差（RMSE）选择并验证了最佳模型。该模型通过去除异常值来进一步改进，来开发我们的最终模型 （待修）。