浅谈多元线性回归

线性回归方程是利用最小二乘函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。

1. 定义：
   1.1特点：多个自变量（x）
   模型：y=β0＋β１x1+β2x2+ … +βpxp+ε
   其中：β0，β１，β2… βp是参数
   ε是误差值

   多元线性回归的基本原理和基本计算过程与一元线性回归相同，但由于自变量个数多，计算相当麻烦，一般在实际中应用时都要借助统计软件。事实上，一种现象常常是与多个因素相联系的，由多个自变量的最优组合共同来预测或估计因变量，比只用一个自变量进行预测或估计更有效，更符合实际。因此多元线性回归比一元线性回归的实用意义更大。
   
   2、在平面上直角坐标系下的散点Mi(xi,yi)（i=1,2，……，n）中，拟合一条直线y=a+bx，使Mi到直线y=a+bx的差值之和最小。通常用最小二乘法来处理较为方便。
   举例：题中a、b的估计值分别用a、b表示，x、y均值分别用x’、y’表示】具体过程是，设S=∑(yi-a-bxi)²。由S分别对a、b求导，并且令其值为0，
   ∴有∂S/∂a=-2∑(yi-a-bxi)=0①，
   ∂S/∂b=-2∑(yi-a-bxi)(xi)=0②。
   由①，有∑yi-∑a-b∑xi=0，即∑yi=na+b∑xi③，两边同除以n，∴y’=a+bx’。
   由②，有∑(yi)xi=a∑xi+b∑(xi)²④。由④×n-③×∑xi，消去a，∴n∑(yi)xi-(∑yi)∑xi=b[∑(xi)²-n(∑xi)²]。
   ∴b=[n∑(yi)xi-(∑yi)∑xi]/[∑(xi)²-n(∑xi)²]。
   又因为∑xi=nx’、∑yi=ny’，
   ∴b=(∑yixi-nx’y’)/[∑(xi)²-n(x’)²]。
   如下图：
   
   3、推导过程：
   

4、总结
多元线性回归运算与简单线性回归运算类似，它会涉及到线性代数和矩阵代数的运算。