回归分析-（偏）最小二乘

Reference: 李卫东，2008，《应用多元统计分析》

回归分析

英文名称：regression analysis

定义：研究一个随机变量Y对另一个(X)或一组(X1，X2，…，Xk)变量的相依关系的统计分析方法。

含义：身高遗传具有某种回归规律。

一元线性回归：Y＝a＋bX＋ε ；ε为不可解释的随机项，又称残差值。通过样本的假设检验来估计总体的a和b。求a、b的估计值一般采用最小二乘法。

采用spass做回归分析步骤：1. 模型中自变量情况（Enter: 指定变量法）；2. 给出模型拟合度>0.8都是拟合较好的；3. 方差分析，进行F检验，Sig.（p值）小于0.05，说明显著；4.得出系数，并进行t检验。

对于多元回归：现实数据常常不能完全符合上述假定。因此，统计学家研究出许多的回归模型来解决线性回归模型假定过程的约束。

虚拟变量的应用：例如添加虚拟变量，说明该地区分店是否在市中心X3=0,1; 求得b3=71，则说明区位对公司销售有显著影响。

 

最小二乘

从整体上考虑近似函数p(x)同所给数据点(xi,yi)(i=0,1,…,m)误差,考虑到便于微分运算，采用误差平方和来衡量。并假设最佳拟合是使误差平方和最小。以多项式拟合为例，对多项式系数ai,..an,求偏导（n为多项式次数，m为样本个数）。