多重共线性——VIF

多重共线性是指自变量之间存在线性相关关系，即一个自变量可以是其他一个或几个自变量的线性组合。

方差膨胀系数(variance inflation factor，VIF)

是衡量多元线性回归模型中复 (多重)共线性严重程度的一种度量。它表示回归系数估计量的方差与假设自变量间不线性相关时方差相比的比值。
多重共线性是指自变量之间存在线性相关关系，即一个自变量可以是其他一个或几个自变量的线性组合。
检验方法主要有：容忍度(Tolerance)和方差膨胀系数(Variance inflation factor，VIF)。其中最常用的是VIF，计算公式为：1/(1-R2)
VIF的取值大于1。VIF值越接近于1，多重共线性越轻，反之越重。当多重共线性严重时，应采取适当的方法进行调整。
容忍度的值界于0至1之间，当容忍度值较小时，表示此自变量与其他自变量之间存在共线性。容忍度这个变量回归系数的估计值不够稳定，则回归系数的计算值也会有很大误差。方差膨胀系数是容忍度的倒数，VIF越大，表示自变量的容忍度越小，越有共线性问题。
通常以10作为判断边界。当VIF<10,不存在多重共线性；当10<=VIF<100,存在较强的多重共线性；当VIF>=100, 存在严重多重共线性。

多重共线性对线性回归和逻辑回归的影响
多重共线性是指在变量空间中，存在自变量可以近似地等于其他自变量的线性组合：
Y 约等于 W1X1 + W2X2 + … + Wn*Xn
此时如果将所有自变量用于线性回归或逻辑回归的建模，将导致模型系数不能准确表达自变量对Y的影响。比如：如果X1和X2近似相等，则模型Y = X1 + X2 可能被拟合成Y = 3 X1 - X2，原来 X2 与 Y 正向相关被错误拟合成负相关，导致模型没法在业务上得到解释。在评分卡建模中，可能将很多相关性很高的变量加入到建模自变量中，最终得到的模型如果用变量系数去解释自变量与目标变量的关系是不合适的。