统计|多元回归下变量选择的向前选择法一般步骤与缺点

本博文源于《商务统计》旨在讲述，向前选择法的一般步骤及缺点

向前选择法一般步骤

1. 先逐个比较$x_1,....,x_k$对y的回归方程那些是显著的，从显著的方程中挑选F值最大的，相应的自变量$x_{\alpha }$就被"引入"方程。不妨设$x_{\alpha }$就是$x_1$
2. 再逐个比较$(x_1,x_2)、(x_1,x_3)、....、(x_1,x_k)$对y的回归方程，看看有没有F值显著的，此时的F就是考虑添加$x_i$之后,$x_i$的回归系数是否显著地不为0，将显著的F中最大的F所相应的变量"引入方程，无妨设第二次"引入"的自变量是$x_2$
3. 再考虑以$x_1、x_2$为基础，逐个添加$x_3、x_4、....、x_k$之后的回归方程，是否较$x_1、x_2$的方程有显著的改进，有就在引入变量，直到没有可引入的。那么此时的回归方程就是最后的回归方程.

向前选择法缺点

不能反映后来变化的状况,设想$x_1、x_2、x_3$引入后，又引入了$x_6$,也许$x_3、x_6$引入后，$x_1$的作用就不重要了，应该予以剔除，而"逐步引入"法不能达到这个要求.