递归式特征消除:Recursive feature elimination(RFE)

此算法是用来进行特征选择,属于包装法特征选择算法的其中一种。递归消除特征法使用一个机器学习模型来进行多轮训练,每轮训练结束后,消除若干权值系数对应的特征,再基于新的特征集进行下一轮训练。

那么在以经典的SVM-RFE算法中来讨论此算法。首先,在每一轮训练过程中,会选择所有特征来进行训练,继而得到了分类的超平面w*x+b=0,如果有n个特征,那么SVM-RFE会选择出w中分量的平方值最小的那个序号i对应的特征,将其删除;在第二类的时候,特征数就剩下了n-1个,继续用这n-1个特征和输出值来训练SVM;同样的,继续去掉w中分量的平方值最小所对应的特征。以此类推,直到剩下的特征数满足我们的要求为止。

具体到SVM在sklearn中应用时,可以通过学习器返回的coef_属性或feature_importance_属性来获得每个特征的重要程度,然后从当前的特征集合中移除不重要的特征。在特征集合上不断重复上述过程,直到最终达到所需要的特征数量为止。

你可能感兴趣的:(递归式特征消除:Recursive feature elimination(RFE))