特征选择的3种方法

当数据维数比较大时,就需要进行降维,特征选择是降维的一种主要方式,又包括3种方法:Filter、Wrapper和Enbedding。

1. Filter

过滤器方法,这种方法首先选定特征,再来进行学习。根据每一个属性的一些指标(如方差等),来确定这个属性的重要程度,然后对所有属性按照重要程度排序,从高到低的选择属性。选定了属性以后,再来进行训练。比如Fisher Score、Laplacian Score等。这种方法其实不大好,因为决定特征选择效果的不是单个的属性,而是属性的集合,比如属性A、B、C,单个来看效果不好,但是它们组合起来效果有可能不错。

2. Wrapper

包裹器方法,这种方法把选定的特征集用分类器进行训练,用训练效果(如准确率等)来作为特征集的评价。比如将启发式搜索、GA等。这种方法和分类器相结合,比较直观,和Filter相比也更加合理。缺点是计算开销较大。

3. Embedding

嵌入式方法,即把特征选择的过程作为学习过程的一部分,在学习的过程中进行特征选择,最典型的如决策树算法。

你可能感兴趣的:(BigData,决策树,机器学习,算法)