特征选择常用算法综述
特征选择的一般过程：
1.生成子集：搜索特征子集，为评价函数提供特征子集
2.评价函数：评价特征子集的好坏
3.停止准则：与评价函数相关，一般是阈值，评价函数达到一定标准后就可停止搜索
4.验证过程：在验证数据集上验证选出来的特征子集的有效性
1.生成子集
搜索算法有 完全搜索、启发式搜索、随机搜索 三大类。
（1）完全搜索
<1>宽搜(Breadth First Search)：时间复杂度高，不实用
<2>分支界限搜索(Branch and Bound)：其实就是宽搜加上深度的限制
<3>定向搜索(Beam Search)：其实算是启发式的一种，对宽搜加上每次展开结点数的限制以节省时间空间，对于展开那几个结点由启发式函数确定
<4>最优优先算法(Best First Search)：也是有启发式函数，对宽搜取最优结点进行展开
（2）启发式搜索
<1>序列前向选择（SFS , Sequential Forward Selection）
特征子集X从空集开始，每次选择能使得评价函数J(X)最优的一个特征x加入，其实就是贪心算法，缺点是只加不减
<2>序列后向选择(SBS , Sequential Backward Selection)
和SFS相反，从特征全集开始，每次选择使评价函数J(X)最优的特征x剔除，也是贪心，缺点是只减不增
<3>双向搜索(BDS , Bidirectional Search)
SFS和SBS同时开始，当两者搜索到同一个特征子集时停止。
<4>增L去R选择算法（LRS , Plus-l Minus-R Selection）
形式一：从空集开始，每次加L个特征，去除R个特征，使得J最优
形式二：从全集开始，每次去除R个特征，加入L个特征，使J最优。
<5>序列浮动选择(Sequential Floating Selection)
该算法由增L去R发展，不同之处在于L和R是会变化的，它结合了序列前后向选择、增L去R的特点并弥补了缺点。
①序列浮动前向选择（SFFS , Sequential Floating Forward Selection)
从空集开始，每轮选择子集x加入使得J最优，再选择子集z剔除使得J最优。
②序列浮动后向选择(SFBS , Sequential Floating Backward Selection)
与①相反，从全集开始，先剔除再加入。
<6>决策树(Decision Tree Method , DTM)
一般使用信息增益作为评价函数，待决策树生长后再进行剪枝，最后留下的叶子就是特征子集。
（3）随机算法
<1>随机产生序列选择算法(RGSS, Random Generation plus Sequential Selection)
随机产生特征子集，然后执行SFS或SBS，可作为SFS和SBS的补充，用于跳出局部最优解。
<2>模拟退火算法( SA, Simulated Annealing )
模拟退火可在一定程度上避免陷入局部最优，但是可能难以求解。
<3>遗传算法(GA, Genetic Algorithms)
首先随机产生一批特征子集，并用评价函数给这些特征子集评分，然后通过交叉、突变等操作繁殖出下一代的特征子集，并且评分越高的特征子集被选中参加繁殖的概率越高。这样经过N代的繁殖和优胜劣汰后，种群中就可能产生了评价函数值最高的特征子集。
2.评价函数
用于评价特征子集的好坏，主要分为Filter和Wrapper
（1）Filter
其实就是预处理，利用训练集自身的特点筛选出特征子集后再送入分类器进行学习，与分类器的选择无关。
（2）Wrapper
封装器用选取的特征子集对训练集进行分类，分类的精度作为衡量特征子集好坏的标准。
常见的评价函数有：
(1)相关性
基于假设：好的特征子集所包含的特征应该是与分类的相关度较高，而特征之间相关度较低
线性相关系数
(2)距离/相似度
基于假设：好的特征子集应该使得属于同一类的样本距离尽可能小，属于不同类的样本之间的距离尽可能远
常用相似度计算
（3）信息增益
之前讲过了，信息增益体现特征子集的出现对系统信息量的增加。
（4）一致性
若样本1与样本2属于不同的分类，但在特征A、 B上的取值完全一样，那么特征子集{A，B}不应该选作最终的特征集。
（5）分类器错误率
用分类的精度作为评判标准。
对于文本分类的文本特征提取，大都采用Filter方法进行特征提取，无论是基于词频的VSM方法还是基于语义的方法，大都是通过计算公式对每个特征项进行打分，
最后选择得分最高的k项形成特征子集。Wrapper方法用的很少，我自己认为是文本特征项数量巨大，对于上述不断生成特征子集再去评价实在太慢了，wrapper方法
也是因为效率不高而被舍弃。
注：上述特征选择常用算法综述摘自博客 http://www.cnblogs.com/heaad/archive/2011/01/02/1924088.html