python之sklearn-特征工程-1.4 特征选择

一，降维处理介绍

1，什么是降维

降维是指在某些限定条件下 ，降低随机变量(特征)个数， 得到一组“不相关”主变量的过程。

• 降低随机变量的个数
  

• 相关特征(correlated feature)

  • 的相对湿度与降雨量之间的相关
  • 等等

2、降维的两种方式

• 特征选择
  • Filter(过滤式)：主要探究特征本身特点、特征与特征之间关联
    • 低方差特征过滤
    • 相关系数
  • Embedded (嵌入式)：算法自动选择特征（特征与目标值之间的关联）
    • 决策树:信息熵、信息增益
    • 正则化：L1、L2
    • 深度学习：卷积等
  • Wrapper (包裹式)
• 主成分分析（可以理解一种特征提取的方式）

二，特征选择

1，定义

数据中包含冗余或无关变量（或称特征、属性、指标等），旨在从原有特征中找出主要特征。

2，方法

• Filter(过滤式)：主要探究特征本身特点、特征与特征之间关联
  • 低方差特征过滤
  • 相关系数
• Embedded (嵌入式)：算法自动选择特征（特征与目标值之间的关联）
  • 决策树:信息熵、信息增益
  • 正则化：L1、L2
  • 深度学习：卷积等
• Wrapper (包裹式)

3，特征选择模块

sklearn.feature_selection

4，低方差特征过滤

删除低方差的一些特征，前面讲过方差的意义。再结合方差的大小来考虑这个方式的角度。

• 特征方差小：某个特征大多样本的值比较相近
• 特征方差大：某个特征很多样本的值都有差别

1) API

• sklearn.feature_selection.VarianceThreshold(threshold = 0.0)
  • 删除所有低方差特征
  • Variance.fit_transform(X)
    • X:numpy array格式的数据[n_samples,n_features]
    • 返回值：训练集差异低于threshold的特征将被删除。默认值是保留所有非零方差特征，即删除所有样本中具有相同值的特征。

2) 实例

我们对以下数据进行运算

[[0, 2, 0, 3], 
[0, 1, 4, 3], 
[0, 1, 1, 3]]

• 分析
  1、初始化VarianceThreshold,指定阀值方差
  2、调用fit_transform

from sklearn.feature_selection import VarianceThreshold
def var():
    """ 删除所有低方差特征 """
    # 删除方差小于0.2的特征
    var = VarianceThreshold(threshold=0.2)
    # 低方差特征过滤
    data = var.fit_transform([[0, 2, 0, 3], [0, 1, 4, 3], [0, 1, 1, 3]])
    print(data)
    return None
if __name__ == "__main__":
    var()

5，相关系数

• 皮尔逊相关系数(Pearson Correlation Coefficient)
  • 反映变量之间相关关系密切程度的统计指标

1）公式计算案例(了解)

2）公式实例

• 比如说我们计算年广告费投入与月均销售额
  
  相关系数之间的计算
  
  最终计算：
  = 0.9942

所以我们最终得出结论是广告投入费与月平均销售额之间有高度的正相关关系。

3）特点

相关系数的值介于–1与+1之间，即–1≤ r ≤+1。 其性质如下：

• 当r>0时，表示两变量正相关，r<0时，两变量为负相关
• 当|r|=1时，表示两变量为完全相关
• 当r=0时，表示两变量间无相关关系
• 当0<|r|<1时，表示两变量存在一定程度的相关。且|r|越接近1，两变量间线性关系越密切；|r|越接近于0，表示两变量的线性相关越弱
• 一般可按三级划分：|r|<0.4为低度相关；0.4≤|r|<0.7为显著性相关；0.7≤|r|<1为高度线性相关

4）API

• from scipy.stats import pearsonr
  • x : (N,) array_like
  • y : (N,) array_like Returns: (Pearson’s correlation coefficient, p-value)

5）两只股票之间的涨跌幅相关性计算

我们对以下数据进行运算

[[0, 2, 0, 3], 
[0, 1, 4, 3], 
[0, 1, 1, 3]]

• 分析
  1、初始化VarianceThreshold,指定阀值方差
  2、调用fit_transform