特征工程————特征降维

目录

2.5.1 降维

2.5.3 特征选择

方法：

2.5.4 过滤式

4.1 低方差特征过滤

4.2相关系数

---

2.5.1 降维

降维是指在某些限定条件下，降低随机变量(特征)个数，得到一组“不相关”主变量的过程。

由于特征之间相关性过强，会导致对模型影响较大，因此通过降维，得到不相关的特征，使算法学习预测更为准确

降维的两种方式

• 特征选择
• 主成分分析（可以理解一种特征提取的方式）

2.5.3 特征选择

数据中包含冗余或无关变量（或称特征、属性、指标等），旨在从原有特征中找出主要特征。

当所有样本中都包含有的特征就被认为是冗余特征，所以需要找寻主要特征从而方便识别

方法：

• Filter(过滤式)：主要探究特征本身特点、特征与特征和目标值之间关联
  • 方差选择法：低方差特征过滤
  • 相关系数-特征与特征之间的相关程度
• Embedded (嵌入式)：算法自动选择特征（特征与目标值之间的关联）
  • 决策树:信息熵、信息增益
  • 正则化：L1、L2
  • 深度学习：卷积等

2.5.4 过滤式

        4.1 低方差特征过滤

对于一个特征方差很小的模型，即表示某个特征 样本之间的值比较相近，不利于识别，因此需要去除

调用API：

sklearn.feature_selection.VarianceThreshold(threshold = 0.0)
    删除所有低方差特征
        Variance.fit_transform(X)
        X:numpy array格式的数据[n_samples,n_features]
        返回值：训练集差异低于threshold的特征将被删除。默认值是保留所有非零方差特征，即删除所有        样本中具有相同值的特征。

实例演示： 

import pandas as pd
from sklearn.feature_selection import VarianceThreshold

def variance_demo():
    """
    低方差过滤
    :return:
    """
    #读入数据
    data=pd.read_csv("factor_returns.csv")
    #print(data)
    data=data.iloc[:,1:-2]          #保留有用信息

    #实例化对象
    transfer=VarianceThreshold(threshold=10)        #通过threshold阈值过滤掉不太重要的特征

    #调用
    data_new=transfer.fit_transform(data)
    print("过滤后的结果：\n",data_new)
    print("形状：\n", data_new.shape)

    return None

        4.2相关系数

• 皮尔逊相关系数(Pearson Correlation Coefficient):反映变量之间相关关系密切程度的统计指标

相关系数的值介于–1与+1之间，即–1≤ r ≤+1。其性质如下：

• 当r>0时，表示两变量正相关，r<0时，两变量为负相关
• 当0<|r|<1时，表示两变量存在一定程度的相关。且|r|越接近1，两变量间线性关系越密切；|r|越接近于0，表示两变量的线性相关越弱
• 一般可按三级划分：|r|<0.4为低度相关；0.4≤|r|<0.7为显著性相关；0.7≤|r|<1为高度线性相关

 实例演示：

import pandas as pd
from scipy.stats import pearsonr


def variance_demo():
    """
    低方差过滤
    :return:
    """
    #读入数据
    data=pd.read_csv("factor_returns.csv")
    data=data.iloc[:,1:-2]          #保留有用信息
    #print(data)
    
    #计算两个变量之间的相关系数
    r=pearsonr(data["pe_ratio"],data["pb_ratio"])
    print("相关系数：\n",r)

    return None

 也可以通过绘制散点图更为直观的观察相关系数

import matplotlib.pyplot as plt
plt.figure(figsize=(20, 8), dpi=100)
plt.scatter(data['revenue'], data['total_expense'])
plt.show()

 当相关性很高时：

• 选取其中一个特征
• 加权求和作为一个新的特征
• 主成分分析