机器学习 - 特征选择
学习目标
- 知道特征选择的嵌入式、过滤式以及包裹氏三种方式
- 应用VarianceThreshold实现删除低方差特征
- 了解相关系数的特点和计算
- 应用相关性系数实现特征选择
1 降维
降维是指在某些限定条件下，降低随机变量(特征)个数，得到一组“不相关”主变量的过程
- 降低随机变量的个数
- 相关特征(correlated feature)：相对湿度与降雨量之间的相关等等
正是因为在进行训练的时候，我们都是使用特征进行学习。如果特征本身存在问题或者特征之间相关性较强，对于算法学习预测会影响较大
2 降维的两种方式
- 特征选择
- 主成分分析（可以理解一种特征提取的方式）
3 什么是特征选择
3.1 定义
数据中包含冗余或无关变量（或称特征、属性、指标等），旨在从原有特征中找出主要特征。
3.2 方法
- Filter(过滤式)：主要探究特征本身特点、特征与特征和目标值之间关联
- 方差选择法：低方差特征过滤
- 相关系数
- Embedded (嵌入式)：算法自动选择特征（特征与目标值之间的关联）
- 决策树:信息熵、信息增益
- 正则化：L1、L2
- 深度学习：卷积等
- Wrapper (包裹式)
3.3 模块
sklearn.feature_selection
4 过滤式
4.1 低方差特征过滤
删除低方差的一些特征，前面讲过方差的意义。再结合方差的大小来考虑这个方式的角度。
- 特征方差小：某个特征大多样本的值比较相近
- 特征方差大：某个特征很多样本的值都有差别
4.1.1 API
- sklearn.feature_selection.VarianceThreshold(threshold = 0.0)
- 删除所有低方差特征
- Variance.fit_transform(X)
- X:numpy array格式的数据[n_samples,n_features]
- 返回值：训练集差异低于threshold的特征将被删除。默认值是保留所有非零方差特征，即删除所有样本中具有相同值的特征。
4.1.2 数据计算
我们对某些股票的指标特征之间进行一个筛选
一共这些特征
pe_ratio,pb_ratio,market_cap,return_on_asset_net_profit,du_return_on_equity,ev,earnings_per_share,revenue,total_expense
index,pe_ratio,pb_ratio,market_cap,return_on_asset_net_profit,du_return_on_equity,ev,earnings_per_share,revenue,total_expense,date,return
0,000001.XSHE,5.9572,1.1818,85252550922.0,0.8008,14.9403,1211444855670.0,2.01,20701401000.0,10882540000.0,2012-01-31,0.027657228229937388
1,000002.XSHE,7.0289,1.588,84113358168.0,1.6463,7.8656,300252061695.0,0.326,29308369223.2,23783476901.2,2012-01-31,0.08235182370820669
2,000008.XSHE,-262.7461,7.0003,517045520.0,-0.5678,-0.5943,770517752.56,-0.006,11679829.03,12030080.04,2012-01-31,0.09978900335112327
3,000060.XSHE,16.476,3.7146,19680455995.0,5.6036,14.617,28009159184.6,0.35,9189386877.65,7935542726.05,2012-01-31,0.12159482758620697
4,000069.XSHE,12.5878,2.5616,41727214853.0,2.8729,10.9097,81247380359.0,0.271,8951453490.28,7091397989.13,2012-01-31,-0.0026808154146886697
分析
- 初始化VarianceThreshold,指定阀值方差
- 调用fit_transform
def var():
"""
删除所有低方差特征
:return:
"""
data = pd.read_csv("./data/factor_regression_data/factor_returns.csv")
# 删除方差小于1.0的列
var = VarianceThreshold(threshold=1.0)
data = var.fit_transform(data.iloc[:, 1:10])
return None
4.2 相关系数
- 皮尔逊相关系数(Pearson Correlation Coefficient)
- 反映变量之间相关关系密切程度的统计指标
4.2.1 公式计算案例(了解，不用记忆)
- 公式
- 比如说我们计算年广告费投入与月均销售额
那么之间的相关系数怎么计算
最终计算：
= 0.9942
所以我们最终得出结论是广告投入费与月平均销售额之间有高度的正相关关系。
4.2.2 特点
相关系数的值介于–1与+1之间，即–1≤ r ≤+1。其性质如下：
- 当r>0时，表示两变量正相关，r<0时，两变量为负相关
- 当|r|=1时，表示两变量为完全相关，当r=0时，表示两变量间无相关关系
- 当0<|r|<1时，表示两变量存在一定程度的相关。且|r|越接近1，两变量间线性关系越密切；|r|越接近于0，表示两变量的线性相关越弱
- 一般可按三级划分：|r|<0.4为低度相关；0.4≤|r|<0.7为显著性相关；0.7≤|r|<1为高度线性相关
这个符号：|r|为r的绝对值， |-5| = 5
4.2.3 API
- from scipy.stats import pearsonr
- x ： (N,) array_like
- y ： (N,) array_like Returns: (Pearson’s correlation coefficient, p-value)
4.3 案例：股票的财务指标相关性计算
我们刚才的股票的这些指标进行相关性计算， 假设我们以
factor = ['pe_ratio','pb_ratio','market_cap','return_on_asset_net_profit','du_return_on_equity','ev','earnings_per_share','revenue','total_expense']
这些特征当中的两两进行计算，得出相关性高的一些特征
分析
- 两两特征之间进行相关性计算
data = pd.read_csv("./data/factor_regression_data/factor_returns.csv")
for i in range(len(factor)):
for j in range(i, len(factor)-1):
print("指标%s与指标%s之间的相关性大小为%f" % (factor[i], factor[j+1], pearsonr(data[factor[i]], data[factor[j+1]])[0]))
从中我们得出
- 指标revenue与指标total_expense之间的相关性大小为0.995845
- 指标return_on_asset_net_profit与指标du_return_on_equity之间的相关性大小为0.818697
我们也可以通过画图来观察结果
import matplotlib.pyplot as plt
plt.scatter(data['revenue'], data['total_expense'])
plt.show()
这两对指标之间的相关性较大，可以做之后的处理，比如合成这两个指标。