机器学习-特征工程

outline

• 概念
• 预处理
• 特征选择
• 降维

概念

数据集由数据对象组成，一个数据对象代表一个实体
属性（attribute）是一个数据字段，表示数据对象的一个特征。属性向量（或特征向量）是用来描述一个给定对象的一组属性。
属性的分类：

• 标称属性（nominal attribute）
• 二元属性（binary attribute）
• 序数属性（ordinal attribute）--- 常量表中的某个值
• 数值属性（numerical attribute）= 离散属性 + 连续属性

数据清洗

清洗标注数据，主要是数据采样和样本过滤

数据增强( Data Augmentation)

数据增强是指从给定数据导出的新数据的添加
如CV领域中的图像增广技术

预处理

缺失值的处理

（1）丢弃
（2）均值
（3）上下数据填充
（4）插值法 线性插值
（5）随机森林拟合

标准化和归一化

• 标准化
  标准化是依照特征矩阵的列处理数据，使每个特征中的数值平均变为0(将每个特征的值都减掉原始资料中该特征的平均)、标准差变为1
  基于正态分布假设
  标准化后可能为负
  (X-X_mean)/std

• 归一化
  对每个样本计算其p-范数，再对每个元素除以该范数，这使得每个处理后样本的p-范数（l1-norm,l2-norm）等于1。

• 区间缩放法
  常见的一种为利用两个最值进行缩放

  
  
  

  image.png
  
  

  具有加速收敛的作用,原因如下图：

  
  
  

  clipboard.png

可以使用sklearn中的preproccessing库来进行数据预处理

特征选择

定义： 从给定的特征集合中选择出相关特征子集的过程
两个关键问题:

• 子集搜索
  forward搜索: 逐渐增加相关特征的策略
  backward搜索：逐渐减少特征的策略
  bidirectional搜索
• 子集评价

特征选择方法 = 子集搜索机制 + 子集评价机制

特征选择的作用

• 减少(冗余)特征数量、降维，使模型泛化能力更强，减少过拟合
• 增强对特征和特征值之间的理解

• 去噪

  
  
  

  image.png

过滤式(filter)

特点:特征选择过程和学习器无关
通过特征的某个统计量值来进行排序，选择Top K特征
from sklearn.feature_selection import SelectKBest

• 基于方差
• 基于信息增益
  去除方差较小的特征，譬如某些特征只有一个值

ID3算法在选择节点对应的特征时也是使用信息增益
对于决策树来说，树节点的划分属性所组成的集合就是选择出的特征子集

• Pearson相关系数
  皮尔森相关系数是一种最简单的，能帮助理解特征和响应变量之间关系的方法，该方法衡量的是变量之间的线性相关性，结果的取值区间为[-1，1]，-1表示完全的负相关(这个变量下降，那个就会上升)，+1表示完全的正相关，0表示没有线性相关。

• 互信息量
  互信息(Mutual Information)是度量两个事件集合之间的相关性(mutual dependence)。互信息最常用的单位是bit。
  根据互信息计算公式可得: 当互信息MI=0时，两个变量(两个事件集合)之间相互独立

• χ2统计量(卡方检验)
  χ²检验用来检验两个事件的独立性。
  χ2 值越大，则表明实际观察值与期望值偏离越大，也说明两个事件的相互独立性越弱。

wrapper

特点：将后续学习器的性能作为特征子集的评价准则
将子集的选择看作是一个搜索寻优问题，生成不同的组合，对组合进行评价，再与其他的组合进行比较
启发式算法

from sklearn.feature_selection import RFE

• Las Vegas Wrapper(LVW)
  在LVW中，特征子集搜索采用了随机策略，然后训练学习器进行交叉校验。

• 基于学习模型的特征排序
  这种方法的思路是直接使用你要用的机器学习算法，针对每个单独的特征和响应变量建立预测模型。交叉验证后，根据分数值对特征进行排序。
  特征和响应变量之间的关系是线性：线性回归
  假如某个特征和响应变量之间的关系是非线性的，可以用基于树的方法（决策树、随机森林）、或者扩展的线性模型等

embedding

特点：特征选择过程与学习训练过程融为一体，两者在同一个优化过程中完成，即在学习器训练过程中自动地进行了特征选择
from sklearn.feature_selection import SelectFromModel

L1和L2范数都有助于降低过拟合风险

L1正则化/Lasso

L1正则化将系数w的l1范数作为惩罚项加到损失函数上，由于正则项非零，这就迫使那些弱的特征所对应的系数变成0
防止过拟合
更容易获得系数解

image.png

L2正则化/Ridge regression岭回归

L2正则化对于特征理解来说更加有用：表示能力强的特征对应的系数是非零

降维

定义：通过某种数学变化将原始高维属性空间转变为低维子空间(subspace)
低维嵌入(三维-->二维)：

image.png

降维方法分类

image.png

PCA

from sklearn.decomposition import PCA

参考资料

<机器学习>第10章降维与度量学习-周志华
<机器学习>第11章特征选择和稀疏学习-周志华
结合Scikit-learn介绍几种常用的特征选择方法
机器学习之特征选择
Sklearn数据预处理：scale, StandardScaler, MinMaxScaler, Normalizer
机器学习中，有哪些特征选择的工程方法？
知乎特征工程总结