机器学习中的特征工程

一、前言

数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。特征工程指的是把原始数据转变为模型的训练数据的过程，它的目的就是获取更好的训练数据特征，使得机器学习模型逼近这个上限。

 

构建一个算法模型需要几个步骤，包括数据准备、特征工程、模型构建、模型调优等，其中特征工程是最重要的步骤，需要 70% 甚至以上的工作量。特征工程主要包括数据预处理、特征选择、特征构造、特征降维等。

通过总结和归纳的特征工程包括以下方面：

 

二、数据预处理

数据预处理是特征工程的最重要的起始步骤，主要包括数据清洗、特征归一化、特征编码、特征离散化等。

 

2.1 数据清洗

数据清洗是数据预处理阶段的主要组成部分，主要包括缺失值处理、异常值处理、样本不平衡处理等。

 

2.1.1 缺失值处理

一般来说，未经处理的原始数据中通常会存在缺失值，因此在建模训练之前需要处理好缺失值。

 

1）缺失数据占比小于 20%。可以通过直接填充法，连续特征一般取均值填充，离散特征可以取众数填充；可以模型预测法，通过随机森林或者决策树进行预测结果填充；也可以通过插值法填充