特征工程之缺失值与离群值处理

缺失值处理方式

1. 删除

2. 均值
   缺点：当缺失数据不是随机数据时会产生偏差.对于正常分布的数据可以使用均值代替，

3. 中位值
   数据是倾斜的，使用中位数比均值可能更好。

4. 插值法
   随机插值--随机选取一个样本的值
   拉格朗日插值和牛顿插值
   相关变量预测插值--通过与缺失变量关系相关性大的变量， 来预测相关值。

5. 相似样本值
   找到和缺失样本类似的样本， 缺失样本所丢失的属性用相似样本的值替代。

6. 用回归或者决策树等，小范围属性列表构建模型判断缺失值， 个人感觉只适合较为重要的列属性缺失值预估。

离群值

离群值简单理解就是和大多数数据相差比较多的点。下面从两个方面

离群值的识别

1.画图， 非常直观

2.正态分布的3a原则
如果数据服从正态分布（如何看数据是否正态分布）， 如果值超过平均值的3倍标准差的值被认为离群值。如果不服从正态分布， 则用偏离平均值多少倍来衡量。

3.箱型图识别异常值。利用数据中的五个统计量：最小值、第一四分位数、中位数、第三四分位数与最大值来描述数据的一种方法，它也可以粗略地看出数据是否具有有对称性，分布的分散程度等信息。
第一四分位数(Q1):表示全部观察值中有四分之一的数据取值比它小.
第三四分位数(Q3)，表示全部观察值中有四分之一的数据取值比它大；
IQR为四分位数间距，是上四分位数QU与下四分位数QL的差值，包含了全部观察值的一半。
如下图（来自百度经验）所示，如果值小于Q1-1.5IQR， 或者大于Q3 + 1.5IQR，认为数据为异常值。

箱型图

4.Z-score
Z-score又称为标准分数（Standard Score）， 可用来帮助识别异常值。Z-score的值求取如下：

Paste_Image.png

建议将Z分数低于-3或高于3的数据看成是异常值。这些数据的准确性要复查，以决定它是否属于该数据集。计算Z值时需要“母体”的平均值和标准差，而不是“样本”的平均值和标准差。因此需要了解母体的统计数据资料。但是要确实了解母体真正的标准差往往是不切实际的。

离群值的处理

离群值的处理和缺失值方式类似，可以把离群值当成缺失值处理。
1.删除
2.中位值或者均值
3.差值法
4.相似样本

参考文档
http://www.cnblogs.com/charlotte77/p/5606926.html