机器学习对异常值处理方法

机器学习对异常值的处理方法

背景

实际应用中，数据往往存在异常值，面对异常值，我们主要有几种思路：把异常值去掉，用其他数值代替异常值，对异常值进行变换。

1.异常值检测方法

1.1 box plot

使用分位数Q1 、Q3，设置控制线，在控制线外的就当做异常值。

Interquartile range is given by, IQR = Q3 — Q1

Upper limit = Q3+1.5*IQR

Lower limit = Q1–1.5*IQR

2.异常值处理方法

2.1 Winsorizing

这种方法把值（0.05,0.95）外的值使用这个区间的最小或最大值代替。

2.2 去除法

使用IQR或者其他方法检测异常值后，直接去除

2.3 变换法

使用 log 变换，改变原来变量的分布。

几种处理方法效果比较:

---

reference

1. 异常值处理方法;