【python机器学习】异常值检测

异常值是指数据中存在的数值明显偏离其余数据的值。异常值的存在会严重干扰数据分析的结果，因此经常要检验数据中是否有输入错误或含有不合理的数据。在利用简单的数据统计方法中，一般常用散点图、箱线图检测异常值。

1、散点图

通过数据分布的散点图可以发现异常值

import numpy as np
import pandas as pd
from numpy import *
wdf = pd.DataFrame(np.arange(20),columns = ['W'])
wdf['Y'] = wdf['W'] * 1.5 + 2
wdf.iloc[3,1] = 128
wdf.iloc[18,1] = 150
wdf.plot(kind = 'scatter',x = 'W',y = 'Y')
plt.show()

输出图：2、

2、利用箱线图分析异常值

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
wdf = pd.DataFrame(np.arange(20),columns = ['W'])
wdf['Y'] = wdf['W'] * 1.5 + 2
wdf.iloc[3,1] = 128
wdf.iloc[18,1] = 150
plt.boxplot(wdf['Y'].values,notch = True)
plt.show()

 

注：要记得加plt.show()，不然图像显示不出来