python的pandas异常值处理（Z-score方法）

一、构建包含异常值的矩阵

import pandas as pd
import matplotlib.pyplot as plt
#构建包含异常值的矩阵
df=pd.DataFrame([[1,12],[120,17],[3,31],[5,53],[2,22],[12,32],[13,43]],columns=['col1','col2'])
df

输出：

 

二、画图

#散点图
plt.scatter(df['col1'],df['col2'])
plt.show()

输出：

 

从表中，我们暂时可以判断120为离群值（异常点）。

三、通过Z-Score法判断异常值

df_zscore=df.copy() #复制一个用来存储Z-score得分的数据框
df_zscores=(df_zscore-df_zscore.mean())/df_zscore.std()  #0-1标准化法
df_zscores.abs()>2.2  #标准化的绝对值大于2.2即为异常点

输出：

注意：对于有固定业务规则的可直接套用业务规则，而对于没有业务规则的，可以采用常见的数学模型进行判断，即基于概率分布的模型（例如正态分布的标准差范围）、基于聚类的方法（例如kmeans）、基于密度的方法（例如LOF）、基于分类的方法（例如KNN）、基于统计的方法（例如分位数）等，此时异常值的定义带有较强的主观判断色彩，具体情况具体分析。