Python异常值处理与检测

缺失值处理

pandas判断缺失值一般采用 isnull()，然而生成所有数据的true、false矩阵，对于庞大的数据很难一眼看出缺失数据的位置。

缺失值查看

测试数据采用了随机生成。

>>> import pandas as pd
>>> import numpy as np
>>> df = pd.DataFrame(np.random.randn(10,6))
>>> #生成区域随机数
>>> df.iloc[1:3,1] = np.nan
>>> df.iloc[5,3] = np.nan
>>> df.iloc[7:9,5] = np.nan
>>> df
          0         1         2         3         4         5
0 -0.524651 -0.306484  0.921319 -1.752106 -0.593152 -0.109011
1  0.350563       NaN -0.511227 -0.893392 -0.362926 -0.567714
2 -0.696586       NaN -0.387368  0.431769  0.015262 -1.002748
3  0.029329  0.645159  0.880687  0.002313  0.000143  0.410978
4  1.086453 -0.183210  0.465487  0.204141 -0.827070 -0.227329
5  0.449833  0.870347 -0.285700       NaN -0.116068 -0.061469
6  0.054838 -0.000641 -2.127298 -0.375447  0.463457  0.263546
7  2.932326 -2.227659 -0.559444  0.080580  1.731467       NaN
8  1.417988  0.083318 -0.041332  1.350390 -1.236223       NaN
9 -1.549584  0.156260  0.846521 -0.087683 -0.171236  0.334471

• 判断数据是否存在缺失值：isnull()

>>> #判断是否存在缺失值（矩阵中True表示此位置为缺失值、False表示非缺失值）
>>> df.isnull()
       0      1      2      3      4      5
0  False  False  False  False  False  False
1  False   True  False  False  False  False
2  False   True  False  False  False  False
3  False  False  False  False  False  False
4  False  False  False  False  False  False
5  False  False  False   True  False  False
6  False  False  False  False  False  False
7  False  False  False  False  False   True
8  False  False  False  False  False   True
9  False  False  False  False  False  False

• 判断哪些”列”存在缺失值：isnull().any()

>>> df.isnull().any()
0    False
1     True
2    False
3     True
4    False
5     True
dtype: bool

由此可以看出，第1、3、5列存在缺失值

• 只显示存在缺失值行的数据

>>> df[df.isnull().values==True]
          0         1         2         3         4         5
1  0.350563       NaN -0.511227 -0.893392 -0.362926 -0.567714
2 -0.696586       NaN -0.387368  0.431769  0.015262 -1.002748
5  0.449833  0.870347 -0.285700       NaN -0.116068 -0.061469
7  2.932326 -2.227659 -0.559444  0.080580  1.731467       NaN
8  1.417988  0.083318 -0.041332  1.350390 -1.236223       NaN

只显示存在缺失值的行列，清楚的确定缺失值的位置。

缺失数据处理

对于缺失数据一般处理方法为滤掉或者填充.

• 滤除缺失数据：dropna()

>>> df.dropna()
          0         1         2         3         4         5
0 -0.524651 -0.306484  0.921319 -1.752106 -0.593152 -0.109011
3  0.029329  0.645159  0.880687  0.002313  0.000143  0.410978
4  1.086453 -0.183210  0.465487  0.204141 -0.827070 -0.227329
6  0.054838 -0.000641 -2.127298 -0.375447  0.463457  0.263546
9 -1.549584  0.156260  0.846521 -0.087683 -0.171236  0.334471

以上只显示了非缺失数据。

当只选择行里的数据全部为空时才丢弃时，可向dropna()传入参数how='all'，如果想以同样的方式按列丢弃，可以传入axis=1；

• 填充缺失数据：fillna()

如果不想丢掉缺失的数据而是想用默认值填充这些缺失值，可以使用fillna()函数，如果不想只以某个标量填充，可以传入一个字典如（fillna({})），对不同的列填充不同的值，

• 缺失值较多的特征处理

# 定义工资改变特征缺失值处理函数，将有变化设为Yes，缺失设为No 
def set_salary_change(df):
    df.loc[(df.salary_change.notnull()), 'salary_change'] = 'Yes'
    df.loc[(df.salary_change.isnull(df)), 'salary_change'] = 'No'
    print df 
    pd.df()print df
    return df
data_train = set_salary_change(df)

• 缺失值较少的特征处理

把NaN直接作为一个特征，假设用0表示，实现如下：

df.fillna(0) 

用均值填充

# 将所有行用各自的均值填充 
data_train.fillna(data_train.mean())  
# 也可以指定某些行进行填充
data_train.fillna(data_train.mean()['browse_his', 'card_num']) 

用上下数据进行填充

# 用前一个数据代替NaN：method='pad'
data_train.fillna(method='pad')  
# 与pad相反，bfill表示用后一个数据代替NaN 
data_train.fillna(method='bfill')

用插值法填充

# 插值法就是通过两点（x0，y0），（x1，y1）估计中间点的值 
data_train.interpolate()

用算法拟合进行填充

# 定义browse_his缺失值预测填充函数
def set_missing_browse_his(df):
    # 把已有的数值型特征取出来输入到RandomForestRegressor中
    process_df = df[['browse_his', 'gender', 'job', 'edu', 'marriage', 'family_type']]
    # 乘客分成已知该特征和未知该特征两部分
    known = process_df[process_df.browse_his.notnull()].as_matrix()
    unknown = process_df[process_df.browse_his.isnull()].as_matrix()
    # X为特征属性值
    X = known[:, 1:]
    # y为结果标签值
    y = known[:, 0]
    # fit到RandomForestRegressor之中
    rfr = RandomForestRegressor(random_state=0, n_estimators=2000,  n_jobs=-1)
    rfr.fit(X,y)
    # 用得到的模型进行未知特征值预测
    predicted = rfr.predict(unknown[:, 1::])
    # 用得到的预测结果填补原缺失数据
    df.loc[(df.browse_his.isnull()), 'browse_his'] = predicted
    return df, rfr
    
data_train, rfr = set_missing_browse_his(data_train) 

当然，针对我们这里的数据，我们对那些缺失值不是很大的特征都采用方式5来填补其缺失值。即使用随机森林算法，利用数据表中某些没有缺失的特征属性来预测某特征属性的缺失值。将填补后的数据表保存。