国科大数据挖掘实训——数据预处理之数据清洗

1. import numpy as np
2. import pandas as pd
3. #读取数据
4. df=pd.read_csv('/data/workspace/myshixun/step1/train.csv')
7. ##### begin #####
8. #查看列中是否存在空值
9. temp=df.isnull().any()
10. print(temp)
12. #使用SimpleImputer取出缺失值所在列的数值，sklearn当中特征矩阵必须是二维才能传入 使用reshape(-1,1)升维
13. age=df['Age'].values.reshape(-1,1)
14. #导入模块
15. from sklearn.impute import SimpleImputer
16. #实例化，均值填充,可改变strategy参数，实现其他填充方式
17. imp_mean=SimpleImputer(missing_values=np.nan,strategy='mean')
18. #fit_transform一步完成调取结果
19. imp_mean=imp_mean.fit_transform(age)
20. #填充好的数据传回到 data['Age']列
21. df_fillna=df
22. df_fillna['Age']=imp_mean
23. #检验是否还有空值，为0即说明空值均已被填充
24. print(df_fillna['Age'].isnull().sum())
25. ##### end #####
28. imp_mean=SimpleImputer(missing_values=np.nan,strategy='mean')
29. imp_mean=imp_mean.fit_transform(age)
30. df_fillna=df
31. df_fillna['Age']=imp_mean
33. #正太分布离群点检测
34. ##### begin #####
35. #计算均值
36. u=df['Age'].mean()
37. #计算标准差
38. std=df['Age'].std()
39. #识别异常值
40. error = df[np.abs(df['Age'] - u) > 3 * std ]
41. ##### end #####
42. print(error)