python数据探索

 

数据质量分析 
脏数据包括：缺失值；异常值；不一致的值；重复数据及含有特殊符号的数据； 
1.缺失值处理 
统计缺失率，缺失数 
2.异常值处理 
（1）简单统计量分析 
（2）3Q原则 
正态分布情况下，小概率事件为异常值 
不服从正太分布的，可以用原离平均值多少倍标准差来分析 
（3）箱线图分析 
使用describe()描述

 

主要数据探索函数 
1.Pandas常用函数总结

 

导入数据

 

导出数据

查看、检查数据

数据选取

数据清理

    dataframe处理NAN值

    data_3=data_3.where(data_3.notnull(),0)

   dataframe类型转换

    data_3['Var5']=data_3['Var5'].astype(float)

数据处理：Filter 、Sort 和 GroupBy

查看具体有哪几个值
ids = [1,4,3,3,4,2,3,4,5,6,1]
news_ids = list(set(ids))
news_ids.sort(ids.index)

 

数据合并、数据统计 

2.拓展统计特征函数

累计统计特征函数

• cumsum ：依次给出前1-n个数的和
• cumprod： 依次给出前1-n个数的积
• cummax： 依次给出前1-n个数的最大值
• cummin： 依次给出前1-n个数的最小值
• rolling_sum(): 总和(按列)
• rolling_mean(): 算数平均值
• rolling_var(): 方差
• rolling_std(): 标准差
• rolling_corr(): 相关系数矩阵
• rolling_cov(): 协方差矩阵
• rolling_skew():偏度(三阶矩)
• rolling_kurt(): 峰度(四阶矩)