pandas用众数填充缺失值_【Python】【数据处理】2 如何用python清洗与整理数据

一 数据清理/处理

1. 缺失值

# 数据导入后了解数据的三板斧：
df.shape()      #数据有几行几列
df.info()        #基本信息，可以看到缺失值
df.describe()    #描述统计
# 缺失值/非缺失值总计
df.isnull().sum()     #按行汇总缺失值数
df.isnull().sum().sum()   #缺失值总计
df.notnull().sum()    #按行汇总非缺失值数
df.notnull().sum()      #非缺失值总计

缺失值处理的一般方法：

1）删除df.dropna()

2）填充(多见于数据挖掘)：平均数/众数/中位数df.fillna(数字)

2重复值

重复值检测 df.duplicated()

重复值处理：

1) 删除df.drop_duplicates()

2) 替换 df.replace(‘原内容’,’新内容’)

3 异常值

4 增加计算字段（列）与删除列

二．字符串处理

1 str.split()的各种情况

str.split()的结果是一个列表list

2.分列的两种方法

法一 str方法

法二 apply()

3.用正则表达式分列 df[‘列名’].str.findall(正则表达式)

正则表达式

又规则表达式（Regular Expression，简写为regex）

三．表格转换

1行列转换

2 表联结 pd.merge(df1,df2)

Pandas的pd.merge()和sql里面的join有异曲同工之妙，都是用来做表联结的

网上找了张图：

这里主要的区别应该是how=’outer’ 的时候，对应的是SQL里面的full outer join，即并集。

【Tips】

df2.dropna? #方法后面加”?”可以查参数

tab键查看下拉菜单里面的命令提示