Python数据清洗之处理缺失值
一、缺失值的处理
1.常用方法
- dropna
import numpy as np
import pandas as pd
string_data = pd.Series(['apple','banana',np.nan,'orange'])
print(string_data.dropna())
这样可去除含有NA的一行
0 apple
1 banana
3 orange
dtype: object
- fillna
string_data = pd.Series(['apple','banana',np.nan,'orange'])
print(string_data.fillna(1))
输出结果会将NA填充为括号内的值
0 apple
1 banana
2 1
3 orange
dtype: object
另外，传入参数method=‘ffill’，可以将NA填充为前一行的值
0 apple
1 banana
2 banana
3 orange
dtype: object
同理，传入method=‘bfill’，将NA填充为后一行的值
0 apple
1 banana
2 orange
3 orange
dtype: object
- isnull
该方法返回哪些值是缺失值的布尔值
string_data = pd.Series(['apple','banana',np.nan,'orange'])
print(string_data.isnull())
0 False
1 False
2 True
3 False
dtype: bool
- notnull
与isnull互为反函数
string_data = pd.Series(['apple','banana',np.nan,'orange'])
print(string_data.notnull())
0 True
1 True
2 False
3 True
dtype: bool
2.过滤缺失值
dropna默认情况下会删除包含缺失值的行，当处理DataFrame对象时会比Series复杂一些，因为DataFrame既有行又有列，这种情况可以给dropna传入参数来满足不同的需求。
data = pd.DataFrame(np.arange(16).reshape(4,4))
data.iloc[1,1:] = np.nan
data.iloc[2,:] = np.nan
data.iloc[:,3] = np.nan
data[0][3] = np.nan
print(data)
0 1 2 3
0 0.0 1.0 2.0 NaN
1 4.0 NaN NaN NaN
2 NaN NaN NaN NaN
3 NaN 13.0 14.0 NaN
- how
给dropna传入how=‘all’时，将删除所有值均为NA的行
print(data.dropna(how='all'))
0 1 2 3
0 0.0 1.0 2.0 NaN
1 4.0 NaN NaN NaN
3 NaN 13.0 14.0 NaN
- axis
给dropna传入axis=1时，将删除的维度转变为按行删除，即删除列（易搞混）
print(data.dropna(how='all',axis=1))
0 1 2
0 0.0 1.0 2.0
1 4.0 NaN NaN
2 NaN NaN NaN
3 NaN 13.0 14.0
- thresh
df = pd.DataFrame(np.arange(21).reshape(7,3))
df.iloc[:4,1] = np.nan
df.iloc[:2,2] = np.nan
print(df)
0 1 2
0 0 NaN NaN
1 3 NaN NaN
2 6 NaN 8.0
3 9 NaN 11.0
4 12 13.0 14.0
5 15 16.0 17.0
6 18 19.0 20.0
给dropna传入thresh=2，将输出至少含2个非NA值的行
print(df.dropna(thresh=2))
0 1 2
2 6 NaN 8.0
3 9 NaN 11.0
4 12 13.0 14.0
5 15 16.0 17.0
6 18 19.0 20.0
3.补全缺失值
大多数情况下，主要使用fillna来补全缺失值，下面介绍fillna的参数。
- Value
调用fillna时，可以使用一个常数/字符串来替代缺失值
df = pd.DataFrame(np.arange(21).reshape(7,3),dtype=float)
df.iloc[:4,1] = np.nan
df.iloc[:2,2] = np.nan
print(df.fillna(99))
0 1 2
0 0.0 99.0 99.0
1 3.0 99.0 99.0
2 6.0 99.0 8.0
3 9.0 99.0 11.0
4 12.0 13.0 14.0
5 15.0 16.0 17.0
6 18.0 19.0 20.0
调用fillna时使用字典，可以为不同列设定不同的填充值
print(df.fillna({1:22,2:33}))
0 1 2
0 0.0 22.0 33.0
1 3.0 22.0 33.0
2 6.0 22.0 8.0
3 9.0 22.0 11.0
4 12.0 13.0 14.0
5 15.0 16.0 17.0
6 18.0 19.0 20.0
- method
给fillna传入method=‘ffill’或method=‘bfill’，将NA值填充为前一行值或后一行值，如果没有其他参数，默认是‘ffill’
print(df.fillna(method='bfill'))
0 1 2
0 0.0 13.0 8.0
1 3.0 13.0 8.0
2 6.0 13.0 8.0
3 9.0 13.0 11.0
4 12.0 13.0 14.0
5 15.0 16.0 17.0
6 18.0 19.0 20.0
- axis
给fillna传入axis=1，将填充方向转变为按列填充，即横向填充（这里极易搞混），若无规定，默认为axis=0
print(df.fillna(method='ffill',axis=1))
0 1 2
0 0.0 0.0 0.0
1 3.0 3.0 3.0
2 6.0 6.0 8.0
3 9.0 9.0 11.0
4 12.0 13.0 14.0
5 15.0 16.0 17.0
6 18.0 19.0 20.0
- limit
给fillna传入limit参数用于规定前向或后向填充时的最大的填充范围
print(df.fillna(method='ffill',axis=1,limit=1))
0 1 2
0 0.0 0.0 NaN
1 3.0 3.0 NaN
2 6.0 6.0 8.0
3 9.0 9.0 11.0
4 12.0 13.0 14.0
5 15.0 16.0 17.0
6 18.0 19.0 20.0
- inplace
fillna默认返回的是一个新的对象，如果想要修改原对象，则要传入参数inplace=True
_ = df.fillna(22,inplace=True)
print(df)
0 1 2
0 0.0 22.0 22.0
1 3.0 22.0 22.0
2 6.0 22.0 8.0
3 9.0 22.0 11.0
4 12.0 13.0 14.0
5 15.0 16.0 17.0
6 18.0 19.0 20.0