约定:
import pandas as pd
import numpy as np
from numpy import nan as NaN
pandas的设计目标之一就是使得处理缺失数据的任务更加轻松些。pandas使用NaN作为缺失数据的标记。
使用dropna使得滤除缺失数据更加得心应手。
处理DataFrame对象比较复杂,因为你可能需要丢弃所有的NaN或部分NaN。
df1=pd.DataFrame([[1,2,3],[NaN,NaN,2],[NaN,NaN,NaN],[8,8,NaN]])
代码结果:
>>> df1
0 1 2
0 1.0 2.0 3.0
1 NaN NaN 2.0
2 NaN NaN NaN
3 8.0 8.0 NaN
默认滤除所有包含NaN:
>>> df1.dropna()
0 1 2
0 1.0 2.0 3.0
传入how=’all’滤除全为NaN的行:
>>> df1.dropna(how='all')
0 1 2
0 1.0 2.0 3.0
1 NaN NaN 2.0
3 8.0 8.0 NaN
传入axis=1滤除列:
>>> df1[3]=NaN
>>> df1
0 1 2 3
0 1.0 2.0 3.0 NaN
1 NaN NaN 2.0 NaN
2 NaN NaN NaN NaN
3 8.0 8.0 NaN NaN
>>> df1.dropna(axis = 1,how='all')
0 1 2
0 1.0 2.0 3.0
1 NaN NaN 2.0
2 NaN NaN NaN
3 8.0 8.0 NaN
传入thresh=n滤除n行:
>>> df1.dropna(thresh=1)
0 1 2 3
0 1.0 2.0 3.0 NaN
1 NaN NaN 2.0 NaN
3 8.0 8.0 NaN NaN
>>> df1.dropna(thresh=3)
0 1 2 3
0 1.0 2.0 3.0 NaN
ref:Pandas详解十之Dropna滤除缺失数据