侦测遗失值
# coding: utf-8
# ## 检测缺失值
# In[2]:
import pandas as pd
import numpy as np
df = pd.DataFrame([ ['frank', 'M', np.nan], ['mary' , np.nan, np.nan], ['tom' , 'M', 35], ['ted' , 'M', 33], ['jean' , np.nan, 21], ['lisa' , 'F', 20]])
df.columns = ['name', 'gender', 'age']
df
# In[38]:
df.isnull()
# In[4]:
# 检查是否含有缺失值（每个元素）
df['gender']
# In[6]:
df['gender'].isnull() # 返回一个boolean 的矩阵
# In[13]:
# （某字段）
df.name.isnull().any() # =可迭代对象是否有一个是True，all 相反
# In[23]:
df.gender.isnull().any()
# In[30]:
df.isnull().any()
# In[31]:
df.isnull().values.any() # 先将序列转为 numpy.ndarray，在判断是否有缺失值
# In[33]:
# 检测缺失值的个数
df.gender.isnull().sum()
# In[35]:
df.isnull().sum()
# In[39]:
df.isnull().values.sum()
处理遗失值
1. 当缺失值数量很低时：直接舍弃对应行
2. 其他：使用mean，median，mode，等描述性统计值补齐缺失值
3. 内插法 ：interpolate 官方文档
# coding: utf-8
# In[2]:
import pandas as pd
import numpy as np
df = pd.DataFrame([ ['frank', 'M', np.nan], ['mary' , np.nan, np.nan], ['tom' , 'M', 35], ['ted' , 'M', 33], ['jean' , np.nan, 21], ['lisa' , 'F', 20]])
df.columns = ['name', 'gender', 'age']
df
# ## 删除缺失值
# In[4]:
df.dropna() # 只要有nan的值就直接舍去该行
# In[9]:
df.dropna(how='all') # 缺失所有变量的行，舍去
# In[11]:
df.dropna(thresh=2) # 缺失变量超过2个，舍去
# In[13]:
# 处理列
df['employee'] = np.nan
df
# In[16]:
df.dropna(axis=1, how='all') # 对于列
# ## 填补缺失值
# In[18]:
df.fillna(0)
# In[22]:
df['age'].fillna(df['age'].mean())
# In[28]:
df.groupby('gender')['age'].mean() # n 进 g 出
# In[35]:
'''
分组 -> 拿出变量（列） -> 计算 - > n 进 n 出
'''
df.groupby('gender')['age'].transform('mean')
# In[36]:
df['age'].fillna(df.groupby('gender')['age'].transform('mean'), inplace=True) #在原数据集操作
df
# In[38]:
# 向前向后补齐
df['age'].fillna(method='ffill')
# In[44]:
df['age'].fillna(method='bfill', limit=1) # limit限制每列可以被替代NaN的数目
# ## 内插法
# In[45]:
df2 = pd.DataFrame([[1, 870], [2, 900], [np.nan, np.nan], [4, 950], [5,1080], [6,1200]])
df2.columns = ['time', 'val']
df2
# In[47]:
df2.interpolate()
