基础的数据清洗操作——jupyter

基于jupyter的基础数据清洗操作，内容涵盖重复值查找与删除、数值替换、过滤缺失值、填充缺失值

import pandas as pd
import numpy as np
data = pd.DataFrame({'k1':['one']*3 + ['two']*2, 'k2':[1,1,2,3,3]})
data

重复值查找与删除

data.duplicated()#请注意哪个值被认为是重复的   第一次出现被认为不是重复，第二次出现才认为是重复的（默认根据行判断）

data[~data.duplicated()]#请注意哪个值被认为是重复的

data.drop_duplicates()

data.drop_duplicates('k1')#根据K1的值进行处理 删掉K1里重复的值（默认行）

data['k3'] = 1
data

data.drop_duplicates(['k2','k3'])#根据K2和K3两列删掉重复的值

数值替换

data.replace(2,np.nan)#元素2用nan代替

data.replace([2,3],np.nan)#元素2和元素3用nan代替

data.replace({2:np.nan,3:100})#2用nan代替，元素3用100代替

过滤缺失值

data = pd.Series([2, np.nan, 4, np.nan,8.5])
data

#缺失值的判断
data.isnull()

data.notnull()

data.dropna()

data[data.notnull()]

data = pd.DataFrame(np.random.randn(4,3),index = list('abcd'),columns=['aa','bb','cc'])
data.iloc[1:,:2] = np.nan #1行之后的所有行，2列之前所有列（2不包括，：前包括后不包括）
data.iloc[1,2] = np.nan#1行2列的值用nan代替
data

cleaned = data.dropna()#将只要有nan的行全部删除
cleaned

cleaned = data.dropna(how = 'all')#将某行全部为nan的行，才删除
cleaned

data.iloc[0,0] = np.nan
data

data.dropna(how='all',axis =1)#删除全为nan的列（axis =1）

填充缺失值

data：

data.fillna(0)

data.fillna({'aa': 0, 'bb': 100})#将aa中的nan用0代替，bb中的nan用100

data = pd.Series([2, np.nan, 4, np.nan,8.5])
data.fillna(data.mean())      #取data的平均值填充空值