Pandas 数据清洗&预处理( 一)

稍为记录一下学习

检视数据

import pandas as pd
df = pd.read_csv('C:/Users/a0939/PycharmProjects/get/hotel/shanghai_hotel.csv')
df.head() #查看数据前五行
df.dtypes #查看数据类型
df.shape #数据行列数
df.info() #数据资讯(可查看缺省值)
df.describe() #描述性统计(平均、标准差、最大、最小、分位数)
df['star'].unique() #查看该行列有几种数值

查找空值

df.isnull().any(axis=0) #缺省值，axis=0为列 axis=1为行 默认为0
df.loc[df.isnull().any(axis=1)] #定位缺省值的行列
df.isnull().sum(axis=0) #缺省值数量

#处里空值

da = df.copy()
data = da.dropna() #删除含有缺省值的整行
data.info()

#默认情况下dropna()不会修改原数据，若要修改的话，添加参数inplace = True

data = da.fillna(0, inplace = False) #将缺省值换为0
data.info()

重复数据

da.duplicated().any() #查询有无重复
d =data.drop_duplicates(subset=['name']) #删除重复行、subset为判定重复的依据(例如:名字)
#若需删除源数据，添加参数inplace = True