Pandas数据清洗总结

# 导入

import numpy as np

import pandas as pd

# 查看版本

pd.__version__

文本文件的读取： 对于csv或txt后缀的文本文件，用read_csv函数来实现文件的导入。重要参数的含义如下

pd.read_csv(file_path_or_buffer, #指定导入文件的具体路径

sep = ', ', # 指定元数据中各种变量之间的分割符，默认是逗号，可自行修改

header='infer' , #默认将数据集首行作为表头(列名)，若原数据集无表头则设置为header=None

names=None， # 若原数据集中无变量名称 ， 可通过该参数在数据读取时设定

index_col = None, # 指定将某些行作为行索引

usecols = None， # 指定需要读取的变量名

converters = None , # 通过字典格式，为数据集中的某些变量设置不同的数据

skiprows = None, # 数据读取时，指定需要跳过原数据集的起始行数

skipfooter = 0， # 读取数据时，指定需要跳过原数据集的末尾行数

nrows = None, # 指定数据读取的行数

comment = None，# 指定注释符，读取数据时遇到行首指定的注释符则跳过该行

encoding = None， # 设置编码方式，解决中午乱码问题 （通常设置为utf-8或给gbk）)

数据读取进来之后形成的表格在pandas中称为DataFrame，这是一个带有索引的二维数据结构，每一行都有索引，数据读取进来的时候会生成从0开始的整数索引

pd.read_excel() 读取xls、xlsx后缀的excel电子表格数据 和read_csv一样

# 数据探索

df.head() # 查看导入数据的前五行  # df.head(10)  看前十行

df.tail(7) # 查看数据的后七行

df.shape # 查看数据的规模

df.index # 查看数据的行索引

df.columns # 查看数据列名

df.info() # 查看整体信息

df.describe() # 进行简单描述统计 

df.isnull() # 查看数据集是否有缺失值

df.isnull().sum() # 对缺失值进行统计 每一个列里面的缺失值都会出来

df.isnull().sum(axis=1) # 对每一行的缺失值统计  axis=1行  axis=0列

df.duplicated() # 查看数据集是否有重复值

# 数据选取

提取某列 df["gender"]

注意 提取出来的单列或者单行是另一种数据类型 series 也是带有名称和索引的一维数组

提取行 df[5:11] 左闭右开 5到10行

基于标签的索引 loc  l为label  没有左闭右开 直接提取5到10行

df.loc[5:10, ['name', ['age'], ['custom_amt']]]  # 提取五到十行并返回姓名年龄交易额散列

df1 = df.set_index('name')   # 将name这一列作为索引

df1.loc['姓名'， ：] 读取这位用户的全部信息

df.loc[df['age']<20, :] 提取出所有年龄小于20的信息

基于位置的索引 iloc

df.iloc[0:5, 0:3] # 提取前五行前三列的数据

#随机抽样

df.sample(n=None,  # 指定抽样的数量，默认为1

                frac=None, # 按比例进行抽样

                replace=False， # 是否允许抽样样本数量高于数据集的数量

                weights=None， # 样本权重

                random_state=None, # 随机数种子

                axis = None， # 对行采样还是对列采样，默认对行采样)

新增一列 df2.loc[: , "权重"]=W w是一个列表

---

PREVIOUS_MAX_ROW = pd.options.display.max_rows

pd.options.display.max_rows = 20  # 设置显示最大行

np.random.seed(12345)

处理缺失值  NaN: Not a Number NA:Not available

isnull() 判断是否为缺失值

data.dropna()   dropna要用一个新的变量保存 原变量是不会变的

data.fillna(0)  填充缺失值

df.fillna({1:0.5, 2:0}) 第一列填充0.5 第二列填充0

删除重复值

data.duplicated() 判断之前是否出现过

data.drop_duplicates() 删除重复值

data.drop_duplicate(['列名']， keep='last') 删除某一列重复值 保留最后一个