快乐学Python,如何对数据进行清洗?(缺失值处理和重复值删除)

上一篇文章中,我们介绍了通过pandas读取数据到DataFrame中之后,对DataFrame中数据的操作方式,这篇文章我们继续来介绍:数据清洗。即:当读取的数据出现缺失或异常时,我们如何对缺失的数据进行预处理。

1、缺失值是什么?

当我们从数据文件(CSV、Excel等)或者其他数据源加载到 DataFrame 中时,往往会遇到某些单元格的数据是缺失的。当我们打印出 DataFrame 时,缺失的部分会显示为 NaN, 或者 None,或者 NaT(取决于单元格的数据类型),这样的值我们就称之为缺失值。

比如下面的数据: 快乐学Python,如何对数据进行清洗?(缺失值处理和重复值删除)_第1张图片

从图中我们可以看出,几个同学都或多或少存在缺失值,比如小王,听力和口试都是没有成绩的,不管是什么原因导致的(可能是作弊),对我们算班级平均分的时候都是有影响的。所以,我们在处理数据的时候,需要使用一些策略来对这些缺失的数据进行补充或者是剔除。

下面,我们来通过程序的方式查询一下这些缺失的数据。

2、甄别缺失值

既然知道了数据里有缺失值,那我们就可以根据实际需要,来甄别表里有哪些缺失值。方式如下:

①按单元格查看:DataFrame 提供了 isna 函数,isna 函数返回一个新的 DataFrame, 行数和列数和原 DataFrame 相同,新的 DataFrame 全部由布尔型数据组成,原 DataFrame 的单元格的数据是缺失值的话,在新的 DataFrame 对应位置的单元格就是 True,否则为 False。

# 调用 isna 函数,并查看结果

df_scores.isna()

快乐学Python,如何对数据进行清洗?(缺失值处理和重复值删除)_第2张图片

②按列查看:由于现实项目中的 DataFrame 往往很大,我们不可能逐一去看 DataFrame 每个单元格是 True 还是 False,所以更常见的查看手段就是按列聚合缺失值的数量。我们只需要在 isna 函数的基础上再调用一次 sum 函数,即可实现按列聚合。

# 按列聚合缺失值并查看

df_scores.isna().sum()

③按行查看:既然可以按列查看,自然也是可以按行查看的。按行查看可以帮助我们了解某个同事的缺失值情况。按行查看的实现方式和按列类似,只需要在 sum 函数的参数中传入 1 即可。

# 按行聚合缺失值并查看

df_scores.isna().sum(1)

④查询有缺失值的列:我们希望单独将有缺失值的列过滤出来,查看大概情况,这时候配合使用 isna 函数和 loc 函数就可以实现。

# 行索引部分,取所有的行

# 列索引部分,取所有包含缺失值的列

# any 函数类似 sum 函数,但any 函数做的是布尔聚合,当列有一个或以上的 True 时,结果就是 True, 否则为 False

df_scores.loc[:, df_scores.isna().any()]

⑤查询有缺失值的行:如果我们想过滤出有缺失值的行,同样也可以通过 loc 配合 isna 实现

# 行索引部分,通过 any(1) 来聚合行维度的结果

# 列索引部分,取所有的列

df_scores.loc[df_scores.isna().any(1),:]

⑥统计表中有缺失值的总个数:对 isna 返回的布尔 DataFrame 做 sum,则可以得到各列各行有多少个缺失值,如果再对这个结果再做一次 sum,则可以得到整个 DataFrame 包含多少个缺失值。

df_scores.isna().sum().sum()

2、处理缺失值

当我们按照需要查询出了表中的缺失值,那就需要对缺失的数据进行处理了,处理的方式无非就是要么补全,要么删除。但是不管是补全还是删除,都需要一些规则来统一处理。Python中也有类似方法,具体如下:

(1)删除缺失值

pandas 的 DataFrame 提供了一个强大的删除缺失值的方法:dropna, 通过传入恰当的参数,我们可以灵活地删除部分或者全部的缺失值。

①删除有缺失值的行

df_scores.dropna()

②删除有缺失值的列

df_scores.dropna(axis = 1)

③删除少于X个正常值的行:这里解释一下,比如开篇的数据,小李有三个缺失值,如果我们要删除少于2个正常值的行,那肯定就要把小李的成绩给删掉了。

# 删除正常值小于 2 个的行

df_scores.dropna(thresh=2)

④根据权重删除行:比如在成绩里,比较重视听力的成绩,那么听力成绩为空的,就直接删除掉就行了。总体思路就是:根据某一项的权重来做删除依据。

# 删除写作一列是缺失值的所有行

df_scores.dropna(subset=["听力"])

(2)补全缺失值

既然有删除,就一定有补全。补全的思路也是根据某一个规则进行补全,具体方式如下:

整体固定值补全:这里的固定值就属于给所有的缺失数据都补全一个值。比如下面代码的意思就是给所有为空的成绩都补全一个33分。这样补全是最简单的,也是最不负责任的。。。

df_scores.fillna(33.0)

②按列补全固定值:这个跟上面的类似,只是范围缩小到了只给某一列补全。下面代码的意思就是给听力字段缺失值补全一个66分。

df_scores_test["听力"] = df_scores_test["听力"].fillna(60.0)

③按行补全固定值:这个就相当于是给学生补全固定值,如下面代码所示,相当于是给小李补全分数,缺失的分数都按50分补全。

df_scores_test.loc["小李",:].fillna("50.0")

④根据最近有效值替换:这个规则比较绕,意思大概就是,如果有个值是空的,那么就会继续往下找,如果下一个是非空值,那么这个非空值就算是最近有效值。如果下一个值也是空的,那么就会继续找下一个值,非空就算是最近有效值。以此反复,找到有效值为止。pandas 中要实现最近有效值填充,给 fillna 函数传入 method 参数即可。代码如下:

df_scores.fillna(method="ffill")

(3)给缺失值推测插值

上面介绍了处理缺失值常用的删除或者是补全,但是基本上都属于简单规则,那么如果想根据已有的值进行推测插值,那么就需要下面的方法了。pandas 提供了 interpolate 函数可以帮助我们直接搞定。

# 调用 interpolate 对 Series 进行插值,默认为线性插值

df_scores.interpolate()

调用之后,从结果上,可以看到绿框的两个缺失值成功替换为了线性插值的版本,而红框部分却仍然是用的最近有效值,这是为何呢?其实很简单,线性插值需要缺失值前后有效值的信息来拟合方程,而红框部分都缺少后面的有效值,所以无法拟合。当线性插值无法拟合的时候,会默认采用最近有效值来填充。

快乐学Python,如何对数据进行清洗?(缺失值处理和重复值删除)_第3张图片

3、重复值处理

在日常工作中,可能也会遇到重复数据,那么针对这类数据,我们怎么处理呢?

先做一个重复数据出来,结果如下:

快乐学Python,如何对数据进行清洗?(缺失值处理和重复值删除)_第4张图片

(1)先来查一下是否有重复值

df_scores.duplicated()

输出 快乐学Python,如何对数据进行清洗?(缺失值处理和重复值删除)_第5张图片 当确定数据中有重复值,那我们就可以通过pandas进行去重。

(2)去除重复值

# 我们需要修改 df_scores ,所以需要将 drop_duplicates 的结果赋值回 df_scores

df_scores = df_scores.drop_duplicates()

df_scores

至此,重复值就自动删除掉了。

欢迎关注公众号:服务端技术精选

如果有疑问或者是其他需求,可公众号留言

你可能感兴趣的:(玩转Python数据分析,python,pandas,开发语言)