5个提高效率的Pandas实用技巧
Python 正迅速成为数据科学家们更为钟爱的编程语言。形成该现状的理由非常充分：Python 提供了一种覆盖范围更为广阔的编程语言生态系统，以及具有一定计算深度且性能良好的科学计算库。如果您是 Python 初学者，建议首先看下Python 学习路线。在 Python 自带的科学计算库中，Pandas 模块是最适于数据科学相关操作的工具。它与 Scikit-learn 两个模块几乎提供了数据科学家所需的全部工具。本文着重学习Pandas中数据处理的 5种方法。这些将有助于您提高工作效率。
在本文开始前，推荐读者首先了解一些数据挖掘的相关代码。为使本文更易于理解，我们事先选定了一个数据集以示范相关操作和处理方法。
数据集来源：本文采用的是贷款预测问题的数据集。请下载该数据集并开始本文内容。
让我们开始吧
首先导入相关模块并加载数据集到 Python 环境中：
Python
| 1 2 3 |
import pandas as pd import numpy as np data = pd.read_csv("train.csv", index_col="Loan_ID") |
#1 – 布尔索引
如果需要以其它列数据值为条件过滤某一列的数据，您会怎么处理？例如建立一个列表，列表中全部为未能毕业但曾获得贷款的女性。这里可以使用布尔索引，代码如下：
Python
| 1 2 |
data.loc[(data["Gender"]=="Female") & (data["Education"]=="Not Graduate") & (data["Loan_Status"]=="Y"), ["Gender","Education","Loan_Status"]] |
#2 – Apply 函数
Apply 函数是处理数据和建立新变量的常用函数之一。在向数据框的每一行或每一列传递指定函数后，Apply 函数会返回相应的值。这个由 Apply 传入的函数可以是系统默认的或者用户自定义的。例如，在下面的例子中它可以用于查找每一行和每一列中的缺失值。
Python
| 1 2 3 4 5 6 7 8 9 10 11 |
#Create a new function: def num_missing(x): return sum(x.isnull())
#Applying per column: print "Missing values per column:" print data.apply(num_missing, axis=0) #axis=0 defines that function is to be applied on each column
#Applying per row: print "nMissing values per row:" print data.apply(num_missing, axis=1).head() #axis=1 defines that function is to be applied on each row |
这样我们就得到了所需的结果。
注：由于输出结果包含多行数据，第二个输出函数使用了 head() 函数以限定输出数据长度。在不限定输入参数时 head() 函数默认输出 5 行数据。
#3 – 填补缺失值
fillna() 函数可一次性完成填补功能。它可以利用所在列的均值/众数/中位数来替换该列的缺失数据。下面利用“Gender”、“Married”、和“Self_Employed”列中各自的众数值填补对应列的缺失数据。
Python
| 1 2 3 |
#First we import a function to determine the mode from scipy.stats import mode mode(data['Gender']) |
输出结果为：ModeResult(mode=array([‘Male’], dtype=object), count=array([489]))
输出结果返回了众数值和对应次数。需要记住的是由于可能存在多个高频出现的重复数据，因此众数可以是一个数组。通常默认使用第一个众数值：
Python
| 1 |
mode(data['Gender']).mode[0] |
现在可以进行缺失数据值填补并利用#2方法进行检查。
Python
| 1 2 3 4 5 6 7 |
#Impute the values: data['Gender'].fillna(mode(data['Gender']).mode[0], inplace=True) data['Married'].fillna(mode(data['Married']).mode[0], inplace=True) data['Self_Employed'].fillna(mode(data['Self_Employed']).mode[0], inplace=True)
#Now check the #missing values again to confirm: print data.apply(num_missing, axis=0) |
至此，可以确定缺失值已经被填补。请注意，上述方法是最基本的填补方法。包括缺失值建模，用分组平均数（均值/众数/中位数）填补在内的其他复杂方法将在接下来的文章中进行介绍。
#4 – 数据透视表
Pandas 可建立 MS Excel 类型的数据透视表。例如在下文的代码段里，关键列“LoanAmount” 存在缺失值。我们可以根据“Gender”，“Married”和“Self_Employed”分组后的平均金额来替换。 “LoanAmount”的各组均值可由如下方法确定：
Python
| 1 2 3 |
#Determine pivot table impute_grps = data.pivot_table(values=["LoanAmount"], index=["Gender","Married","Self_Employed"], aggfunc=np.mean) print impute_grps |
#5 – 复合索引
如果您注意观察#3计算的输出内容，会发现它有一个奇怪的性质。即每个索引均由三个数值的组合构成，称为复合索引。它有助于运算操作的快速进行。
从#3的例子继续开始，已知每个分组数据值但还未进行数据填补。具体的填补方式可结合此前学到的多个技巧来完成。
Python
| 1 2 3 4 5 6 7 |
#iterate only through rows with missing LoanAmount for i,row in data.loc[data['LoanAmount'].isnull(),:].iterrows(): ind = tuple([row['Gender'],row['Married'],row['Self_Employed']]) data.loc[i,'LoanAmount'] = impute_grps.loc[ind].values[0]
#Now check the #missing values again to confirm: print data.apply(num_missing, axis=0) |
Note:
1. 多值索引需要在 loc 语句中使用用于定义索引分组的元组结构。该元组会在函数中使用。
2. 应使用后缀 .values[0] 以避免潜在的错误。因为默认情况下复合索引返回的 Series 元素索引顺序与所在的数据框架（dataframe）不一致。在此条件下直接赋值会产生错误。
文章来自：伯乐在线