11个Python Pandas小技巧让你的工作更高效

作者:Shiu-TangLi

翻译:吴振东

校对:王雨桐

或许本文中的某些命令你早已知晓,只是没意识到它还有这种打开方式。


11个Python Pandas小技巧让你的工作更高效_第1张图片

Pandas是一个在Python中广泛应用的数据分析包。市面上有很多关于Pandas的经典教程,但本文介绍几个隐藏的炫酷小技巧,我相信这些会对你有所帮助。

 

1. read_csv


这是读取数据的入门级命令。当要你所读取的数据量特别大时,试着加上这个参数 nrows = 5,就可以在载入全部数据前先读取一小部分数据。如此一来,就可以避免选错分隔符这样的错误啦(数据不一定都是用逗号来分隔)。


(或者在linux系统中,你可以使用‘head’来展示任意文本文件的前五行:head -c 5 data.txt


接下来,用 df.columns.tolist() 可以提取每一列并转换成list。还可以加上 usecols = [‘c1’, ‘c2’, … ]来载入所需要的指定列。另外,如果你知道某些列的类型,你可以加上dtype = {‘c1’: str, ‘c2’: int, …} ,这样会加快载入的速度。加入这些参数的另一大好处是,如果这一列中同时含有字符串和数值类型,而你提前声明把这一列看作是字符串,那么这一列作为主键来融合多个表时,就不会报错了。

 

2. select_dtypes


如果已经在Python中完成了数据的预处理,这个命令可以帮你节省一定的时间。在读取了表格之后,每一列的默认数据类型将会是bool,int64,float64,object,category,timedelta64,或者datetime64。首先你可以观察一下大致情况,使用:

df.dtypes.value_counts()

来了解你的dataframe的每项数据类型,然后再使用:

df.select_dtypes(include=[ float64 ,  int64 ])

获取一个仅由数值类型组成的sub-dataframe。

 

3. copy

如果你没听说过它的话,我不得强调它的重要性。输入下面的命令:

import pandas as pd	
df1 = pd.DataFrame({  a :[0,0,0],  b : [1,1,1]})	
df2 = df1	
df2[ a ] = df2[ a ] + 1	
df1.head()

你会发现df1已经发生了改变。这是因为df2 = df1并不是生成一个df1的复制品并把它赋值给df2,而是设定一个指向df1的指针。所以只要是针对df2的改变,也会相应地作用在df1上。为了解决这个问题,你既可以这样做:

df2 = df1.copy()

也可以这样做:

from copy import deepcopy	
df2 = deepcopy(df1)

4. map


这个炫酷的命令让你的数据转换变得轻松。首先定义一个

dictionary,“key”是转换前的旧值,而“values”是转换后的新值。

level_map = {1:  high , 2:  medium , 3:  low }	
df[ c_level ] = df[ c ].map(level_map)

几个适用情景:把True、False,转换成1、0(为了建模);定义级别;使用字典编码。

 

5. 用不用apply?


如果我们想在现有几列的基础上生成一个新列,并一同作为输入,那么有时apply函数会相当有帮助。

def rule(x, y):	
    if x ==  high  and y > 10:	
         return 1	
    else:	
         return 0	
df = pd.DataFrame({  c1 :[  high  , high ,  low ,  low ],  c2 : [0, 23, 17, 4]})	
df[ new ] = df.apply(lambda x: rule(x[ c1 ], x[ c2 ]), axis =  1)	
df.head()

在上面的代码中,我们定义了一个有两个输入变量的函数,并依靠apply函数使其作用到列“c1”和“c2”上。

 

但是apply函数在有些情况下实在是太慢了。如果你是想计算“c1”和“c2”列的最大值,你当然可以这样去做:

df[ maximum ] = df.apply(lambda x: max(x[ c1 ], x[ c2 ]), axis = 1)

但你会发现相比于以下命令,apply实在是慢太多了:

df[ maximum ] = df[[ c1 , c2 ]].max(axis =1)

结论:如果你可以采用其他内置函数(他们一般速度更快),请不要使用apply。比如说,如果你想把“c”列的值近似取整,那么请用round(df[‘c’], 0)或df[ c ],round(0)而不是上文的apply函数。

 

7. value counts


这个命令用于检查值的分布。你想要检查下“c”列中出现的值以及每个值所出现的频率,可以使用:

df[ c ].value_counts(

下面是一些有用的小技巧/参数:


  • normalize = True:查看每个值出现的频率而不是频次数。

  • dropna = False: 把缺失值也保留在这次统计中。

  • sort = False: 将数据按照值来排序而不是按照出现次数排序。

  • df[‘c].value_counts().reset_index(): 将这个统计表转换成pandas的dataframe并且进行处理。

 

8. 缺失值的数量


当构建模型时,我们可能会去除包含过多缺失值或是全部是缺失值的行。这时可以使用.isnull()和.sum()来计算指定列缺失值的数量。

import pandas as pd	
import numpy as np	
df = pd.DataFrame({  id : [1,2,3],  c1 :[0,0,np.nan],  c2 : [np.nan,1,1]})	
df = df[[ id ,  c1 ,  c2 ]]	
df[ num_nulls ] = df[[ c1 ,  c2 ]].isnull().sum(axis=1)	
df.head()

9. 依据指定ID来选取行


在SQL中我们可以使用      SELECT * FROM … WHERE ID in (‘A001’,‘C022’, …)来获取含有指定ID的记录。如果你也想在Pandas中做类似的事情,你可以使用:

df_filter = df[ ID ].isin([ A001 , C022 ,...])	
df[df_filter]

10. 基于分位数分组


面对一列数值,你想将这一列的值进行分组,比如说最前面的5%放入组别一,5-20%放入组别二,20%-50%放入组别三,最后的50%放入组别四。当然,你可以使用pandas.cut,但你也可以使用下面这种选择:

import numpy as np	
cut_points = [np.percentile(df[ c ], i) for i in [50, 80, 95]]	
df[ group ] = 1	
for i in range(3):	
    df[ group ] = df[ group ] + (df[ c ] < cut_points[i])	
# or <= cut_points[i]

这种方法的运行速度很快(并没有使用到apply函数)。

 

11. to_csv


这又是一个大家都会用的命令。我想在这里列出两个小技巧。首先是

print(df[:5].to_csv())

你可以使用这个命令打印出将要输出文件中的前五行记录。


另一个技巧是用来处理整数值和缺失值混淆在一起的情况。如果一列含有缺失值和整数值,那么这一列的数据类型会变成float而不是int。当导出表格时,你可以加上float_format=‘%.0f’以便将所有的浮点数近似成整数。当你想把所有列的输出值都变成整数格式时,就可以使用这个技巧,这样一来你就会告别所有数值后带“.0”的烦恼。


原文标题:

10 PythonPandas tricks that make your work more efficient

原文链接:

https://towardsdatascience.com/10-python-pandas-tricks-that-make-your-work-more-efficient-2e8e483808ba



推荐阅读

清华姚班90后学霸、MIT博士吴佳俊即将加入斯坦福任助理教授

Python计算机二级模拟题,现在开始!

从小白到大师,这里有一份Pandas入门指南

Kaggle竞赛神器—Facets:快速评估数据集质量,把控数据分析核心环节

开赛前55天NOIP突然宣布停办,学生懵圈家长炸锅,信息学奥赛路风波突起

11个Python Pandas小技巧让你的工作更高效_第2张图片

喜欢就点击“在看”吧!

你可能感兴趣的:(11个Python Pandas小技巧让你的工作更高效)