像Excel一样使用Python(二)

像Excel一样使用Python(二)_第1张图片

像excel一样使用python,上一期介绍了生成、查看、替换等功能,这一期介绍数据预处理,包括数据表合并、排序、分组等。

1.合并

Excel里智能复制粘贴来合并表格,或者通过VLOOKUP函数分步实现。python中,可以直接使用merge函数来合并两个表,可选参数较多,这里只介绍最常用的几个参数:

df1.merge(df2,how='inner',on=None,left_on=None,right_on=None)

或:pandas.merge(df1,df2,how='inner'…)

将df1与df2合并,how为合并方式,有“inner、outer、left、right”4种选择,分别为“求交集、并集、固定左边、固定右边”。On代表用于连接的键名,如果两表合并对象的列名不同,使用left_on=None, right_on=None来分别指定。在默认情况下,merge会自动以重叠的列名按inner的方式合并。

importpandasaspd

frompandasimportDataFrame,Series

df1=DataFrame({'gene':['arx1','arx2','arx3','arx4'],

'size':[411,530,289,450]})

df2=DataFrame([['arx2','kana-A'],['arx3','kana-B'],

['arx4','pdm-V'],['arx5','pdm-V1']],

columns=['gene','homo'])

df_inner=pd.merge(df1,df2,how='inner',on='gene')

printdf_inner

输出:

gene size   homo

0  arx2  530  kana-A

1  arx3  289  kana-B

2  arx4  450   pdm-V

2.排序

在excel中,使用数据-排序可以对数据表直接进行排序。


像Excel一样使用Python(二)_第2张图片
数据-排序

在python中,可以使用sort_values和sort_index函数进行排序。

printdf1.sort_values(by=['size'])

输出:

gene  size

2  arx3   289

0  arx1   411

3  arx4   450

1  arx2   530

而sort_index可以按索引进行排序。

df_inner.set_index('size')

#将size列作为索引df_inner.sort_index()

#使用索引进行排序

3.分组

在excel中,使用“公式-插入函数-LOOKUP-选择分组列与分组条件”进行分组。


像Excel一样使用Python(二)_第3张图片
公式-插入函数-LOOKUP-分组

在python中,使用where函数对值进行判断。

df1['group']=np.where(df1['size'] >300,'long','short')

printdf1

输出:

gene  size  group

0  arx1   411   long

1  arx2   530   long

2  arx3   289  short

3  arx4   450   long

4.分列

即将一列按固定规则分为多列。在excel中,可使用“数据-分列”进行分拆。


像Excel一样使用Python(二)_第4张图片
数据-分列

在python中,使用split函数。若以“-”为分隔符,对“homo”列中的所有元素进行分割,index与df2保持一致,列重新取名为“category”和“number”,则表达式如下:

df3=DataFrame((x.split('-')forxindf2['homo']),index=df2.index,columns=['category','number'])

printdf3

输出:

category number

0     kana      A

1     kana      B

2      pdm      V

3      pdm     V1

5.数据提取

按索引进行提取使用loc函数。

printdf1.loc[:2]

#提取从0至1的数据printdf1.loc[1]

#提取索引为1的数据

按位置提取,使用iloc函数,将横纵方向标签均从0开始计算。

printdf1.iloc[2,2]

#第三行第三列的数据printdf1.iloc[:3,:3]

#前三行前三列的数据

同时又按索引又按位置提取,使用ix函数。

df1=df1.set_index('gene')

#将gene设为索引列printdf1.ix[:'arx2',:3]

#索引arx2之前及0-2列部分

按条件提取,可使用isin函数。Isin函数用来判断是否为给定值,是返回“True”,否返回“False”。将isin函数嵌套如loc函数中,可以输出结果为“True”的数据。

printdf1['group'].isin(['long'])

输出:

0     True

1     True

2    False

3     True

Name: group, dtype: bool

printdf1.loc[df1['group'].isin(['long'])]

输出:

gene  size group

0  arx1   411  long

1  arx2   530  long

3  arx4   450  long

6.数据筛选

Excel中可以使用“数据-筛选”根据字段进行筛选。


像Excel一样使用Python(二)_第5张图片
数据-筛选

Python中可使用与、或、非,”&”、”|”、”!=”和loc函数一起进行筛选。例如筛选size>400,homo带有kana的数据:

printdf_inner.loc[(df_inner['size'] >400)&(df_inner['homo'].isin(['kana-A']))]

或者使用query函数进行搜索。

printdf_inner.query('size>400')

本文参考:

Python For Data Analysis

蓝鲸网站分析博客,作者蓝鲸(王彦平)

你可能感兴趣的:(像Excel一样使用Python(二))