pandas文本str.split,cat,replace,extract,extractall,contains,match,strip,swapcase,capitalize,isnumeric

pandas处理文本数据

快速浏览

    • string类型的性质
    • str.split方法
    • str.cat方法
    • str.replace用法
    • str.extract方法
    • str.extractall方法
    • str.contains
    • str.match
    • str.strip
    • str.swapcase
    • str.capitalize
    • isnumeric
    • 问题与练习
      • 问题
      • 练习
    • Reference

string类型的性质

string与object的区别
① 字符存取方法(string accessor methods,如str.count)会返回相应数据的Nullable类型,而object会随缺失值的存在而改变返回类型(这一点在pandas缺失数据中有提及)
② 某些Series方法不能在string上使用,例如: Series.str.decode(),因为存储的是字符串而不是字节
③ string类型在缺失值存储或运算时,类型会广播为pd.NA,而不是浮点型np.nan
其余全部内容在当前版本下完全一致,但迎合Pandas的发展模式,我们仍然全部用string来操作字符串

如果将一个其他类型的容器直接转换string类型可能会出错。当下正确的方法是分两部转换,先转为str型object,在转为string类型。

pd.Series([1,'1.']).astype('string') #报错
pd.Series([1,2]).astype('string') #报错
pd.Series([True,False]).astype('string') #报错
pd.Series([1,'1.']).astype('str').astype('string')
pd.Series([1,2]).astype('str').astype('string')
pd.Series([True,False]).astype('str').astype('string')

str.split方法

str.split根据某一个元素分割,默认为空格。expand参数控制了是否将列拆开,n参数代表最多分割多少次。
需要注意下面的例子split后的类型是object,因为现在Series中的元素已经不是string,而包含了list,且string类型只能含有字符串。

s = pd.Series(['a_b_c', 'c_d_e', np.nan, 'f_g_h'], dtype="string")
print(s.str.split('_'))
print(s.str.split('_').str[1])
print(pd.Series(['a_b_c', ['a','b','c']], dtype="object").str[1])

对于str方法可以进行元素的选择,如果该单元格元素是列表,那么str[i]表示取出第i个元素,如果是单个元素,则先把元素转为列表在取出。

0    [a, b, c]
1    [c, d, e]
2         
3    [f, g, h]
dtype: object
0       b
1       d
2    
3       g
dtype: object
0    _
1    b
dtype: object
print(s.str.split('_',expand=True))
print(s.str.split('_',n=1))
print(s.str.split('_',expand=True,n=1))
      0     1     2
0     a     b     c
1     c     d     e
2      
3     f     g     h
0    [a, b_c]
1    [c, d_e]
2        
3    [f, g_h]
dtype: object
      0     1
0     a   b_c
1     c   d_e
2    
3     f   g_h

str.cat方法

cat方法对于不同对象的作用结果并不相同,其中的对象包括:单列、双列、多列。
对于单个Series而言,就是指所有的元素进行字符合并为一个字符串。其中可选sep分隔符参数,和缺失值替代字符na_rep参数。

s = pd.Series(['ab',None,'d'],dtype='string')
print(s.str.cat())
print(s.str.cat(sep=','))
print(s.str.cat(sep=',',na_rep='*'))
abd
ab,d
ab,*,d

对于两个Series合并而言,是对应索引的元素进行合并。同样也有相应参数,需要注意的是两个缺失值会被同时替换。

s2 = pd.Series(['24',None,None],dtype='string')
print(s.str.cat(s2))
print(s.str.cat(s2,sep=',',na_rep='*'))
0    ab24
1    
2    
dtype: string
0    ab,24
1      *,*
2      d,*
dtype: string

多列拼接可以分为表的拼接和多Series拼接。

print(s.str.cat(pd.DataFrame({0:['1','3','5'],1:['5','b',None]},dtype='string'),na_rep='*'))
print(s.str.cat([s+'0',s*2]))
0    ab15
1     *3b
2     d5*
dtype: string
0    abab0abab
1         
2        dd0dd
dtype: string

cat中的索引对齐在当前版本中,如果两边合并的索引不相同且未指定join参数,默认为左连接,设置join=‘left’。

s2 = pd.Series(list('abc'),index=[1,2,3],dtype='string')
s.str.cat(s2,na_rep='*')
0    ab*
1     *a
2     db
dtype: string

str.replace用法

s = pd.Series(['A', 'B', 'C', 'ABaba', 'Baca','', np.nan, 'CABA', 'dog', 'cat'],dtype="string")
print(s.str.replace(r'^[AB]','***'))#第一个值写r开头的正则表达式,后一个写替换的字符串
print(s.str.replace(r'([ABC])(\w+)',lambda x:x.group(2)[1:]+'*'))#通过正整数调用子组(0返回字符本身,从1开始才是子组)
print(s.str.replace(r'(?P[ABC])(?P\w+)',lambda x:x.group('two')[1:]+'*'))#利用?P<....>表达式可以对子组命名调用
0        ***
1        ***
2          C
3    ***Baba
4     ***aca
5           
6       
7       CABA
8        dog
9        cat
dtype: string
0       A
1       B
2       C
3    aba*
4     ca*
5        
6    
7     BA*
8     dog
9     cat
dtype: string
0       A
1       B
2       C
3    aba*
4     ca*
5        
6    
7     BA*
8     dog
9     cat
dtype: string

str.replace和replace并不是一个东西:
str.replace针对的是object类型或string类型,默认是以正则表达式为操作,目前暂时不支持DataFrame上使用。replace针对的是任意类型的序列或数据框,如果要以正则表达式替换,需要设置regex=True,该方法通过字典可支持多列替换。但现在由于string类型的初步引入,用法上出现了一些问题,这些issue有望在以后的版本中修复。
str.replace赋值参数不得为pd.NA,可以先转为object类型再转换回来曲线救国。

pd.Series(['A','B'],dtype='string').str.replace(r'[A]',pd.NA) #报错
pd.Series(['A','B'],dtype='O').str.replace(r'[A]',pd.NA) #报错

pd.Series(['A','B'],dtype='string').astype('O').replace(r'[A]',pd.NA,regex=True).astype('string')

对于string类型Series,在使用replace函数时不能使用正则表达式替换,该bug现在还未修复。pd.Series(['A','B'],dtype='string').replace(r'[A]','C',regex=True)pd.Series(['A','B'],dtype='O').replace(r'[A]','C',regex=True)

str.extract方法

print(pd.Series(['10-87', '10-88', '10-89'],dtype="string").str.extract(r'([\d]{2})-([\d]{2})'))
print(pd.Series(['10-87', '10-88', '-89'],dtype="string").str.extract(r'(?P[\d]{2})-(?P[\d]{2})'))#使用子组名作为列名
print(pd.Series(['10-87', '10-88', '-89'],dtype="string").str.extract(r'(?P[\d]{2})?-(?P[\d]{2})'))#利用?正则标记选择部分提取
print(pd.Series(['10-87', '10-88', '10-'],dtype="string").str.extract(r'(?P[\d]{2})-(?P[\d]{2})?'))#利用?正则标记选择部分提取
    0   1
0  10  87
1  10  88
2  10  89
  name_1 name_2
0     10     87
1     10     88
2      
  name_1 name_2
0     10     87
1     10     88
2        89
  name_1 name_2
0     10     87
1     10     88
2     10   

对于一个子组的Series,如果expand设置为False,则返回Series,若大于一个子组,则expand参数无效,全部返回DataFrame。对于一个子组的Index,如果expand设置为False,则返回提取后的Index,若大于一个子组且expand为False,报错。

s = pd.Series(["a1", "b2", "c3"], ["A11", "B22", "C33"], dtype="string")
print(s.str.extract(r'([\w])'))
print(s.str.extract(r'([\w])',expand=False))
print(s.index.str.extract(r'([\w])'))
print(s.index.str.extract(r'([\w])',expand=False))
print(s.index.str.extract(r'([\w])([\d])'))
s.index.str.extract(r'([\w])([\d])',expand=False) #报错
     0
A11  a
B22  b
C33  c
A11    a
B22    b
C33    c
dtype: string
   0
0  A
1  B
2  C
Index(['A', 'B', 'C'], dtype='object')
   0  1
0  A  1
1  B  2
2  C  3

str.extractall方法

与extract只匹配第一个符合条件的表达式不同,extractall会找出所有符合条件的字符串,并建立多级索引(即使只找到一个)。

s = pd.Series(["a1a2", "b1", "c1"], index=["A", "B", "C"],dtype="string")
two_groups = '(?P[a-z])(?P[0-9])'
print(s.str.extract(two_groups, expand=True))
print(s.str.extractall(two_groups))
s['A']='a1'
print(s.str.extractall(two_groups))
#如果想查看第i层匹配,可使用xs方法
s = pd.Series(["a1a2", "b1b2", "c1c2"], index=["A", "B", "C"],dtype="string")
print(s.str.extractall(two_groups).xs(1,level='match'))
  letter digit
A      a     1
B      b     1
C      c     1
        letter digit
  match             
A 0          a     1
  1          a     2
B 0          b     1
C 0          c     1
        letter digit
  match             
A 0          a     1
B 0          b     1
C 0          c     1
  letter digit
A      a     2
B      b     2
C      c     2

str.contains

str.contains检测是否包含某种正则模式,可选参数为na。

print(pd.Series(['1', None, '3a', '3b', '03c'], dtype="string").str.contains(r'[0-9][a-z]'))
print(pd.Series(['1', None, '3a', '3b', '03c'], dtype="string").str.contains('a', na=False))
print(pd.Series(['1', None, '3a', '3b', '03c'], dtype="string").str.contains('a', na=False))
0    False
1     
2     True
3     True
4     True
dtype: boolean
0    False
1    False
2     True
3    False
4    False
dtype: boolean
0    False
1    False
2     True
3    False
4    False
dtype: boolean

str.match

str.match与str.contains区别在于,match依赖于python的re.match,检测内容为是否从头开始包含该正则模式。

print(pd.Series(['1', None, '3a_', '3b', '03c'], dtype="string").str.match(r'[0-9][a-z]',na=False))
print(pd.Series(['1', None, '_3a', '3b', '03c'], dtype="string").str.match(r'[0-9][a-z]',na=False))
0    False
1    False
2     True
3     True
4    False
dtype: boolean
0    False
1    False
2    False
3     True
4    False
dtype: boolean

str.strip

常用于过滤空格

pd.Series(list('abc'),index=[' space1  ','space2  ','  space3'],dtype="string").index.str.strip()

str.swapcase

分别表示转换为小写和大写

pd.Series('A',dtype="string").str.lower()
pd.Series('a',dtype="string").str.upper()

str.capitalize

分别表示交换字母大小写和大写首字母

pd.Series('abCD',dtype="string").str.swapcase()
pd.Series('abCD',dtype="string").str.capitalize()

isnumeric

pd.Series(['1.2','1','-0.3','a',np.nan],dtype="string").str.isnumeric()

问题与练习

问题

【问题一】 str对象方法和df/Series对象方法有什么区别?
【问题二】 给出一列string类型,如何判断单元格是否是数值型数据?
【问题三】 rsplit方法的作用是什么?它在什么场合下适用?
【问题四】 在本章的第二到第四节分别介绍了字符串类型的5类操作,请思考它们各自应用于什么场景?

练习

练习一
现有一份关于字符串的数据集String_data_one.csv,请解决以下问题:
(a)现对字符串编码存储人员信息(在编号后添加ID列),使用如下格式:“×××(名字):×国人,性别×,生于×年×月×日”
(b)将(a)中的人员生日信息部分修改为用中文表示(如一九七四年十月二十三日),其余返回格式不变。
(c)将(b)中的ID列结果拆分为原列表相应的5列,并使用equals检验是否一致。

ex1 = pd.read_csv('work/String_data_one.csv',index_col='人员编号').astype('str')
print('(a)现对字符串编码存储人员信息(在编号后添加ID列),使用如下格式:“×××(名字):×国人,性别×,生于×年×月×日”')
ex1['ID'] =ex1['姓名']+':'+ex1['国籍']+'国人,性别'+ex1['性别']+',生于'+ex1['出生年']+'年'+ex1['出生月']+'月'+ex1['出生日']+'日'
print(ex1['ID'])
print('(b)将(a)中的人员生日信息部分修改为用中文表示(如一九七四年十月二十三日),其余返回格式不变')
ex1['ID2'] =ex1['姓名']+':'+ex1['国籍']+'国人,性别'+ex1['性别']+',生于'+ex1['出生年'].str.replace('0','零').str.replace('1','一').str.replace('2','二').str.replace('3','三').str.replace('4','四').str.replace('5','五').str.replace('6','六').str.replace('7','七').str.replace('8','八').str.replace('9','九')+'年'+ex1['出生月'].str.replace('0','零').str.replace('1','一').str.replace('2','二').str.replace('3','三').str.replace('4','四').str.replace('5','五').str.replace('6','六').str.replace('7','七').str.replace('8','八').str.replace('9','九')+'月'+ex1['出生日'].str.replace('0','零').str.replace('1','一').str.replace('2','二').str.replace('3','三').str.replace('4','四').str.replace('5','五').str.replace('6','六').str.replace('7','七').str.replace('8','八').str.replace('9','九')+'日'
print(ex1['ID2'])
(a)现对字符串编码存储人员信息(在编号后添加ID列),使用如下格式:“×××(名字):×国人,性别×,生于×年×月×日”
人员编号
1        aesfd:2国人,性别男,生于1942年8月10日
2       fasefa:5国人,性别女,生于1985年10月4日
3       aeagd:4国人,性别女,生于1946年10月15日
4          aef:4国人,性别男,生于1999年5月13日
5          eaf:1国人,性别女,生于2010年6月24日
                   ...             
1996       sdf:5国人,性别男,生于1984年4月17日
1997        hx:1国人,性别男,生于1943年7月16日
1998        drg:5国人,性别女,生于2018年4月6日
1999    zfgzdrg:5国人,性别男,生于2005年1月3日
2000      fsdf:3国人,性别女,生于1962年7月23日
Name: ID, Length: 2000, dtype: object
(b)将(a)中的人员生日信息部分修改为用中文表示(如一九七四年十月二十三日),其余返回格式不变
人员编号
1        aesfd:2国人,性别男,生于一九四二年八月一零日
2       fasefa:5国人,性别女,生于一九八五年一零月四日
3       aeagd:4国人,性别女,生于一九四六年一零月一五日
4          aef:4国人,性别男,生于一九九九年五月一三日
5          eaf:1国人,性别女,生于二零一零年六月二四日
                   ...             
1996       sdf:5国人,性别男,生于一九八四年四月一七日
1997        hx:1国人,性别男,生于一九四三年七月一六日
1998        drg:5国人,性别女,生于二零一八年四月六日
1999    zfgzdrg:5国人,性别男,生于二零零五年一月三日
2000      fsdf:3国人,性别女,生于一九六二年七月二三日
Name: ID2, Length: 2000, dtype: object

练习二
现有一份半虚拟的数据集String_data_two.csv,第一列包含了一些新闻标题,请解决以下问题:
(a)选出所有关于北京市和上海市新闻标题的所在行。
(b)求col2的均值。
(c)求col3的均值。

ex2 = pd.read_csv('work/String_data_two.csv').astype('str')
print('(a)选出所有关于北京市和上海市新闻标题的所在行')
print(ex2[ex2['col1'].str.contains(r'[北京]{2}|[上海]{2}')])
print('(b)求col2的均值')
#ex2['col2'].mean() #报错
#ex2['col2'][~(ex2['col2'].str.replace(r'-?\d+','True')=='True')] #有三行有问题
'''
309    0-
396    9`
485    /7
Name: col2, dtype: object
'''
ex2.loc[[309,396,485],'col2'] = [0,9,7]
print(ex2['col2'].astype('int').mean())
print('(c)求col3的均值')
#ex2['col3  '][~(ex2['col3  '].str.replace(r'-?\d+\.?\d+','True')=='True')]
'''
28      355`.3567
37             -5
73              1
122    9056.\2253
332    3534.6554{
370             7
Name: col3  , dtype: object
'''
ex2.loc[[28,122,332],'col3  '] = [355.3567,9056.2253,3534.6554]
print(ex2['col3  '].astype('float').mean())

Reference

  1. pandas官网
  2. Joyful-Pandas

你可能感兴趣的:(Pandas教程)