joyful pandas 第7章 文本数据

import pandas as pd
import numpy as np

一、string类型的性质

1. string与object的区别

string类型和object不同之处有三：
① 字符存取方法（string accessor methods，如str.count）会返回相应数据的Nullable类型，而object会随缺失值的存在而改变返回类型
② 某些Series方法不能在string上使用，例如： Series.str.decode()，因为存储的是字符串而不是字节
③ string类型在缺失值存储或运算时，类型会广播为pd.NA，而不是浮点型np.nan
其余全部内容在当前版本下完全一致，但迎合Pandas的发展模式，我们仍然全部用string来操作字符串

2. string类型的转换

如果将一个其他类型的容器直接转换string类型可能会出错：

当下正确的方法是分两部转换，先转为str型object，在转为string类型：

二、拆分与拼接

1. str.split方法

（a）分割符与str的位置元素选取

根据某一个元素分割，默认为空格

这里需要注意split后的类型是object，因为现在Series中的元素已经不是string，而包含了list，且string类型只能含有字符串
对于str方法可以进行元素的选择，如果该单元格元素是列表，那么str[i]表示取出第i个元素，如果是单个元素，则先把元素转为列表在取出

（b）其他参数

expand参数控制了是否将列拆开，n参数代表最多分割多少次

2. str.cat方法

（a）不同对象的拼接模式

cat方法对于不同对象的作用结果并不相同，其中的对象包括：单列、双列、多列
① 对于单个Series而言，就是指所有的元素进行字符合并为一个字符串

其中可选sep分隔符参数，和缺失值替代字符na_rep参数

② 对于两个Series合并而言，是对应索引的元素进行合并

同样也有相应参数，需要注意的是两个缺失值会被同时替换

③ 多列拼接可以分为表的拼接和多Series拼接
表的拼接

多个Series拼接

（b）cat中的索引对齐

当前版本中，如果两边合并的索引不相同且未指定join参数，默认为左连接，设置join=‘left’

三、替换

广义上的替换，就是指str.replace函数的应用，fillna是针对缺失值的替换，上一章已经提及
提到替换，就不可避免地接触到正则表达式，这里默认读者已掌握常见正则表达式知识点，若对其还不了解的，可以通过这份资料来熟悉

1. str.replace的常见用法

第一个值写r开头的正则表达式，后一个写替换的字符串

2. 子组与函数替换

通过正整数调用子组（0返回字符本身，从1开始才是子组）

利用?P<…>表达式可以对子组命名调用

3. 关于str.replace的注意事项

首先，要明确str.replace和replace并不是一个东西：
str.replace针对的是object类型或string类型，默认是以正则表达式为操作，目前暂时不支持DataFrame上使用
replace针对的是任意类型的序列或数据框，如果要以正则表达式替换，需要设置regex=True，该方法通过字典可支持多列替换
但现在由于string类型的初步引入，用法上出现了一些问题，这些issue有望在以后的版本中修复

（a）str.replace赋值参数不得为pd.NA

这听上去非常不合理，例如对满足某些正则条件的字符串替换为缺失值，直接更改为缺失值在当下版本就会报错

此时，可以先转为object类型再转换回来，曲线救国：

至于为什么不用replace函数的regex替换（但string类型replace的非正则替换是可以的），原因在下面一条

（b）对于string类型Series，在使用replace函数时不能使用正则表达式替换

该bug现在还未修复

（c）string类型序列如果存在缺失值，不能使用replace替换

综上，概况的说，除非需要赋值元素为缺失值（转为object再转回来），否则请使用str.replace方法

四、子串匹配与提取

1. str.extract方法

（a）常见用法

使用子组名作为列名

利用?正则标记选择部分提取

（b）expand参数（默认为True）

对于一个子组的Series，如果expand设置为False，则返回Series，若大于一个子组，则expand参数无效，全部返回DataFrame
对于一个子组的Index，如果expand设置为False，则返回提取后的Index，若大于一个子组且expand为False，报错

2. str.extractall方法

与extract只匹配第一个符合条件的表达式不同，extractall会找出所有符合条件的字符串，并建立多级索引（即使只找到一个）

如果想查看第i层匹配，可使用xs方法

3. str.contains和str.match

前者的作用为检测是否包含某种正则模式

可选参数为na

str.match与其区别在于，match依赖于python的re.match，检测内容为是否从头开始包含该正则模式

五、常用字符串方法

1. 过滤型方法

（a）str.strip

常用于过滤空格

（b）str.lower和str.upper

（c）str.swapcase和str.capitalize

分别表示交换字母大小写和大写首字母

2. isnumeric方法

检查每一位是否都是数字，请问如何判断是否是数值？（问题二）

六、问题与练习

1. 问题

【问题一】 str对象方法和df/Series对象方法有什么区别？

• Pandas 为 Series 提供了 str 属性，通过它可以方便的对每个元素进行操作。通过 str 属性来访问之后用到的方法名与 Python 内置的字符串的方法名一样。并且能够自动排除缺失值。
• 对 Series 中每个元素处理时，我们可以使用 map 或 apply 方法。

【问题二】 给出一列string类型，如何判断单元格是否是数值型数据？

【问题三】 rsplit方法的作用是什么？它在什么场合下适用？
rsplit() 方法通过指定分隔符对字符串进行分割并返回一个列表，默认分隔符为所有空字符，包括空格、换行(\n)、制表符(\t)等。类似于 split() 方法，只不过是从字符串最后面开始分割。

【问题四】 在本章的第二到第四节分别介绍了字符串类型的5类操作，请思考它们各自应用于什么场景？

2. 练习

【练习一】 现有一份关于字符串的数据集，请解决以下问题：
（a）现对字符串编码存储人员信息（在编号后添加ID列），使用如下格式：“×××（名字）：×国人，性别×，生于×年×月×日”
（b）将（a）中的人员生日信息部分修改为用中文表示（如一九七四年十月二十三日），其余返回格式不变。
（c）将（b）中的ID列结果拆分为原列表相应的5列，并使用equals检验是否一致。

pd.read_csv('String_data_one.csv',index_col='人员编号').head()

aaa = pd.read_csv('String_data_one.csv',index_col='人员编号')#.convert_dtypes()
aaa['ID']=aaa['姓名']
aaa['ID']=aaa['ID'].str.cat(["(名字)"+':'+aaa['国籍'].astype(str).astype('string')+'国人，性别'+aaa['性别']+',生于'+aaa['出生年'].astype(str).astype('string')+'年'+aaa['出生月'].astype(str).astype('string')+'月'+aaa['出生日'].astype(str).astype('string')+'日'])
aaa.head()

df = pd.read_csv('String_data_one.csv',index_col='人员编号').astype('str')
(df['姓名']+':'+df['国籍']+'国人，性别'
          +df['性别']+'，生于'
          +df['出生年']+'年'
          +df['出生月']+'月'+df['出生日']+'日').to_frame().rename(columns={0:'ID'}).head()

def f(s):
    map={'0':'零','1':'一','2':'二','3':'三','4':'四','5':'五','6':'六','7':'七','8':'八','9':'九','10':'十','11':'十一','12':'十二'}
    re=''
    for i in s:
        re+=map[i]
    return re
def f2(s):
    map={'0':'零','1':'一','2':'二','3':'三','4':'四','5':'五','6':'六','7':'七','8':'八','9':'九','10':'十','11':'十一','12':'十二'}
    return map[s]
def f3(s):
    map={'0':'零','1':'一','2':'二','3':'三','4':'四','5':'五','6':'六','7':'七','8':'八','9':'九','10':'十','11':'十一','12':'十二'}
    if len(s)==1:
        return map[s]
    elif s[1]=='0':
        return map[s[0]]+'十'
    else:
        return map[s[0]]+'十'+map[s[1]]

aa = pd.read_csv('String_data_one.csv',index_col='人员编号')#.convert_dtypes()
aa['ID']=aa['姓名']
aa['ID']=aa['ID'].str.cat([':'+aa['国籍'].astype(str).astype('string')+'国人，性别'+aa['性别']+',生于'+aa['出生年'].astype(str).astype('string').apply(lambda x: f(x))+'年'+aa['出生月'].astype(str).astype('string').apply(lambda x:f2(x))+'月'+aaa['出生日'].astype(str).astype('string').apply(lambda x:f3(x))+'日'])
aa.head()#"(名字)"+

L_year = list('零一二三四五六七八九')
L_one = [s.strip() for s in list('  二三四五六七八九')]
L_two = [s.strip() for s in list(' 一二三四五六七八九')]
df_new = (df['姓名']+':'+df['国籍']+'国人，性别'+df['性别']+'，生于'
          +df['出生年'].str.replace(r'\d',lambda x:L_year[int(x.group(0))])+'年'
          +df['出生月'].apply(lambda x:x if len(x)==2 else '0'+x)\
                      .str.replace(r'(?P[\d])(?P\d?)',lambda x:L_one[int(x.group('one'))]
                      +bool(int(x.group('one')))*'十'+L_two[int(x.group('two'))])+'月'
          +df['出生日'].apply(lambda x:x if len(x)==2 else '0'+x)\
                      .str.replace(r'(?P[\d])(?P\d?)',lambda x:L_one[int(x.group('one'))]
                      +bool(int(x.group('one')))*'十'+L_two[int(x.group('two'))])+'日')\
          .to_frame().rename(columns={0:'ID'})
df_new.head()

re = aa ['ID'].str.extract(r'(?P<姓名>[a-zA-Z]{1,}):(?P<国籍>[\d])国人，性别(?P<性别>[\w]),生于(?P<出生年>[\w]{4})年(?P<出生月>[\w]+)月(?P<出生日>[\w]+)日')
def f11(s):
    map={'零':'0','一':'1','二':'2','三':'3','四':'4','五':'5','六':'6','七':'7','八':'8','九':'9','十':'10'}
    re=''
    for i in s:
        re+=map[i]
    return re
def f22(s):
    map={'零':'0','一':'1','二':'2','三':'3','四':'4','五':'5','六':'6','七':'7','八':'8','九':'9','十':'10','十一':'11','十二':'12'}
    return map[s]
def f33(s):
    re=''
    if len(s)>=2 and  s[-2]=='十':
        map={'零':'0','一':'1','二':'2','三':'3','四':'4','五':'5','六':'6','七':'7','八':'8','九':'9','十':''}
        for i in s:
            re+=map[i]
        return re
    elif s[-1]=='十':
        map={'零':'0','一':'1','二':'2','三':'3','四':'4','五':'5','六':'6','七':'7','八':'8','九':'9','十':'0'}
        for i in s:
            re+=map[i]
        return re
    else:
        map={'零':'0','一':'1','二':'2','三':'3','四':'4','五':'5','六':'6','七':'7','八':'8','九':'9','十':'10'}
        re=''
        for i in s:
            re+=map[i]
        return re

re['出生年']=re['出生年'].apply(lambda x:f11(x))
re['出生月']=re['出生月'].apply(lambda x:f22(x))
re['出生日']=re['出生日'].apply(lambda x:f33(x))
re.head()
 

test = pd.read_csv('String_data_one.csv',index_col='人员编号').astype(str)#.convert_dtypes()
re.equals(test)

【练习二a】 现有一份半虚拟的数据集，第一列包含了新型冠状病毒的一些新闻标题，请解决以下问题：
（a）选出所有关于北京市和上海市新闻标题的所在行。
（b）求col2的均值。
（c）求col3的均值。

pd.read_csv('String_data_two.csv').head()

df = pd.read_csv('String_data_two.csv')
df.head()

df[df['col1'].str.contains(r'[北京]{2}|[上海]{2}')].head()

df['col2'][~(df['col2'].str.replace(r'-?\d+','True')=='True')]

df.loc[[309,396,485],'col2'] = [0,9,7]
df['col2'].astype('int').mean()

df.columns = df.columns.str.strip()
df['col3'][~(df['col3'].str.replace(r'-?\d+\.?\d+','True')=='True')]

df.loc[[28,122,332],'col3'] = [355.3567,9056.2253, 3534.6554]
df['col3'].astype('float').mean()