【Python 基础教程】优雅的拿捏正则表达式

前言

今天带给大家一个非常强大的字符串处理库。学好之后可以很轻松的解析掉一个格式化文档，在爬虫数据分析有着很广泛的应用。当然这篇文章不仅仅使用与Python语言学习者学习，而是适用于各种语言学习者学习。正则表达式在每一门语言中应该都有应用，并且在每一门语言中不会有太大的差异，最多就是换个小马甲。

---

什么是正则表达式？

概念：

大家应该都听说过数据分析这一门学科，在数据分析中需要按照某种格式处理某些数据，使得数据有条有理，经过数据分析处理过的数据往往更有利于检索、合并、显示。对数据进行数据分析的话可能会经过很多道步骤进行处理，进行每一步处理的时候都有一个共同的特性，就是特征的提取，或者说根据特征进行删除、替换。而在提取的时候使用的方式往往就是匹配。正则表达式通常被用来检索、替换那些符合某个模式(规则)的文本。正则表达式又称规则表达式。（英语：Regular Expression，在代码中常简写为regex、regexp或RE），计算机科学的一个概念。许多程序设计语言都支持利用正则表达式进行字符串操作。正则表达式这个概念最初是由Unix中的工具软件普及开的。正则表达式通常缩写成“regex”，单数有regexp、regex，复数有regexps、regexes、regexen。可能看概念比较懵逼，大家继续往下看即可，接下来咱们在需求中学会正则表达式。

各种语言支持正则表达式语法的情况：

修饰符与模式匹配

函数标志位参数

这个就是调用search或者findall函数时传进去的参数flag

修饰符	描述
re.I	使匹配对大小写不敏感
re.L	做本地化识别（locale-aware）匹配
re.M	多行匹配，影响 ^ 和 $
re.S	使 . 匹配包括换行在内的所有字符
re.U	根据Unicode字符集解析字符。这个标志影响 \w, \W, \b, \B.
re.X	该标志通过给予你更灵活的格式以便你将正则表达式写得更易于理解。

匹配模式标志符

字母和数字表示他们自身。一个正则表达式模式中的字母和数字匹配同样的字符串。
多数字母和数字前加一个反斜杠时会拥有不同的含义。
标点符号只有被转义时才匹配自身，否则它们表示特殊的含义。
反斜杠本身需要使用反斜杠转义。

式	描述
^	匹配字符串的开头
$	匹配字符串的末尾。
.	匹配任意字符，除了换行符，当re.DOTALL标记被指定时，则可以匹配包括换行符的任意字符。
[…]	用来表示一组字符,单独列出：[amk] 匹配 ‘a’，‘m’或’k’
[^…]	不在[]中的字符：[^abc] 匹配除了a,b,c之外的字符。
re*	匹配0个或多个的表达式。
re+	匹配1个或多个的表达式。
re?	匹配0个或1个由前面的正则表达式定义的片段，非贪婪方式
re{ n}	匹配n个前面表达式。例如，"o{2}“不能匹配"Bob"中的"o”，但是能匹配"food"中的两个o。
re{ n,}	精确匹配n个前面表达式。例如，"o{2,}“不能匹配"Bob"中的"o”，但能匹配"foooood"中的所有o。"o{1,}“等价于"o+”。"o{0,}“则等价于"o*”。
re{ n,m}	匹配 n 到 m 次由前面的正则表达式定义的片段，贪婪方式
a	b
(re)	匹配括号内的表达式，也表示一个组
(?imx)	正则表达式包含三种可选标志：i, m, 或 x 。只影响括号中的区域。
(?-imx)	正则表达式关闭 i, m, 或 x 可选标志。只影响括号中的区域。
(?: re)	类似 (…), 但是不表示一个组
(?imx: re)	在括号中使用i, m, 或 x 可选标志
(?-imx: re)	在括号中不使用i, m, 或 x 可选标志
(?#…)	注释.
(?= re)	前向肯定界定符。如果所含正则表达式，以 … 表示，在当前位置成功匹配时成功，否则失败。但一旦所含表达式已经尝试，匹配引擎根本没有提高；模式的剩余部分还要尝试界定符的右边。
(?! re)	前向否定界定符。与肯定界定符相反；当所含表达式不能在字符串当前位置匹配时成功。
(?> re)	匹配的独立模式，省去回溯。
\w	匹配数字字母下划线
\W	匹配非数字字母下划线
\s	匹配任意空白字符，等价于 [\t\n\r\f]。
\S	匹配任意非空字符
\d	匹配任意数字，等价于 [0-9]。
\D	匹配任意非数字
\A	匹配字符串开始
\Z	匹配字符串结束，如果是存在换行，只匹配到换行前的结束字符串。
\z	匹配字符串结束
\G	匹配最后匹配完成的位置。
\b	匹配一个单词边界，也就是指单词和空格间的位置。例如， ‘er\b’ 可以匹配"never" 中的 ‘er’，但不能匹配 “verb” 中的 ‘er’。
\B	匹配非单词边界。‘er\B’ 能匹配 “verb” 中的 ‘er’，但不能匹配 “never” 中的 ‘er’。
\n, \t, 等。	匹配一个换行符。匹配一个制表符, 等
\1…\9	匹配第n个分组的内容。
\10	匹配第n个分组的内容，如果它经匹配。否则指的是八进制字符码的表达式。

常用的模式匹配

用法	释义
[A-Z]	匹配A-Z中的任意一个
[ap]	匹配a或者p
[^aeiou]	除了aeiou字母以外的所有字符
.	可以替代除了换行符以外的任何一个字符
*	可以表示它前面的一个子表达式（普通字符、另一个或几个正则表达式符号 0次到无限次）
?	表示他前面的子表达式0次或1次
\	将特殊字符与与原意字符相互转换
()	将括号内的内容提取出来
.*	点号表示任意非换行字符,星号表示匹配他前面的字符0次或多次（要在.*附近限制范围,否则取得是整个字符串）
.*?	与表达式相匹配的最短的字符串
.*	是贪婪模式 .*?是非贪婪模式
.*	最终获取到一个字符串
.*?	最终获取到每一个满足要求的字符串
.	匹配除 “\n” 之外的任何单个字符。要匹配包括 ‘\n’ 在内的任何字符，请使用象 ‘[.\n]’ 的模式。
\d	匹配一个数字字符。等价于 [0-9]。
\D	匹配一个非数字字符。等价于 [^0-9]。
\s	匹配任何空白字符，包括空格、制表符、换页符等等。等价于 [ \f\n\r\t\v]。
\S	匹配任何非空白字符。等价于 [^ \f\n\r\t\v]。
\w	匹配包括下划线的任何单词字符。等价于’[A-Za-z0-9_]'。
\W	匹配任何非单词字符。等价于 ‘[^A-Za-z0-9_]’。

Python中使用正则表达式

Python作为时下最时髦的语言之一，具有非常强的数据分析功能。天然的支持正则表达式。Python中内置的re包中包含我们需要的函数。使用正则表达式进行模式匹配针对的是字符串。大家不要传其他类型。使用以下函数进行模式匹配后会返回一个对象，我们可以调用该对象的group方法对获取匹配到的结果按匹配模式进行分组 group的参数类型是int型，group(0)代表的是将满足所有匹配模式的串拿出来，group(1)是满足第一个匹配模式的，group(2)是满足第二个匹配模式的......我们会使用()进行分组，也就是说一个()内部就是一个匹配模式。

①match

函数原型

re.match(pattern, string, flags=0)

参数说明：

参数	描述
pattern	匹配的正则表达式
string	要匹配的字符串。
flags	标志位，用于控制正则表达式的匹配方式，如：是否区分大小写，多行匹配等等。

匹配成功re.match方法返回一个匹配的对象，否则返回None。

函数作用

尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配成功的话，match()就返回none。

我们可以使用group(num) 或 groups() 匹配对象函数来获取匹配表达式。

mystr="我的账号是:9999,密码是:000,我的账号是:8080,密码是:9090,"
mystr1="9999,9999我的账号是:99\n99,密码是:000,我的账号是:8\n080,密码是:90\n90,"

import re
print(re.match("9999",mystr))
# 等价于group(0)将匹配的段落拿出来
print(re.match("9999",mystr1).group())
# 起始终止位置的索引
print(re.match("9999",mystr1).span())

②search

函数原型

re.search(pattern, string, flags=0)

参数说明：

参数	描述
pattern	匹配的正则表达式
string	要匹配的字符串。
flags	标志位，用于控制正则表达式的匹配方式，如：是否区分大小写，多行匹配等等。

匹配成功re.search方法返回一个匹配的对象，否则返回None。

函数作用

re.search 扫描整个字符串并返回第一个成功的匹配。
re.match 只匹配字符串的开始，如果字符串开始不符合正则表达式，
则匹配失败，函数返回 None，而 re.search 匹配整个字符串，直到找到一个匹配。

mystr="我的银行卡账号是:9999,密码是:000,我的学习通账号是:8080,密码是:9090,"
mystr1="9999,9999我的银行卡账号是:99\n99,密码是:000,我的学习通账号是:8\n080,密码是:90\n90,"

import re
print(re.search("9999",mystr).group())
print(re.search("9999",mystr1).group())
print(re.search("9999",mystr1).span())

③sub

函数原型

re.sub(pattern, repl, string, count=0, flags=0)

参数说明：

pattern : 正则中的模式字符串。
repl : 替换的字符串，也可为一个函数。
string : 要被查找替换的原始字符串。
count : 模式匹配后替换的最大次数，默认 0 表示替换所有的匹配。
flags : 编译时用的匹配模式，数字形式。
前三个为必选参数，后两个为可选参数。
默认全盘替换，可以指定count指定替换个数。

匹配成功re.search方法返回一个匹配的对象，否则返回None。

函数作用

用于替换字符串中的匹配项。

import re
print(re.sub("9999","xxxx",mystr1))

# 将匹配的数字乘于 2
def double(matched):
    value = int(matched.group('value'))
    return str(value * 2)

s = 'A23G4HFD567'
print(re.sub('(?P\d+)', double, s))

④cpmpile

函数原型

re.compile(pattern[, flags])

参数说明：

pattern : 一个字符串形式的正则表达式
flags 可选，表示匹配模式，比如忽略大小写，多行模式等，具体参数为：
    re.I 忽略大小写
    re.L 表示特殊字符集 \w, \W, \b, \B, \s, \S 依赖于当前环境
    re.M 多行模式
    re.S 即为' . '并且包括换行符在内的任意字符（' . '不包括换行符）
    re.U 表示特殊字符集 \w, \W, \b, \B, \d, \D, \s, \S 依赖于 Unicode 字符属性数据库
    re.X 为了增加可读性，忽略空格和' # '后面的注释

匹配成功re.search方法返回一个匹配的对象，否则返回None。

函数作用

compile 函数用于编译正则表达式，生成一个正则表达式（ Pattern ）对象
供 match() 和 search() 这两个函数使用。

import re
mystr="我的银行卡账号是:AASAa,密码是:000,我的学习通账号是:8080,密码是:9090,"
# 使用compile进行初始化
r1=re.compile("aaSaa",re.I)
print(r1.search(mystr).group())
# 不使用compile进行初始化
print(re.search("aaSaa",mystr))

⑤findall ----- (最常用)

函数原型

re.findall(pattern, string, flags=0)
或
pattern.findall(string[, pos[, endpos]])

参数说明：

pattern 匹配模式。
string 待匹配的字符串。
pos 可选参数，指定字符串的起始位置，默认为 0。
endpos 可选参数，指定字符串的结束位置，默认为字符串的长度。

匹配成功re.search方法返回一个匹配的对象，否则返回None。

函数作用（重要程度：☆☆☆☆☆）

在字符串中找到正则表达式所匹配的所有子串，并返回一个列表，
如果有多个匹配模式，则返回元组列表，如果没有找到匹配的，则返回空列表。
match 和 search 是匹配一次 findall 匹配所有。

import re
# 单匹配模式
mystr="我的9999银行9999卡账号是:AASAa,密码是:000,我的9999学习通账号是:8080,密码是:9090,"
ls=re.findall("9999",mystr)
print(ls)

# 多匹配模式
result = re.findall(r'(\w+)=(\d+)', 'set width=200px and height=100px')
print(result)

⑥finditer

函数原型

re.finditer(pattern, string, flags=0)

参数说明：

pattern	匹配的正则表达式
string	要匹配的字符串。
flags	标志位，用于控制正则表达式的匹配方式，如：是否区分大小写，多行匹配等等。

匹配成功re.search方法返回一个匹配的对象，否则返回None。

函数作用

和 findall 类似，在字符串中找到正则表达式所匹配的所有子串，并把它们作为一个迭代器返回。 

import re
 
it = re.finditer(r"\d+","12a32bc43jf3") 
for match in it: 
    print (match.group() )

⑦split

函数原型

re.split(pattern, string[, maxsplit=0, flags=0])

参数说明：

参数	描述
pattern	匹配的正则表达式
string	要匹配的字符串。
maxsplit	分割次数，maxsplit=1 分割一次，默认为 0，不限制次数。
flags	标志位，用于控制正则表达式的匹配方式，如：是否区分大小写，多行匹配等等。

函数作用

split 方法按照能够匹配的子串将字符串分割后返回列表 
与字符串中的split函数功能灰常类似
默认将所有可匹配的位置都进行切割

import re
# 单匹配模式
mystr="我的9999银行9999卡账号是:AASAa,密码是:000,我的9999学习通账号是:8080,密码是:9090,"
ls=re.split("9999",mystr,maxsplit=2)
print(ls)

---

正则表达式说到底也就是根据一个字符串的规则去匹配另外一个目标串，经过对目标串进行解析、替换得到想要的结果。

你学废了吗？