正则表达式（Re)，看这一篇就够了

正则表达式（Re）

一、介绍

什么是正则表达式？

正则表达式是对字符串（包括普通字符（例如，a 到 z 之间的字母）和特殊字符（称为“元字符”））操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。正则表达式是一种文本模式，该模式描述在搜索文本时要匹配的一个或多个字符串。

正则表达式可以干什么?

快速高效的查找与分析字符串
进行有规律查找比对字符串，也叫：模式匹配
具有查找、比对、匹配、替换、插入、添加、删除等能力。
字符串是编程时涉及到的最多的一种数据结构，对字符串进行操作的需求几乎无处不在。比如我们编写爬虫收集数据，首先都得到网页源码，但是我们要如何提取有效数据呢，这时候我们就需要使用正则表达式来进行匹配了

re模块

正则表达式是一个特殊的字符序列，它能帮助你方便的检查一个字符串是否与某种模式匹配。Python 自1.5版本起增加了re 模块，它提供 Perl 风格的正则表达式模式。re 模块使 Python 语言拥有全部的正则表达式功能。
由于Python的字符串本身也用\转义，所以要特别注意：

s = 'ABC\\-001' # Python的字符串
# 对应的正则表达式字符串变成：
# 'ABC\-001'

因此建议使用Python的r前缀，就不用考虑转义的问题了：

s = r'ABC\-001' # Python的字符串
# 对应的正则表达式字符串不变
# 'ABC\-001'

re模块符号大全

正则表达式模式
模式字符串使用特殊的语法来表示一个正则表达式：
字母和数字表示他们自身。一个正则表达式模式中的字母和数字匹配同样的字符串。
多数字母和数字前加一个反斜杠时会拥有不同的含义。
标点符号只有被转义时才匹配自身，否则它们表示特殊的含义。
反斜杠本身需要使用反斜杠转义。
由于正则表达式通常都包含反斜杠，所以你最好使用原始字符串来表示它们。模式元素(如 r'\t'，等价于 \\t )匹配相应的特殊字符。
下表列出了正则表达式模式语法中的特殊元素。如果你使用模式的同时提供了可选的标志参数，某些模式元素的含义会改变。

模式	描述
^	匹配字符串的开头
$	匹配字符串的末尾。
.	匹配任意字符，除了换行符，当re.DOTALL标记被指定时，则可以匹配包括换行符的任意字符。
[…]	用来表示一组字符,单独列出：[amk] 匹配 ‘a’，‘m’或’k’
[^…]	不在[]中的字符：[^abc] 匹配除了a,b,c之外的字符。
re*	匹配0个或多个的表达式。
re+	匹配1个或多个的表达式。
re?	匹配0个或1个由前面的正则表达式定义的片段，非贪婪方式
re{ n}	匹配n个前面表达式。例如，"o{2}“不能匹配"Bob"中的"o”，但是能匹配"food"中的两个o。
re{ n,}	精确匹配n个前面表达式。例如，"o{2,}“不能匹配"Bob"中的"o”，但能匹配"foooood"中的所有o。"o{1,}“等价于"o+”。"o{0,}"则等价于"o"。*
re{ n, m}	匹配 n 到 m 次由前面的正则表达式定义的片段，贪婪方式
a|b	匹配a或b
(re)	匹配括号内的表达式，也表示一个组
(?imx)	正则表达式包含三种可选标志：i, m, 或 x 。只影响括号中的区域。
(?-imx)	正则表达式关闭 i, m, 或 x 可选标志。只影响括号中的区域。
(?: re)	类似 (…), 但是不表示一个组
(?imx: re)	在括号中使用i, m, 或 x 可选标志
(?-imx: re)	在括号中不使用i, m, 或 x 可选标志
(?#…)	注释.
(?= re)	前向肯定界定符。如果所含正则表达式，以 … 表示，在当前位置成功匹配时成功，否则失败。但一旦所含表达式已经尝试，匹配引擎根本没有提高；模式的剩余部分还要尝试界定符的右边。
(?! re)	前向否定界定符。与肯定界定符相反；当所含表达式不能在字符串当前位置匹配时成功。
(?> re)	匹配的独立模式，省去回溯。
\w	匹配数字字母下划线
\W	匹配非数字字母下划线
\s	匹配任意空白字符，等价于 [\t\n\r\f]。
\S	匹配任意非空字符
\d	匹配任意数字，等价于 [0-9]。
\D	匹配任意非数字
\A	匹配字符串开始
\Z	匹配字符串结束，如果是存在换行，只匹配到换行前的结束字符串。
\z	匹配字符串结束
\G	匹配最后匹配完成的位置。
\b	匹配一个单词边界，也就是指单词和空格间的位置。例如， ‘er\b’ 可以匹配"never" 中的 ‘er’，但不能匹配 “verb” 中的 ‘er’。
\B	匹配非单词边界。‘er\B’ 能匹配 “verb” 中的 ‘er’，但不能匹配 “never” 中的 ‘er’。
\n, \t, 等。	匹配一个换行符。匹配一个制表符, 等
\1…\9	匹配第n个分组的内容。
\10	匹配第n个分组的内容，如果它经匹配。否则指的是八进制字符码的表达式。
注意	表中re指的是表达式而不是字面的re这两个字母。 为了逐字表达，必须在"^.$()|+?{\"这些字符前加上转义字符'\'。 请注意在方括号中，不需要转义字符。

例子:

1. 两个特殊的符号’^‘和’$'。他们的作用是分别指出一个字符串的开始和结束

   "^The"：表示所有以"The"开始的字符串（"There"，"The cat"等）； 
   "of despair$"：表示所以以"of despair"结尾的字符串； 
   "^abc$"：表示开始和结尾都是"abc"的字符串——只有"abc"自己； 
   "notice"：表示任何包含"notice"的字符串。
   

   也可以在方括号里用'^'表示不希望出现的字符，'^'应在方括号里的第一位。
   如："%[^a-zA-Z]%"表示两个百分号中不应该出现字母。

2. ''，'+'和'?'这三个符号，表示一个或一序列字符重复出现的次数。它们分别表示“没有或更多”，“一次或更多”还有“没有或一次”。

   "ab"：表示一个字符串有一个a后面跟着零个或若干个b。（"a", "ab", "abbb",……）；
   "ab+"：表示一个字符串有一个a后面跟着至少一个b或者更多；
   "ab?"：表示一个字符串有一个a后面跟着零个或者一个b；
   "a?b+$"：表示在字符串的末尾有零个或一个a跟着一个或几个b。
   

   也可以使用范围，用大括号括起，用以表示重复次数的范围。

   "ab{2}"：表示一个字符串有一个a跟着2个b（"abb"）；
   "ab{2,}"：表示一个字符串有一个a跟着至少2个b；
   "ab{3,5}"：表示一个字符串有一个a跟着3到5个b。
   请注意，你必须指定范围的下限（如："{0,2}"而不是"{,2}"）。还有，你可能注意到了，''，'+'和'?'相当于"{0,}"，"{1,}"和"{0,1}"。
   

3. '|'，表示“或”操作：

   "hi|hello"：表示一个字符串里有"hi"或者"hello"；
   "(b|cd)ef"：表示"bef"或"cdef"；
   "(a|b)c"：表示一串"a""b"混合的字符串后面跟一个"c"；
   

4. '.'可以替代任何字符：

   "a.[0-9]"：表示一个字符串有一个"a"后面跟着一个任意字符和一个数字； 
   "^.{3}$"：表示有任意三个字符的字符串（长度为3个字符）；
   方括号表示某些字符允许在一个字符串中的某一特定位置出现：
   "[ab]"：表示一个字符串有一个"a"或"b"（相当于"a¦b"）； 
   "[a-d]"：表示一个字符串包含小写的'a'到'd'中的一个（相当于"a¦b¦c¦d"或者"[abcd]"）； 
   "^[a-zA-Z]"：表示一个以字母开头的字符串； 
   "[0-9]%"：表示一个百分号前有一位的数字； 
   ",[a-zA-Z0-9]$"：表示一个字符串以一个逗号后面跟着一个字母或数字结束。
   

5. 实例讲解

   //校验是否全由数字组成
   /^[0-9]{1,20}$/
   
   ^ 表示打头的字符要匹配紧跟^后面的规则
   $ 表示打头的字符要匹配紧靠$前面的规则
   [ ] 中的内容是可选字符集
   [0-9] 表示要求字符范围在0-9之间
   {1,20}表示数字字符串长度合法为1到20，即为[0-9]中的字符出现次数的范围是1到20次。
   
   /^ 和 $/成对使用应该是表示要求整个字符串完全匹配定义的规则，而不是只匹配字符串中的一个子串。
   

   //校验登录名：只能输入5-20个以字母开头、可带数字、“_”、“.”的字串
   /^[a-zA-Z]{1}([a-zA-Z0-9]|[._]){4,19}$/
   
   ^[a-zA-Z]{1} 表示第一个字符要求是字母。
   ([a-zA-Z0-9]|[.*]){4,19} 表示从第二位开始（因为它紧跟在上个表达式后面）的一个长度为4到19位的字符串，它要求是由大小写字母、数字或者特殊字符集[.*]组成。
   

   //校验用户姓名：只能输入1-30个以字母开头的字串
   /^[a-zA-Z]{1,30}$/
   

   //校验密码：只能输入6-20个字母、数字、下划线
   /^(\w){6,20}$/
   
   \w：用于匹配字母，数字或下划线字符
   

   //校验普通电话、传真号码：可以“+”或数字开头，可含有“-” 和 “ ”
   
   /^[+]{0,1}(\d){1,3}[ ]?([-]?((\d)|[ ]){1,12})+$/
   
   \d：用于匹配从0到9的数字；
   “?”元字符规定其前导对象必须在目标对象中连续出现零次或一次
   
   可以匹配的字符串如：+123 -999 999 ； +123-999 999 ；123 999 999 ；+123 999999等
   

   //校验URL
   /^http[s]{0,1}:\/\/.+$/ 或 /^http[s]{0,1}:\/\/.{1,n}$/ (表示url串的长度为length(“<https://>”) + n )
   
   \ / ：表示字符“/”。
   . 表示所有字符的集
   
   + 等同于{1,}，就是1到正无穷吧。
   

   //校验纯中文字符
   /^[\u4E00-\u9FA5]+$/
   
   [\u4E00-\u9FA5] ：估计是中文字符集的范围吧
   

正则表达式修饰符 - 可选标志

正则表达式可以包含一些可选标志修饰符来控制匹配的模式。修饰符被指定为一个可选的标志。多个标志可以通过按位 OR(|) 它们来指定。如 re.I | re.M 被设置成 I 和 M 标志：

修饰符	描述
re.I	使匹配对大小写不敏感
re.L	做本地化识别（locale-aware）匹配
re.M	多行匹配，影响 ^ 和 $
re.S	使 . 匹配包括换行在内的所有字符
re.U	根据Unicode字符集解析字符。这个标志影响 \w, \W, \b, \B.
re.X	该标志通过给予你更灵活的格式以便你将正则表达式写得更易于理解。

正则表达式对象

• re.RegexObject
  • re.compile() 返回 RegexObject 对象。
• re.MatchObject
  • group() 返回被 RE 匹配的字符串。
  • start() 返回匹配开始的位置
  • end() 返回匹配结束的位置
  • span() 返回一个元组包含匹配 (开始,结束) 的位置

二、使用

准备知识

我们先来看看廖雪峰老师讲解的正则表达式：
正则表达式是用字符串表示的，所以，我们要首先了解如何用字符来描述字符。
在正则表达式中，如果直接给出字符，就是精确匹配。
使用特殊符号表示字符：用\d可以匹配一个数字，\w可以匹配一个字母或数字，例如：

• '00\d'可以匹配’007’，但无法匹配’00A’；
• '\d\d\d'可以匹配’010’；
• '\w\w\d'可以匹配’py3’。
• '.'可以匹配任意字符，所以：
• 'py.'可以匹配’pyc’、‘py3’、'py!'等等。

要匹配变长的字符，在正则表达式中，用*表示任意个字符（包括0个），用+表示至少一个字符，用?表示0个或1个字符，用{n}表示n个字符，用{n,m}表示n-m个字符。
来看一个复杂的例子：\d{3}\s+\d{3,8}。
我们来从左到右解读一下：

1. \d{3}表示匹配3个数字，例如’010’；
2. \s可以匹配一个空格（也包括Tab等空白符），所以\s+表示至少有一个空格，例如匹配’ ‘，’ '等；
3. \d{3,8}表示3-8个数字，例如’1234567’。

综合起来，上面的正则表达式可以匹配以任意个空格隔开的带区号的电话号码。
如果要匹配’010-12345’这样的号码呢？由于'-'是特殊字符，在正则表达式中，要用'\'转义，所以，上面的正则是\d{3}\-\d{3,8}。
但是，仍然无法匹配’010 - 12345’，因为带有空格。所以我们需要更复杂的匹配方式。

进阶知识

要做更精确地匹配，可以用[]表示范围，比如：

• [0-9a-zA-Z\_]可以匹配一个数字、字母或者下划线；
• [0-9a-zA-Z\_]+可以匹配至少由一个数字、字母或者下划线组成的字符串，比如’a100’，‘0_Z’，'Py3000’等等；
• [a-zA-Z\_][0-9a-zA-Z\_]*可以匹配由字母或下划线开头，后接任意个由一个数字、字母或者下划线组成的字符串，也就是Python合法的变量；
• [a-zA-Z\_][0-9a-zA-Z\_]{0, 19}更精确地限制了变量的长度是1-20个字符（前面1个字符+后面最多19个字符）。
• A|B可以匹配A或B，所以(P|p)ython可以匹配’Python’或者’python’。
• ^表示行的开头，^\d表示必须以数字开头。
• $表示行的结束，\d$表示必须以数字结束。
• py也可以匹配’python’，但是加上^py$就变成了整行匹配，就只能匹配’py’了。

re模常用方法

re.match()

re.match 尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配成功的话，match()就返回none。
函数语法：
re.match(pattern, string, flags=0)
函数参数说明：

参数	描述
pattern	匹配的正则表达式
string	要匹配的字符串。
flags	标志位，用于控制正则表达式的匹配方式，如：是否区分大小写，多行匹配等等。参见上方可选标志表格

注意：匹配成功re.match方法返回一个匹配的对象，否则返回None。
实例：

import re
print(re.match('www','www.baidu.com').span())
print(re.match('baidu','www.baidu.com'))

# 输出：
# (0, 3)
# None

第一个匹配成功，第二个则失败

re.search()

re.search 扫描整个字符串并返回第一个成功的匹配。
函数语法：
re.search(pattern, string, flags=0)
函数参数说明：

参数	描述
pattern	匹配的正则表达式
string	要匹配的字符串。
flags	标志位，用于控制正则表达式的匹配方式，如：是否区分大小写，多行匹配等等。参见上方可选标志表格

注意：匹配成功re.search方法返回一个匹配的对象，否则返回None。
实例：

import re
print(re.search('www','www.baidu.com'))
print(re.search('baidu','www.baidu.com'))

# 输出：
# <_sre.SRE_Match object; span=(0, 3), match='www'>
# <_sre.SRE_Match object; span=(4, 9), match='baidu'>

compile()

re.compile 用于编译正则表达式，生成一个正则表达式（ Pattern ）对象，re函数使用。
提前编译可减少多次正则匹配的运行时间
语法格式为：
re.compile(pattern[, flags])
函数参数说明：

参数	描述
pattern	匹配的正则表达式
flags	可选，表示匹配模式

re.findall()

re.findall() 在字符串中找到正则表达式所匹配的所有子串，并返回一个列表，如果没有找到匹配的，则返回空列表。
注意： match 和 search 是匹配一次 findall 匹配所有。

1. 用法1

   直接使用的语法格式为：
   re.findall(pattern, string, flags)
   函数参数说明：

   参数	描述
   pattern	正则表达式
   string	待匹配的字符串
   flags	re的一些flag，可不写

   实例：

   import re
   print(re.findall(pattern='\d+', string='abafa 124ddwa56'))
   
   # 输出：
   # ['124', '56']
   

2. 用法2

   compile后使用findall的语法格式为：re.findall(string, pos, endpos)
   函数参数说明：

   参数	描述
   string	正则表达式
   pos	待匹配的字符串
   endpos	re的一些flag，可不写

   实例：

   import re
   mat=re.compile(r'\d+')   # 匹配数字
   print(mat.findall('abafa 124ddwa56'))
   print(mat.findall('abafa 124ddwa56',0,7))   # 匹配从0位开始，到7位结束
   
   # 输出：
   # ['124', '56']
   # ['1']
   

re.finditer()

re.finditer和 re.findall 类似，在字符串中找到正则表达式所匹配的所有子串，并把它们作为一个迭代器返回。
语法格式为：
re.finditer(pattern, string, flags=0)
实例：

import re
it = re.finditer(r"\d+", "12a32bc43jf3")
for match in it:
    print(match.group())

# 输出：
# 12
# 32
# 43
# 3

re.split()

re.split 方法按照能够匹配的子串将字符串分割后返回列表，它的使用形式如下：
re.split(pattern, string[, maxsplit=0, flags=0])
函数参数说明：

参数	描述
pattern	匹配的正则表达式
string	要匹配的字符串。
maxsplit	分隔次数，maxsplit=1 分隔一次，默认为 0，不限制次数。
flags	标志位，用于控制正则表达式的匹配方式，如：是否区分大小写，多行匹配等等。参见上方可选标志表格

实例：

用正则表达式切分字符串比用固定的字符更灵活，请看正常的切分代码：

>>> 'a b   c'.split(' ')
['a', 'b', '', '', 'c']
# 发现无法识别连续的空格，用正则表达式试试：

>>> re.split(r'\s+', 'a b   c')
['a', 'b', 'c']
# 无论多少个空格都可以正常分割。加入,试试：

>>> re.split(r'[\s\,]+', 'a,b, c  d')
['a', 'b', 'c', 'd']
# 再加入;试试：

>>> re.split(r'[\s\,\;]+', 'a,b;; c  d')
['a', 'b', 'c', 'd']

re.group() & re.groups()

可以使用re.group(num) 或 re.groups() 匹配对象函数来获取匹配表达式。
函数参数说明：

匹配对象方法	描述
group(num=0)	匹配的整个表达式的字符串，group() 可以一次输入多个组号，在这种情况下它将返回一个包含那些组所对应值的元组。
groups()	返回一个包含所有小组字符串的元组，从 1 到 所含的小组号。

实例：

import re

m = re.match(r'^(\d{3})-(\d{3,8})$', '010-12345')
print(m.group(0))
print(m.group(1))
print(m.group(2))
print(m.groups())

# 输出：
# 010-12345
# 010
# 12345
# ('010', '12345')

re.sub()

Python 的re模块提供了re.sub用于替换字符串中的匹配项。
语法：
re.sub(pattern, repl, string, count=0, flags=0)
函数参数说明：

匹配对象方法	描述
pattern	正则中的模式字符串。
repl	替换的字符串，也可为一个函数。
string	要被查找替换的原始字符串。
count	模式匹配后替换的最大次数，默认 0 表示替换所有的匹配。
flags	编译时用的匹配模式，数字形式。

注意：前三个为必选参数，后两个为可选参数。
实例：

import re
phone = "2004-959-559 # 这是一个电话号码"
# 删除注释
num = re.sub(r'#.*$', "", phone)
print("电话号码 : ", num)
# 移除非数字的内容
num = re.sub(r'\D', "", phone)
print("电话号码 : ", num)

repl 参数可以是一个函数
以下实例中将字符串中的匹配的数字乘于 2：

import re
# 将匹配的数字乘于 2
def double(matched):
    value = int(matched.group('value'))
    return str(value * 2)
s = 'A23G4HFD567'
print(re.sub('(?P\d+)', double, s))
# 输出：
# A46G8HFD1134

贪婪匹配

需要特别指出的是，正则匹配默认是贪婪匹配，也就是匹配尽可能多的字符。举例如下，匹配出数字后面的0：

>>> re.match(r'^(\d+)(0*)$', '102300').groups()
('102300', '')

由于\d+采用贪婪匹配，直接把后面的0全部匹配了，结果0*只能匹配空字符串了。

必须让\d+采用非贪婪匹配（也就是尽可能少匹配），才能把后面的0匹配出来，加个?就可以让\d+采用非贪婪匹配：

>>> re.match(r'^(\d+?)(0*)$', '102300').groups()
('1023', '00')

三、正则表达式实例

字符匹配

实例	描述
python	匹配 “python”.

字符类

实例	描述
[Pp]ython	匹配 “Python” 或 “python”
rub[ye]	匹配 “ruby” 或 “rube”
[aeiou]	匹配中括号内的任意一个字母
[0-9]	匹配任何数字。类似于 [0123456789]
[a-z]	匹配任何小写字母
[A-Z]	匹配任何大写字母
[a-zA-Z0-9]	匹配任何字母及数字
[^aeiou]	除了aeiou字母以外的所有字符
[^0-9]	匹配除了数字外的字符

特殊字符类

实例	描述
.	匹配除 “\n” 之外的任何单个字符。要匹配包括 ‘\n’ 在内的任何字符，请使用象 ‘[.\n]’ 的模式。
\d	匹配一个数字字符。等价于 [0-9]。
\D	匹配一个非数字字符。等价于 [^0-9]。
\s	匹配任何空白字符，包括空格、制表符、换页符等等。等价于 [ \f\n\r\t\v]。
\S	匹配任何非空白字符。等价于 [^ \f\n\r\t\v]。
\w	匹配包括下划线的任何单词字符。等价于’[A-Za-z0-9_]'。
\W	匹配任何非单词字符。等价于 ‘[^A-Za-z0-9_]’。
[^aeiou]	除了aeiou字母以外的所有字符
[^0-9]	匹配除了数字外的字符