【PYTHON3学习】正则表达式学习概括（1h入门，跳转链接可深入学习）
正则表达式
目录如下
- 正则表达式入门
- 为什么使用正则表达式？
- 组件——普通字符和元字符
- 限定符
- 定位符
- 特殊字符
- 正向预查和反向预查
- 反向引用
正则表达式入门
简言之，正则表达式(regular expression)描述了一种字符串匹配的模式（pattern），可以用来检查一个串是否含有某种子串、将匹配的子串替换或者从某个串中取出符合某个条件的子串等。
入门正则表达式最快最有效的方式便是例子——比如说查找硬盘文件时，会使用?和*等通配符：
1.data(\w)?\.dat
将查找如下文件：
data.dat
data1.dat
data2.dat
datax.dat
dataN.dat
-
?匹配0或1个字符 -
*匹配0或多个字符
实例1
只允许英文字母、数字、下划线、英文句号、以及中划线组成
举例：[email protected]
分析邮件名称部分：
- 26个大小写英文字母表示为
a-zA-Z - 数字表示为
0-9 - 下划线表示为
_ - 中划线表示为
- - 由于名称是由若干个字母、数字、下划线和中划线组成，所以需要用到
+表示多次出现
outlook邮箱正则如下：
[a-zA-Z0-9_-]+@outlook.com
为什么使用正则表达式？
典型的搜索和替换操作要求您提供与预期的搜索结果匹配的确切文本。虽然这种技术对于对静态文本执行简单搜索和替换任务可能已经足够了，但它缺乏灵活性，若采用这种方法搜索动态文本，即使不是不可能，至少也会变得很困难。
通过使用正则表达式，可以：
-
测试字符串内的模式。
例如，可以测试输入字符串，以查看字符串内是否出现电话号码模式或信用卡号码模式。这称为数据验证。实例:
#re.search 扫描整个字符串并返回第一个成功的匹配。
#re.search(pattern, string, flags=0)
import re
phonePatt=re.compile(r'(13[0-9][0-9]{4}[0-9]{4})')
info='电话：13529384859'
print('电话：',phonePatt.search(info).group(1))
-
替换文本。
可以使用正则表达式来识别文档中的特定文本，完全删除该文本或者用其他文本替换它。实例1:
#re模块提供了re.sub用于替换字符串中的匹配项。
#re.sub(pattern, repl, string, count=0, flags=0)
'''
repl : 替换的字符串，也可为一个函数。
count : 模式匹配后替换的最大次数，默认 0 表示替换所有的匹配。
flags : 编译时用的匹配模式，数字形式。
'''
import re
phone='电话：13529384859 #欠费了'
#删除注释
num=re.sub(r'#.*$','',phone)
print('phonenumber:',num)
#移除非数字内容
num=re.sub(r'\D','',phone)
print('phonenumber:',num)
-
基于模式匹配从字符串中提取子字符串。
可以查找文档内或输入域内特定的文本。此处需要了解捕获组以及非捕获组
例如，您可能需要搜索整个网站，删除过时的材料，以及替换某些 HTML 格式标记。在这种情况下，可以使用正则表达式来确定在每个文件中是否出现该材料或该 HTML 格式标记。此过程将受影响的文件列表缩小到包含需要删除或更改的材料的那些文件。然后可以使用正则表达式来删除过时的材料。最后，可以使用正则表达式来搜索和替换标记。
| 命令或环境 | . | [] | ^ | $ | \(\) | \{\} | ? | + | | | () |
|---|---|---|---|---|---|---|---|---|---|---|
| python | √ | √ | √ | √ | √ | √ | √ | √ | √ | √ |
组件——普通字符和元字符
正则表达式的组件可以是单个的字符、字符集合、字符范围、字符间的选择或者所有这些组件的任意组合。
普通字符
包括没有显式指定为元字符的所有可打印和不可打印字符，即大写和小写字母、所有数字、所有标点符号和一些其他符号。
非打印字符
| 字符 | 描述 |
|---|---|
| \cx | 匹配由x指明的控制字符。例如， \cM 匹配一个 Control-M 或回车符。x 的值必须为 A-Z 或 a-z 之一。否则，将 c 视为一个原义的 ‘c’ 字符。 |
| \f | 匹配一个换页符。等价于 \x0c 和 \cL。 |
| \n | 匹配一个换行符。等价于 \x0a 和 \cJ。 |
| \r | 匹配一个回车符。等价于 \x0d 和 \cM。 |
| \s | 匹配任何空白字符，包括空格、制表符、换页符等等。等价于 [ \f\n\r\t\v]。注意 Unicode 正则表达式会匹配全角空格符。 |
| \S | 匹配任何非空白字符。等价于 [^ \f\n\r\t\v]。 |
| \t | 匹配一个制表符。等价于 \x09 和 \cI。 |
| \v | 匹配一个垂直制表符。等价于 \x0b 和 \cK。 |
特殊字符——元字符
许多元字符要求在试图匹配它们时特别对待。若要匹配这些特殊字符，必须首先使字符"转义"，即，将反斜杠字符\ 放在它们前面。下表列出了正则表达式中的特殊字符：
| 元字符 | 描述 |
|---|---|
| $ | 匹配输入字符串的结尾位置。如果设置了 RegExp 对象的 Multiline 属性，则 $ 也匹配 ‘\n’ 或 ‘\r’。要匹配 $ 字符本身，请使用\$。 |
| ( ) | 标记一个子表达式的开始和结束位置。子表达式可以获取供以后使用。要匹配这些字符，请使用\( 和\)。 |
| * | 匹配前面的子表达式零次或多次。要匹配 * 字符，请使用\ *。——贪婪 |
| + | 匹配前面的子表达式一次或多次。要匹配 + 字符，请使用\ +。——贪婪 |
| . | 匹配除换行符 \n 之外的任何单字符。要匹配 . ，请使用 \. 。 |
| [] | 标记一个中括号表达式的开始和结束。要匹配 [，请使用 \[。 |
| ? | 匹配前面的子表达式零次或一次，或指明一个非贪婪限定符。要匹配 ? 字符，请使用 ?。 |
| \ | 将下一个字符标记为或特殊字符、或原义字符、或向后引用、或八进制转义符。例如， ‘n’ 匹配字符 ‘n’。’\n’ 匹配换行符。序列 ‘\\’ 匹配 “\”，而 ‘\(’ 则匹配 “(”。 |
| ^ | 匹配输入字符串的开始位置；除非在方括号表达式中使用，表示不接受该方括号表达式中的字符集合。要匹配 ^ 字符本身，请使用 \^。 |
| { | 标记限定符表达式的开始。要匹配 {，请使用 \{。 |
| | | 指明两项之间的一个选择。要匹配 |，请使用 \ |
贪婪与非贪婪模式影响的是被量词修饰的子表达式的匹配行为，贪婪模式在整个表达式匹配成功的前提下，尽可能多的匹配，而非贪婪模式在整个表达式匹配成功的前提下，尽可能少的匹配。非贪婪模式只被部分NFA引擎所支持。
实例:
str='油菜花紫菜花
'
#贪婪匹配
pattern_greed='<.*>' #会匹配整个字符串
#后面加上一个?就可以实现非贪婪或最小匹配
pattern_nongreed='<.*?>' #结果
限定符
限定符用来指定正则表达式的一个给定组件必须要出现多少次才能满足匹配。有 * 或 + 或 ? 或 {n} 或 {n,} 或 {n,m} 共6种
| 限定符 | 描述 |
|---|---|
| * | 匹配前面的子表达式零次或多次。例如，zo* 能匹配 “z” 以及 “zoo”。* 等价于{0,}。 |
| + | 匹配前面的子表达式一次或多次。例如，‘zo+’ 能匹配 “zo” 以及 “zoo”，但不能匹配 “z”。+ 等价于 {1,}。 |
| ? | 匹配前面的子表达式零次或一次。例如，“do(es)?” 可以匹配 “do” 、 “does” 中的 “does” 、 “doxy” 中的 “do” 。? 等价于 {0,1}。 |
| {n} | n 是一个非负整数。匹配确定的 n 次。例如，‘o{2}’ 不能匹配 “Bob” 中的 ‘o’，但是能匹配 “food” 中的两个 o。 |
| {n,} | n 是一个非负整数。至少匹配n 次。例如，‘o{2,}’ 不能匹配 “Bob” 中的 ‘o’，但能匹配 “foooood” 中的所有 o。‘o{1,}’ 等价于 ‘o+’。‘o{0,}’ 则等价于 ‘o*’。 |
| {n,m} | m 和 n 均为非负整数，其中n <= m。最少匹配 n 次且最多匹配 m 次。例如，“o{1,3}” 将匹配 “fooooood” 中的前三个 o。‘o{0,1}’ 等价于 ‘o?’。请注意在逗号和两个数之间不能有空格。 |
定位符
定位符使您能够将正则表达式固定到行首或行尾。它们还使您能够创建这样的正则表达式，这些正则表达式出现在一个单词内、在一个单词的开头或者一个单词的结尾。
| 定位符 | 描述 |
|---|---|
| ^ | 匹配输入字符串开始的位置。如果设置了 RegExp 对象的 Multiline 属性，^ 还会与 \n 或 \r 之后的位置匹配。 |
| $ | 匹配输入字符串结尾的位置。如果设置了 RegExp 对象的 Multiline 属性，$ 还会与 \n 或 \r 之前的位置匹配。 |
| \b | 匹配一个单词边界，即字与空格间的位置。 |
| \B | 非单词边界匹配——任何其他位置 |
^和$都好理解，但什么是\b，什么是单词边界呢？
**注意：**不能将限定符与定位符一起使用。由于在紧靠换行或者单词边界的前面或后面不能有一个以上位置，因此不允许诸如 ^* 之类的表达式。
实例：
#匹配一个章节标题，该标题只包含两个尾随数字，并且出现在行首
p1='^Chapter [1-9][0-9]{0,1}'
#由于一般标题独占一行，避免匹配交叉引用
p2='^Chapter [1-9][0-9]{0,1}$'
#匹配单词 Chapter 的开头三个字符，因为这三个字符出现在单词边界后面
p3='\bCha'
'''\b 字符的位置是非常重要的。如果它位于要匹配的字符串的开始，它在单词的开始处查找匹配项。如果它位于字符串的结尾，它在单词的结尾处查找匹配项'''
#匹配单词 Chapter 中的字符串ter
p4='ter\b'
#匹配 Chapter 中的字符串 apt，但不匹配 aptitude 中的字符串 apt
p5='\Bapt' #对于 \B 非单词边界运算符，位置不重要，因为不关心究竟是单词的开头还是结尾。
特殊字符类
| 特殊字符 | 描述 |
|---|---|
| . | 匹配除 “\n” 之外的任何单个字符。要匹配包括 ‘\n’ 在内的任何字符，请使用像 ‘[.\n]’ 的模式。 |
| \d | 匹配一个数字字符。等价于 [0-9]。 |
| \D | 匹配一个非数字字符。等价于 [^0-9]。 |
| \s | 匹配任何空白字符，包括空格、制表符、换页符等等。等价于 [ \f\n\r\t\v]。 |
| \S | 匹配任何非空白字符。等价于 [^ \f\n\r\t\v]。 |
| \w | 匹配包括下划线的任何单词字符。等价于’[A-Za-z0-9_]’。 |
| \W | 匹配任何非单词字符。等价于 ‘[^A-Za-z0-9_]’。 |
正向预查和反向预查
用圆括号将所有选择项括起来，相邻的选择项之间用|分隔。但用圆括号会有一个副作用，使相关的匹配会被缓存，此时可用?:放在第一个选项前来消除这种副作用。
其中**?:**是非捕获元之一，还有两个非捕获元是**?=**和**?!**，这两个还有更多的含义，前者为正向预查，在任何开始匹配圆括号内的正则表达式模式的位置来匹配搜索字符串，后者为负向预查，在任何开始不匹配该正则表达式模式的位置来匹配搜索字符串。
- (?:pattern) 非获取匹配，匹配pattern但不获取匹配结果，不进行存储供以后使用。这在使用或字符“(|)”来组合一个模式的各个部分是很有用。例如“industr(?:y|ies)”就是一个比“industry|industries”更简略的表达式。
- (?=pattern) 非获取匹配，正向肯定预查（要匹配的文本先满足此子模式前面的表达式——此处Windows），在任何匹配pattern的字符串开始处匹配查找字符串，该匹配不需要获取供以后使用。例如，“Windows(?=95|98|NT|2000)”能匹配“Windows2000”中的“Windows”，但不能匹配“Windows3.1”中的“Windows”。预查不消耗字符，也就是说，在一个匹配发生后，在最后一次匹配之后立即开始下一次匹配的搜索，而不是从包含预查的字符之后开始。
- (?!pattern) 非获取匹配，正向否定预查，在任何不匹配pattern的字符串开始处匹配查找字符串，该匹配不需要获取供以后使用。例如“Windows(?!95|98|NT|2000)”能匹配“Windows3.1”中的“Windows”，但不能匹配“Windows2000”中的“Windows”。
- (?<=pattern) 非获取匹配，反向肯定预查（要匹配的文本先满足此子模式后面的表达式——此处Windows），与正向肯定预查类似，只是方向相反。例如，“(?<=95|98|NT|2000)Windows”能匹配“2000Windows”中的“Windows”，但不能匹配“3.1Windows”中的“Windows”。pattern中不能有+,*等不定长度的量词
- (? 非获取匹配，反向否定预查，与正向否定预查类似，只是方向相反。例如“(?pattern中不能有+,*等不定长度的量词
实例：
a. 检测密码强度
强密码(必须包含大小写字母和数字的组合，不能使用特殊字符，长度在 8-10 之间)：
^(?=.*\d)(?=.*[a-z])(?=.*[A-Z])[a-zA-Z0-9]{8,10}$。使用了正向肯定预查，可以使用.*，且预查不消耗字符。
强密码(必须包含大小写字母和数字的组合，可以使用特殊字符，长度在 8-10 之间)：
^(?=.*\d)(?=.*[a-z])(?=.*[A-Z]).{8,10}$。使用了正向肯定预查，可以使用.*，且预查不消耗字符。
反向引用
对一个正则表达式模式或部分模式两边添加圆括号将导致相关匹配存储到一个临时缓冲区中，所捕获的每个子匹配都按照在正则表达式模式中从左到右出现的顺序存储。缓冲区编号从 1 开始，最多可存储 99 个捕获的子表达式。每个缓冲区都可以使用 \n 访问，其中 n 为一个标识特定缓冲区的一位或两位十进制数。
可以使用非捕获元字符 ?:、?= 或 ?! 来重写捕获，忽略对相关匹配的保存。
反向引用的作用通常是用来查找或限定重复、查找或限定指定标识配对出现等等。
表达式在匹配时，表达式引擎会将小括号 “( )” 包含的表达式所匹配到的字符串记录下来。在获取匹配结果的时候，小括号包含的表达式所匹配到的字符串可以单独获取。
“\1” 引用第1对括号内匹配到的字符串，”\2” 引用第2对括号内匹配到的字符串……以此类推。
如果一对括号内包含另一对括号，则外层的括号先排序号。换句话说，哪一对的左括号 “(“ 在前，那这一对为先。
实例：
供查找文本中两个相同的相邻单词的匹配项的能力。
#查找重复4次以上不包括4次的单词
import re
s1 = 'aaa bbbb ffffff 999999999'
patt1 =re.compile(r'(\w)(?=\1\1\1\1)(\1+)')
print(patt1.findall(s1))
[('b', 'bbb'), ('f', 'fffff'), ('9', '99999999')]
#findall()在字符串中找到正则表达式所匹配的所有子串，并返回一个列表，如果没有找到匹配的，则返回空列表。
#\1 指定第一个子匹配项
实例2：
import os
def backrefer(regex,subject):
return re.findall(regex,subject)
#匹配出三连的字符串
fa=backrefer(r'(.+)\1\1','d123123123e')
#['123']
fa1=backrefer(r'((.+))\1\2','d123123123e')
#['123']
#匹配出html标签内的文字
ht1=backrefer(r'.*<(.+)>(.*)<\/\1>.*','asdwasssd sdasdd')
#[('td', 'ssd')] ——【（标签，内容）】
实例3：
当一条字符串中含有2（组/个）连续的字符时，该字符串可以称之为“连续的字符串”。
例：2034384538452可以成为“连续的字符串”，因为其含有2次连续的3845。
请找出能够判断“连续的字符串”的方法，输入可以用字符串或数组，输入不能为空，并且字符串长度必须大于等于1。
题主使用1与0来区分true和false，挑战者也可以使用其他不同的值来区分true/false。
'''
abcab -> 0
bdefdefg -> 1
Hello, World! -> 1
pp.pp/pp -> 1
q -> 0
21020121012021020120210121020121012021012102012021020121012021020120210121020120210201210120210121020121012021020120210121020121012021012102012021020121012021012102012101202102012021012102012021020121012021020120210121020121012021012102012021020121012021020120210121020120210201210120210121020121012021020120210121020120210201210120210201202101210201210120210121020120210201210120210121020121012021020120210121020121012021012102012021020121012021020120210121020120210201210120210121020121012021020120 -> 0
'''
import backrefer
instance3=backrefer(r'(.+)\1',input())