2019-05-08
一. 正则表达式
正则表达式就是做字符串匹配一种工具，很多语言都支持正则语法。正则语法是通用的
python中通过re模块中提供的方式来使用正则re.fullmatch(正则表达式, 字符串) - 完全匹配，检测字符串是否满足正则表达式的要求；
如果不匹配结果是None, 匹配结果是一个匹配对象python正则表达式 - r'正则'
js正则表达式 - /正则/
1. 匹配字符的符号
1.1 普通字符
- 普通字符在正则中代表字符本身， 例如, a, b, 1...等
re_str = r'hello'
result = re.fullmatch(re_str, 'hello')
print(result)
1.2 . .(匹配任意字符)
- 一个.匹配一个任意字符
# 匹配一个字符串有三个字符，第一个字符是a，最后一个字符是c, 第二个字符是任意字符
re_str = r'a.c'
result = re.fullmatch(re_str, 'a+c')
print(result)
1.3. \w(匹配字母、数字、下划线)
- 一个\w只能匹配一个字符
- 注意: 这个不严谨，还可以匹配中文等字符;
不能匹配ASCII码表中除了字母数字下划线以外的符号
# 匹配一个字符串第一个字符是字母、数字或者下划线，后面是'abc'
re_str = r'\wabc'
result = re.fullmatch(re_str, 'kabc')
print(result)
1.4 \s(匹配空白字符)
- 空白字符：空格、\t、\n
- 一个\s只能匹配一个空字符
# 匹配一个长度是8的字符，要求前三个字符是任意字符，中间两个空白字符，后面再三个任意字符
re_str = r'...\s\s...'
result = re.fullmatch(re_str, 'abc abc')
print(result)
result = re.fullmatch(re_str, '++-\n\t-++')
print(result)
result = re.fullmatch(re_str, '+ \t\t-++')
print(result)
1.5 \d(匹配数字字符)
re_str = r'\d\dabc'
result = re.fullmatch(re_str, '90abc')
print(result)
1.6 \W(匹配非数字、字母、下划线)
1.7 \S(匹配非空白字符)
re_str = r'\Sabc'
print(re.fullmatch(re_str, '+abc'))
1.8 \D(匹配非数字字符)
re_str = r'\Dabc'
print(re.fullmatch(re_str, '9abc'))
1.9
a. [普通字符集] - 匹配字符集中的任意一个字符
b. [字符1-字符2] - 匹配字符1到字符2中的任意一个字符(要求字符1的编码值小于字符2)
[0-9] - 匹配所有的数字
[a-z] - 匹配小写字母
[A-Z] - 匹配大写字母
[a-zA-Z] - 匹配所有的字母
[\da-zA-Z_] - 匹配字母数字下划线
[\u4e00-\u9fa5] - 匹配所有的中文
注意: 一个[]只能匹配一个字符
# 匹配一个长度是4的字符串，第一个字符是x或者y或者z, 后面是abc
re_str = r'[xyz]abc'
print(re.fullmatch(re_str, 'zabc'))
# 匹配一个长度是4的字符串, 第一个字符是数字或者x,y,z
re_str = r'[\dxyz]abc'
print(re.fullmatch(re_str, '3abc'))
# 匹配一个长度是4的字符串, 第一个字符是数字字符2-8中的一个
re_str = r'[2-8]abc'
print(re.fullmatch(re_str, '4abc'))
# 匹配一个长度是4的字符串, 第一个字符是数字字符2-8中的一个或者是x,y,z
re_str = r'[2-8xyz]abc'
print(re.fullmatch(re_str, 'zabc'))
# # 匹配一个长度是4的字符串, 第一个字符是中文字符
re_str = r'[\u4e00-\u9fa5]abc'
print(re.fullmatch(re_str, '胡abc'))
# re_str = r'[9-1]abc'
# print(re.fullmatch(re_str, '8abc')) # 报错！
1.10 [^]
"""
[^字符集] - 匹配不在字符集中任意一个字符
[^\u4e00-\u9fa5] - 匹配一个非中文字符
"""
# 匹配一个长度是4的字符串, 第一个字符不是x,y,z
re_str = r'[^xyz]abc'
print(re.fullmatch(re_str, 'zabc'))
# 匹配一个长度是4的字符串, 第一个字符不是中文字符
re_str = r'[^\u4e00-\u9fa5]abc'
print(re.fullmatch(re_str, '是abc'))
2.检测字符的符号
2.1 \b(检测单词边界)
"""
\b - 检查\b所在的位置是否是单词边界
单词边界 - 字符串开头、字符串结尾、空白、标点符号等
how are you,i am
"""
# 匹配一个长度是4的字符串，第一个字符是任意字符，后边是abc; 检测c的后面是否是单词边界
re_str = r'.abc\b'
print(re.fullmatch(re_str, '8abc'))
re_str = r'how\b\sare'
print(re.fullmatch(re_str, 'how are'))
2.2 ^(检测是否是字符串开头)
# 2 ^(检测是否是字符串开头)
re_str = r'^abc'
print(re.fullmatch(re_str, 'abc'))
print(re.search(r'^\d\d', 'has89kjkssss'))
2.3 $(检测是否是字符串结尾)
re_str = r'abc$'
print(re.fullmatch(re_str, 'abc'))
print(re.search(r'\d\d$', 'has89kjkssss77'))
3.转义符号
3.1 转义符号：在有特殊功能、意义的符号前加'',让这个正则符号变成普通符号
"""
注意: 除了^放在[]开头，和-放在两个字符之间以外， 其他单独的特殊符号，在[]没有特殊功能都是表示字符本身
"""
re_str = r'\d\d\.\d\d'
print(re.fullmatch(re_str, '89=78'))
re_str = r'\^\d\d\d'
print(re.fullmatch(re_str, '^789'))
re_str = r'\d\d[.]\d\d'
print(re.fullmatch(re_str, '23=45'))
# ^在[]中不是在开头就没有特殊意义
re_str = r'\d\d[a^]\d\d'
print(re.fullmatch(re_str, '23=45'))
# -在[]中只要不是放在两个字符之间都表示-本身s
re_str = r'\d\d[-a]\d\d'
print(re.fullmatch(re_str, '23-45'))
re_str = r'\d\d[1\-ka\]]\d\d'
print(re.fullmatch(re_str, '23-45'))
4.匹配次数
4. *(匹配0次或多次)
"""
字符* - 指定的字符出现0次或者多次
a* - 字符a匹配0次或者多次
\d* - 数字匹配0次或者多次
[a-z]* - 小写字母匹配0次或者多次
"""
re_str = r'a*bc'
print(re.fullmatch(re_str, 'bc'))
print(re.fullmatch(re_str, 'abc'))
print(re.fullmatch(re_str, 'aaabc'))
4.2 +(匹配1次或者多次)
# 匹配一个字符串开头是a,结束是b,中间至少一个数字
re_str = r'a\d+b'
re_str = r'a\d\d*b'
print(re.fullmatch(re_str, 'a89b'))
4.3. ?(0次或1次)
# 练习：写一个正则表达式，能够匹配一个整数字符串
# 283、-834、+823、9、-23
re_str = r'[-+]?\d+'
print(re.fullmatch(re_str, '-7890283024'))
4. {}
"""
{N} - 匹配N次
{M,N} - 匹配至少M次，最多N次
{M,} - 匹配至少M次
{,N} - 匹配最多N次
* == {0,}
+ == {1,}
? == {0,1}
"""
re_str = r'\d{4}'
print(re.fullmatch(re_str, '8273'))
re_str = r'\d{2,4}'
print(re.fullmatch(re_str, '889'))
re_str = r'[xyz]{,3}'
print(re.fullmatch(re_str, 'xy'))
# 练习: 写一个正则表达式判断密码是否符号要求：密码由数字和字母组成，并第一个字符是大写字母，长度是6-12位
re_str = r'[A-Z][a-zA-Z\d]{5,11}'
4.5.非贪婪
"""
1)贪婪 - 匹配次数不确定的时候尽可能多的匹配 （上面次数不确定的符号都是贪婪的）
2)非贪婪 - 匹配次数不确定的时候尽可能少的匹配 (上面次数不确定的符号后面加?就会变成非贪婪)
*? - 0次或多次, 尽可能少
+? - 1次或多次, 尽可能少
?? - 0次或1次, 尽可能少
{N,M}?
{M,}?
{,N}?
"""
re_str = r'a+'
print(re.search(re_str, 'baaaac'))
re_str = r'a+?'
print(re.search(re_str, 'baaaac'))
re_str = r'a.*b'
print(re.search(re_str, 'a12bmnb====')) # match='a12bmnb'
re_str = r'a.*?b'
print(re.search(re_str, 'a12bmnb====')) # match='a12b'
5. 分之和分组
5.1 |(分之)
"""
正则1|正则2 - 先用正则1进行匹配，如果匹配失败再用正则2匹配（正则1和正则2中只要有一个匹配成功就成功，两个失败了才失败）
注意: 如果正则1匹配成功了，不会再使用正则2去匹配
"""
# 匹配一个字符串，是abc或者xyz
# 'abc', 'xyz'
re_str = r'abc|xyz'
print(re.fullmatch(re_str, 'abc'))
re_str = r'\d{3}|[a-zA-Z]{4}|\+{3}'
print(re.fullmatch(re_str, '+++'))
re_str = r'x{3}|y{3}123'
print(re.fullmatch(re_str, 'yyy123'))
5.2.()-分组
"""
将部分正则作为一个整体
1.整体区分
re_str = r'(xxx|yyy)[A-Z]{2}[a-z]{2}\d{2}'
2.整体操作
re_str = r'(\d{2}[a-zA-Z]{2}){3}'
3.整体重复
\M - 重复前面第M个分组匹配到的内容
"""
# re_str = r'xxx[A-Z]{2}[a-z]{2}\d{2}|yyy[A-Z]{2}[a-z]{2}\d{2}'
re_str = r'(xxx|yyy)[A-Z]{2}[a-z]{2}\d{2}'
print(re.fullmatch(re_str, 'yyyASjk23'))
# '88js82ll67hj'
# re_str = r'\d{2}[a-zA-Z]{2}\d{2}[a-zA-Z]{2}\d{2}[a-zA-Z]{2}'
re_str = r'(\d{2}[a-zA-Z]{2}){3}'
print(re.fullmatch(re_str, '88js82ll67hj'))
# 89abc89, 11abc11
re_str = r'(\d\d)abc\1'
print(re.fullmatch(re_str, '90abc90'))
re_str = r'(\d{3})([a-z]{2})\2\1\2'
print(re.fullmatch(re_str, '234bnbn234bn'))
二. Python对正则表达式的支持 - re函数
1.(了解)compile(正则表达式) - 创建正则表达式对象
re_str = r'\d{3}'
re_obj = compile(re_str)
# fullmatch(re_str, '234')
# re_obj.fullmatch('234')
2.fullmatch - 完全匹配
fullmatch(正则表达式, 字符串) - 让正则和字符串完全匹配;匹配失败返回None,匹配成功返回匹配对象
对整个字符串进行检查的时候使用，比如判断账号、密码是否合法；手机号、邮箱是否合法等
"""
result = fullmatch(r'\d{3}[a-z]{2}[A-Z]{3}', '232anAHS')
print(result)
3.match - 匹配字符串开头
"""
match(正则表达式, 字符串) - 让正则和字符串开头匹配;匹配失败返回None,匹配成功返回匹配对象
"""
result = match(r'\d{3}', '3495hsjs02-3')
print(result)
4.search - 字符串查找
"""
search(正则表达式, 字符串) - 在字符串中找到第一个和正则表达式匹配的子串；没有匹配到就返回None,否则返回匹配对象
"""
result = search(r'a(\d{3})([A-Z]{2})', 'hello-a782KH--=23hjahsf')
print(result)
# 通过匹配对象能获取到以下内容
# a. 匹配结果
print(result.group()) # a782KH, 获取整个正则表达式匹配到的结果
print(result.group(1)) # 782, 获取第一个分组匹配到的结果
print(result.group(2)) # KH, 获取第二个分组匹配到的结果
# b.匹配范围(被匹配到的内容在原字符串中的范围-(开始下标,结束下标))
print(result.span())
print(result.start())
print(result.end())
# c.获取原字符串
print(result.string)
5. split - 字符串切割
"""
split(正则表达式, 字符串, 切割次数) - 将字符串按照满足正则表达式的子串进行切割;返回的是一个列表，列表中是被切开的子串
切割次数 - 不传参就全切
"""
print(split(r'\d+|[A-Z]+', 'hsj8kkjs9999lkjaHlks92jj8js9lkKIsj90kjkj', 1))
6.sub - 字符串替换
"""
sub(正则表达式,新字符串,原字符串, 替换次数) - 将原字符串中满足正则表达式的子串替换成新字符串
替换次数 - 不传参就全部替换
"""
# print('shdfjaha23hj79hjh902nm3jj'.replace('a','+'))
print(sub(r'\d+', '*', 'how hj2h aeu8js90njj8899nnnnas'))
print(sub(r'[操肏艹草曹]|[fF]uck|shit|傻[比屄逼叉缺吊屌]|煞笔', '*', '你丫是傻叉吗? 我操你大爷的. Fuck you.'))
7. findall - 查找所有
"""
findall(正则表达式, 字符串) - 在字符串中查找所有满足正则表达式的子串，以列的形式返回
"""
print(findall(r'\d+', 'ashd88hkjahs9hjs81hs123hj78'))
print(findall(r'\d+a', 'ashd88ahkjahs9hjs81hs123ahj78')) # ['8回首页8a', '123a']
# 有一个分组，只取分组匹配到的内容
print(findall(r'(\d+)a', 'ashd88ahkjahs9hjs81hs123ahj78')) # ['88', '123']
print(findall(r'(\d+)([a-z]{2})', 'ashd88ahkjahs9hjs81hs123ahj78')) # [('88', 'ah'), ('9', 'hj'), ('81', 'hs'), ('123', 'ah')]
# 注意：使用findall的时候，如果有分组想要取整个正则匹配的结果是取不到
print(findall(r'(\d[a-z]){3}\+', 'ahjs8a2a8j+胡士大夫9m2s0j+接收到sd8p+ss===')) # ['8j', '0j']
8. finditer - 查找所有
"""
finditer(正则表达式, 字符串) - 在字符串中查找所有满足正则表达式的子串； 返回一个迭代器，元素是每个子串对应的匹配对象
"""
result = finditer(r'(\d[a-z]){3}\+', 'ahjs8a2a8j+胡士大夫9m2s0j+接收到sd8p+ss===')
print(result)
for x in result:
print(x.group(), x.group(1))
def get_name():
with open('data.txt', encoding='utf-8') as f:
content = f.read()
print(content)
re_str = r'"name":"(.+?)",'
result = findall(re_str, content)
# result = re.findall(r'\d\d','ashjf89kjskdf90naskhfk899nn,nmf67jkhh56hkhjk78')
print(result)
# get_name()