2018-10-23正则表达式

一、正则表达式语法

正则表达式是用匹配或者描述字符串的工具

用处：
a. 判断字符串是否满足某个条件---判断输入的字符串是否是邮箱/手机号码，是否是IP地址
b. 提前满足条件的字符串
c. 字符串替换

python中通过re模块中相应的方法来支持正则表达式的匹配、查找和替换的功能

from re import fullmatch

fullmatch(正则表达式，字符串) ---> 判断正则表达式和字符串是否完全匹配
正则表达式字符串：就是一个字符串，字符串中是正则表达式语法。r'正则表达式'
正则表达式中包含两个部分，一个是正则语法对应的字符，二个是普通字符

1 . (匹配任意字符)

一个.只匹配一个任意字符

# 匹配一个长度是3的字符串，第一个字符是'a',第二个字符是任意字符，最后一个字符是'b'
re_str = r'a.b'
result = fullmatch(re_str, 'a&b')
print(result)  # <_sre.SRE_Match object; span=(0, 3), match='a&b'>
result = fullmatch(re_str, 'b&b')
print(result)  # None
result = fullmatch(re_str, 'a\b')
print(result)  # None
result = fullmatch(re_str, 'a\\b')
print(result)  # <_sre.SRE_Match object; span=(0, 3), match='a\\b'>
# 匹配一个长度是4，第一个字符和最后一个字符分别是a和b，中间两个字符是任意字符的字符串
re_str = r'a..b'
result = fullmatch(re_str, 'a&*b')
print(result)  # <_sre.SRE_Match object; span=(0, 4), match='a&*b'>

2 \w （匹配字母数字下划线）

一个\w 匹配一个字符

# 匹配一个第一个字符是数字字母或者下划线，后面三个字符是任意字符的字符串
re_str = r'\w...'
result = fullmatch(re_str, 'a8js')
print(result)  # <_sre.SRE_Match object; span=(0, 4), match='a8js'>

3 \s (匹配任意空白字符）

空白字符：空格、制表符、回车（换行）等，都输入空白字符
一个\s匹配一个空白字符

re_str = r'a\sb'
result = fullmatch(re_str, 'a b')
print(result)  # <_sre.SRE_Match object; span=(0, 3), match='a b'>
result = fullmatch(re_str, 'a\nb')
print(result)  # <_sre.SRE_Match object; span=(0, 3), match='a\nb'>

4\d (匹配数字字符)

re_str = r'\d\d\d'
result = fullmatch(re_str, '520')
print(result)  # <_sre.SRE_Match object; span=(0, 3), match='520'>

5 \b（检测边界）

"""
一个\b不会去匹配一个字符，而是单纯的检测\b出现的位置是否是单词边界
单词边界：字符串开始和结尾、空格、换行、标点符号等，可以将两个单词隔开的字符都是单词边界

re_str = r'ab\bc'
result = fullmatch(re_str, 'ab, c')
print(result)  # None
re_str = r'ab\b,\sc'
result = fullmatch(re_str, 'ab, c')
print(result)  # <_sre.SRE_Match object; span=(0, 5), match='ab, c'>

6 ^ (检测是否是字符串开头)

在查找中有用

re_str = r'^\d\d\d'  # 判断一个字符串是否是三个数字开头
result = fullmatch(re_str, '123')
print(result)  # <_sre.SRE_Match object; span=(0, 3), match='123'>
result = fullmatch(re_str, '1^23')
print(result)  # None

7 $ （检测是否是字符串结尾)

re_str = r'abc$'
result = fullmatch(re_str, 'abc')
print(result)  # <_sre.SRE_Match object; span=(0, 3), match='abc'>

8 \W (匹配非字母、数字下划线)

re_str = r'\Wabc'
result = fullmatch(re_str, '+abc')
print(result)  # <_sre.SRE_Match object; span=(0, 4), match='+abc'>

9 \S (匹配非空白字符)

re_str = r'\S...'
result = fullmatch(re_str, ' #sf')
print(result)  # None

10 \D (匹配非数字字符)

re_str = r'\D\W\W\W'
result = fullmatch(re_str, 'a*@^')
print(result)  # <_sre.SRE_Match object; span=(0, 4), match='a*@^'>

11 \B (检测是否不是单词边界）

re_str = r'and\Byou'
result = fullmatch(re_str, 'andyou')
print(result)  # <_sre.SRE_Match object; span=(0, 6), match='andyou'>

12 [] (匹配中括号中出现的任意一个字符)

一个[]匹配一个字符
[字符集] --> 匹配一个字符，这字符是字符集中的任意一个字符
例如：[abc], [\d+]

[字符1-字符2] --> 匹配一个字符，这个字符是Unicode编码值在字符1到字符2中的任意一个字符
要求字符1的编码值要小于字符2
例如：[1-9] --> 数字1到9 [a-z] --> 小写字母a到z
[\u0031-\u0039] --> 数字1到9
[\u4E00-\u9fa5] --> 匹配所有的汉字

# 匹配一个第一个字符是a或者b或者c,后面是aaa的字符串
re_str = r'[abc]aaa'
result = fullmatch(re_str, 'caaa')
print(result)  # <_sre.SRE_Match object; span=(0, 4), match='caaa'>
result = fullmatch(re_str, 'aaaa')
print(result)  # <_sre.SRE_Match object; span=(0, 4), match='aaaa'>
result = fullmatch(re_str, 'daaa')
print(result)  # None

re_str = r'[1-4]\d\d\d'
result = fullmatch(re_str, '2728')
print(result)  # <_sre.SRE_Match object; span=(0, 4), match='2728'>

re_str = r'[\u0031-\u0039][a-z]'
result = fullmatch(re_str, '9h')
print(result)  # <_sre.SRE_Match object; span=(0, 2), match='9h'>

re_str = r'[\u4E00-\u9fa5][\u4E00-\u9fa5][\u4E00-\u9fa5]'
result = fullmatch(re_str, '敲尼玛')
print(result)  # <_sre.SRE_Match object; span=(0, 3), match='敲尼玛'>

re_str = r'[19-]'
result = fullmatch(re_str, '-')
print(result)  # <_sre.SRE_Match object; span=(0, 1), match='-'>

re_str = r'[19-]'
result = fullmatch(re_str, '8')
print(result)  # None

re_str = r'[15-9]'
result = fullmatch(re_str, '8')
print(result)  # <_sre.SRE_Match object; span=(0, 1), match='8'>

# 匹配一个字符，是字母数字下划线或者是空白
re_str = r'[\w\s]'
result = fullmatch(re_str, 'u')
print(result)  # <_sre.SRE_Match object; span=(0, 1), match='u'>

13 [^字符集] (匹配一个不在字符集中的任意字符)

注意：^必须放在中括号中的最前面才有效

# 匹配一个四位的字符串，第一位不是abc中的任意一个，后面三位是任意字符
re_str = r'[^abc]...'
result = fullmatch(re_str, 'd*f(')
print(result)  # <_sre.SRE_Match object; span=(0, 4), match='d*f('>

re_str = r'[^1-9]...'
result = fullmatch(re_str, '8sdf')
print(result)  # None

二、正则表达式次数相关符号

from re import fullmatch

1 *(匹配0次或者多次)

字符* --> 字符出现0次或者多次

# 匹配0位或者多为的数字字符串
re_str = r'\d*'
print(fullmatch(re_str, ''))  # <_sre.SRE_Match object; span=(0, 0), match=''>
print(fullmatch(re_str, '1'))  # <_sre.SRE_Match object; span=(0, 1), match='1'>
print(fullmatch(re_str, '12'))  # <_sre.SRE_Match object; span=(0, 2), match='12'>
print(fullmatch(re_str, 'a'))  # None

练习：用一个正则表达式来检测一个标识符是否符号要求：数字字母下划线组成，数字不能开头(位数至少1位)

re_str = r'[a-zA-Z_]\w*'
print(fullmatch(re_str, 'cat1'))  # <_sre.SRE_Match object; span=(0, 4), match='cat1'>

2 + (匹配一次或者多次)

# abc前面有一个或者多个数字的字符串
re_str = r'\d+abc'
print(fullmatch(re_str, 'abc'))  # None
print(fullmatch(re_str, '123abc'))  # <_sre.SRE_Match object; span=(0, 6), match='123abc'>

3 ? (匹配0次或者1次）

re_str = r'a?123'
print(fullmatch(re_str, 'a123'))  # <_sre.SRE_Match object; span=(0, 4), match='a123'>

练习：写一个正则表达式，匹配所有的整数（123，-1234，+9,……可以匹配的，
012，-012，+012不能匹配）

re_str = '[-+]?[1-9]\d*'
print(fullmatch(re_str, '9'))  # <_sre.SRE_Match object; span=(0, 1), match='9'>

4 {}(指定次数）

{N} --> 匹配N次
{M,N} --> 匹配M到N次
{M,} --> 至少匹配M次
{,N} --> 最多匹配N次

re_str = r'\d{3}'
print(fullmatch(re_str, '123'))  # <_sre.SRE_Match object; span=(0, 3), match='123'>

re_str = r'\d{3,}'
print(fullmatch(re_str, '1234'))  # <_sre.SRE_Match object; span=(0, 4), match='1234'>

re_str = r'\d{,3}'
print(fullmatch(re_str, '23'))  # <_sre.SRE_Match object; span=(0, 2), match='23'>

re_str = r'[a-z]{2,5}'
print(fullmatch(re_str, 'abc'))  # <_sre.SRE_Match object; span=(0, 3), match='abc'>
print(fullmatch(re_str, 'abcdef'))  # None

练习： 判断密码是否符合要求：密码是由数字和字母组成，并且位数是6-16位

re_str = '[\da-zA-Z]{6,16}'

三、分支结构

import re

1 | （分支）

条件1|条件2 --> 先用条件1去匹配，如果匹配成功就匹配成功，如果条件1匹配失败，用条件2去匹配。
注意：如果条件1匹配成功，就不会用条件2再去匹配

re_str = r'[a-z]{3}|[A-Z]{3}'
print(re.fullmatch(re_str, 'abc'))  # <_sre.SRE_Match object; span=(0, 3), match='abc'>
print(re.fullmatch(re_str, 'ABc'))  # None

# 能匹配成功的是abc,d和aaa
re_str = r'abc|d|aaa'
print(re.fullmatch(re_str, 'd'))  # <_sre.SRE_Match object; span=(0, 1), match='d'>

# 'abc'+W/H/Y
re_str = r'abc(W|H|Y)'
print(re.fullmatch(re_str, 'abcY'))  # <_sre.SRE_Match object; span=(0, 4), match='abcY'>

2 ()(分组)

a.组合（将括号中的内容作为一个整体进行操作）
b.捕获 （使用带括号的正则表达式匹配成功后，值获取括号中的内容）
c.重复 （在正则表达式中，可以通过\数字来重复前面()中匹配到的结果，数字代表前第几个分组）

# 匹配一个字符串，以数字字母的组合出现3次
re_str = r'(\d[a-zA-Z]){3}'
print(re.fullmatch(re_str, '2h3j5k'))  # <_sre.SRE_Match object; span=(0, 6), match='2h3j5k'>

捕获

re_str = r'\d{3}abc'
print(re.findall(re_str, 'sdfsfsf123abc543abcgfs645abcdgffdg'))  # ['123abc', '543abc', '645abc']
re_str = r'(\d{3})abc'
print(re.findall(re_str, 'sdfsfsf123abc543abcgfs645abcdgffdg'))  # ['123', '543', '645']

重复

re_str = r'([a-z]{3})-\1'
print(re.fullmatch(re_str, 'abc-abc'))  # <_sre.SRE_Match object; span=(0, 7), match='abc-abc'>
re_str = r'([a-z]{3})-(\d{2})\1\2'
print(re.fullmatch(re_str, 'abc-45abc45'))  # <_sre.SRE_Match object; span=(0, 11), match='abc-45abc45'>

3 转义符号

正则表达式中可以通过在特殊的符号前加\，使特殊的符号没有意义
.+*^$等都有特殊的功能，
注意：在中括号有特殊功能的符号，只代表符号本身
\不管在哪儿都需要转义
-在[]外面没有特殊功能，在[]中要表示-本身，就不要放在两个字符之间
()需要转义

re_str = r'\d{2}\.\d{2}'
print(re.fullmatch(re_str, '12.43'))  # <_sre.SRE_Match object; span=(0, 5), match='12.43'>

re_str = r'\d\+\d'
print(re.fullmatch(re_str, '3+3'))  #<_sre.SRE_Match object; span=(0, 3), match='3+3'>

re_str = r'\\'
print(re.fullmatch(re_str, '\\'))  # <_sre.SRE_Match object; span=(0, 1), match='\\'>

四、re模块中的函数

import re

1. compile

compile(正则表达式字符串) --> 将正则表达式字符串转换成正则表达式对象

re_object = re.compile(r'\d+')
print(re_object)  # re.compile('\\d+')
print(re_object.fullmatch('2321'))  # <_sre.SRE_Match object; span=(0, 4), match='2321'>

2. fullmatch和match

fullmatch(正则表达式字符串，需要去匹配的字符串)
--> 用正则表达式去完全匹配字符串（匹配整个字符串），返回匹配对象

match(正则表达式字符串，字符串)
--> 匹配字符串开头，返回匹配对象或者None

result = re.match(r'\d([a-zA-Z]+)', '2jsdf123')
print(result)  # <_sre.SRE_Match object; span=(0, 5), match='2jsdf'>
result = re.match(r'\d([a-zA-Z]+)', 'a2jsdf123')
print(result)   # None
result = re.fullmatch(r'\d([a-zA-Z]+)', '2jsdf')
print(result, type(result))  # <_sre.SRE_Match object; span=(0, 5), match='2jsdf'> 

• a. span --> 获取匹配成功的开始下标和结束下标（左闭右开的区间）

# start获取匹配到的开始下标，end获取匹配到的结束下标后的下标
print(result.span(0))  # (0, 5)
print(result.start(0))  # 0
print(result.end(0))  # 5
print(result.span(1))  # (1, 5)
print(result.start(1))  # 1
print(result.end(1))  # 5

• b. group() --> 获取匹配结果

group()/group(0) --> 获取正则表达式完全匹配的结果
group(index>0) --> 获取正则表达式中第index个分组匹配到的结果

result = re.fullmatch(r'\d([a-zA-Z]+)', '2jsdf')
print(result.group())  # 2jsdf
print(result.group(1))  # jsdf

• c. string --> 获取被匹配的原字符串

print(result.string)  # 2jsdf

3.search

search(正则表达式，字符串)
--> 查找字符串中满足正则表达式的第一个字符串，返回值是匹配对象或者None

result = re.search(r'\d[a-zA-Z]+', 'dfwe121dfwefw12f')
print(result)  # <_sre.SRE_Match object; span=(6, 13), match='1dfwefw'>
print(result.string)  # dfwe121dfwefw12f

练习：使用search匹配出一个字符串中所有的数字字符串

# 'abc34jshd8923jkhd9lkkk890k'
re_str = r'\d+'
str1 = 'abc34jshd8923jkhd9lkkk890k'
result = re.search(re_str, str1)
while result:
    print(result)
    str1 = str1[result.end():]  # 注意：被查找字符串在循环中也需要更新，不然下标不对
    result = re.search(re_str, str1)
# <_sre.SRE_Match object; span=(3, 5), match='34'>
# <_sre.SRE_Match object; span=(4, 8), match='8923'>
# <_sre.SRE_Match object; span=(4, 5), match='9'>
# <_sre.SRE_Match object; span=(4, 7), match='890'>

4.findall

findall(正则表达式，字符串) --> 获取字符串中满足正则表达式的所有的子串，返回一个列表
注意：如果正则表达式中有分组，取值的时候只取分组中匹配到的结果；
如果有多个分组，会将每个分组匹配到的结果作为一个元组的元素

re_str = r'\d+'
str1 = 'abc34jshd8923jkhd9lkkk890k'
result = re.findall(re_str, str1)
print(result)  # ['34', '8923', '9', '890']

re_str = r'(\d+)k'
str1 = 'abc34jshd8923jkhd9lkkk890k'
result = re.findall(re_str, str1)
print(result)  # ['890']

re_str = r'(\d+)k([a-d]+)'
str1 = 'abc34jshd8923jkhd9lkkk890kaaa'
result = re.findall(re_str, str1)
print(result)  # [('890', 'aaa')]

5.finditer

finditer(正则表达式，字符串)
--> 查找所有满足正则条件的子串，返回值是迭代器，并且迭代器中的元素时匹配对象

re_str = r'\d+'
str1 = 'abc34jshd8923jkhd9lkkk890kaaa'
result = re.finditer(re_str, str1)
print(result)  # 
for item in result:
    print(item)
# <_sre.SRE_Match object; span=(3, 5), match='34'>
# <_sre.SRE_Match object; span=(9, 13), match='8923'>
# <_sre.SRE_Match object; span=(17, 18), match='9'>
# <_sre.SRE_Match object; span=(22, 25), match='890'>

6. split

split(正则表达式，字符串) --> 将字符串按照满足正则表达式条件的子串进行分割

str1 = 'ahsb1sssa9fdsf0fds8fsf0wef9sd1fw0f'
re_str = r'\d+'
result = re.split(re_str, str1)
print(result)  # ['ahsb', 'sssa', 'fdsf', 'fds', 'fsf', 'wef', 'sd', 'fw', 'f']

7. sub

sub(正则表达式，repl, 字符串) --> 将字符串中满足正则表达式条件的子串替换成repl

# 将数字替换成*
str1 = 'hs8fsdf0234fsfsf82wfwef90wefwe'
re_str = r'\d+'
result = re.sub(re_str, '*', str1)
print(result)  # hs*fsdf*fsfsf*wfwef*wefwe

str1 = '你个智 障，在干嘛？'
result = re.sub(r'傻\s*叉|逼|fuck|妈\s*的|智\s*障', '*', str1)
print(result)  # 你个*，在干嘛？

with open('./data', 'r', encoding='utf-8') as f:
    content = f.read()
    # "name": "搞笑精选汇"
    result = re.findall(r'"name":"(.+?)"', content)
    print(result)

五、歌词解析

需求：播放指定歌曲的时候，给一个时间，能够把这首歌在这个时间对应的词返回

面向对象：找一个类，让它拥有解析歌词的功能

class Lyrics:
    """歌词类"""
    def __init__(self, time='', word=''):
        self._time = time
        self.word = word

    @property
    def time(self):
        return self._time

    @time.setter
    def time(self, value):
        minite = float(value[1:3])
        second = float(value[4:])
        self._time = minite*60 + second

    def __gt__(self, other):
        return self._time > other._time

    def __repr__(self):
        return str(self.__dict__)

class LyricsAnalysis:
    """歌词解析类"""
    def __init__(self, name):
        self.__name = name  # 歌名
        self.__all_lyric = []  # 保存当前歌名解析出来的歌词对象

    # 分离歌词和时间
    def __split_time_word(self, line):
        lines = line.split(']')
        # print(lines[-1])
        # 获取每行的词
        word = lines[-1]
        # 遍历获取每一行的时间
        for time in lines[:-1]:
            # 根据时间和词创建歌词对象

            ly_obj = Lyrics(word=word)
            ly_obj.time = time
            self.__all_lyric.append(ly_obj)

    # 根据时间获取歌词
    def get_lyrics(self, time: int):
        if self.__all_lyric:
            # 根据时间取值
            for item in self.__all_lyric:
                if item.time < time:
                    print(item.word)
        # 读文件内容
        try:
            with open('./files/'+self.__name+'.txt', encoding='utf-8') as f:
                line = f.readline()
                while line:
                    # print(line)
                    self.__split_time_word(line)
                    line = f.readline()

                self.__all_lyric.sort(reverse=True)
                # print(self.__all_lyric)

                if self.__all_lyric:
                    # 根据时间取值
                    for item in self.__all_lyric:
                        if item.time < time:
                            print(item.word)

        except FileNotFoundError:
            print('没有相应的歌词')