Python全栈开发-Python爬虫-03 正则表达式详解

正则表达式

一. 什么是正则表达式

正则表达式,又称规则表达式,通常被用来检索、替换那些符合某个模式(规则)的文本。

正则表达式是对字符串操作的一种逻辑公式,就是用事先定义好的一些特定字符、及这些特定字符的组合,组成一个"规则字符串",这个"规则字符串"用来表达对字符串的一种过滤逻辑。

给定一个正则表达式和另一个字符串,我们可以达到如下的目的:

  • 给定的字符串是否符合正则表达式的过滤逻辑(“匹配”);
  • 通过正则表达式,从文本字符串中获取我们想要的特定部分(“过滤”)

二. 正则表达式的常见语法

Python全栈开发-Python爬虫-03 正则表达式详解_第1张图片

三. Python 的 re 模块

在 Python 中,我们可以使用内置的 re 模块来使用正则表达式。

有一点需要特别注意的是,正则表达式使用 对特殊字符进行转义,所以如果我们要使用原始字符串,只需加一个 r 前缀,示例:

r'chuanzhiboke\t\.\tpython'

四. re 模块的一般使用步骤如下:

  1. 使用 compile() 函数将正则表达式的字符串形式编译为一个 Pattern 对象
  2. 通过 Pattern 对象提供的一系列方法对文本进行匹配查找,获得匹配结果,一个 Match 对象。
  3. 最后使用 Match 对象提供的属性和方法获得信息,根据需要进行其他的操作

五. re.match()方法的使用

  1. re.match() 尝试从字符串的起始位置匹配一个模式,如果不是起始位置匹配成功的话,match()就返回None。

  2. re.match(pattern, string, flags=0)
    pattern : 正则表达式
    string : 要匹配的字符
    flags : 设置匹配模式

5.1 最常规匹配

当你要匹配某一个内容的时候,你要告诉他前一个字符的特征和后一个字符的特征,给了范围才能精准匹配到

import re

content = 'Hello 123 456789 World_This is a Regex Demo'

# 精准匹配
# 一个\d匹配模式匹配一个字符串
res = re.match('^Hello\s\d\d\d\s\d{6}\s\w{10}.*Demo$', content) # Hello精准匹配 字符串是可以去匹配字符串的
print(res)           #返回的是一个匹配对象
print(res.group())   # .group() 获取匹配内容
print(res.span())    # 匹配长度
print(len(content))  # len统计字符串数量

运行结果如下:

<re.Match object; span=(0, 43), match='Hello 123 456789 World_This is a Regex Demo'>
Hello 123 456789 World_This is a Regex Demo
(0, 43)
43
import re
a_str = 'qwe 123 ghj'

res = re.match('^q\w{2}\s\d{3}.*j$',a_str)
print(res.group())

运行结果如下:

qwe 123 ghj

5.2 泛匹配

import re

content = 'Hello 123 4567 World_This is a Regex'

# 开头词 结尾词
# 熟练后可以很精简的写
result = re.match('^H.*?Regex$',content)
print(result.group()) # 获取匹配内容
print(result.span()) # 获取匹配长度

运行结果如下:

Hello 123 4567 World_This is a Regex
(0, 36)

5.3 匹配目标 – 分组匹配

为了匹配字符串中具体的目标,可以使用()进行分组匹配

import re

content = 'qwe Hello 1234567 World_This is a Regex Demo'

# (\w+) +至少匹配一个或者多个,是一种贪婪模式 
# 前后写\s是为了给他做限制,匹配范围为你的前后都为空格
# ()表示一个组,为了方便内容提取,这个组使用group()提取 

result = re.match('^qwe\s(\w+)\s(\d{7}).*Demo$',content)

# result = re.match('^qwe\s(\w+)\s(\d{3}).*Demo$',content)

print(result.group())
print(result.group(1)) # 提取第一组表达式内匹配到的字符
print(result.group(2)) # 提取第二组表达式内匹配的字符

运行结果如下:

qwe Hello 1234567 World_This is a Regex Demo
Hello
1234567
import re
sssd = 'dasdjskL22222adjlsakjddd66666dassssssa'

#     \d只能匹配数字,所以需要.*泛匹配后面内容,匹配到ddd为止
result = re.match('^d.*L(\d+).*ddd(\d+)da.*sa$',sssd)
print(result)
print(result.group())
print(result.group(1))
print(result.group(2))

运行结果如下:

<re.Match object; span=(0, 38), match='dasdjskL22222adjlsakjddd66666dassssssa'>
dasdjskL22222adjlsakjddd66666dassssssa
22222
66666

5.4 贪婪匹配

尽可能多的去匹配

意思是一直匹配,匹配到不能匹配为止

import re
# 匹配尽可能多的字符
content = 'Hello 1234567 World_This is a Regex Demo'

# 出现结果为7是因为:被前面的.*给匹配掉了,只剩下一个数字,这就是贪婪匹配
result = re.match('^He.*(\d+)\s.*Demo$', content)  #7
# result = re.match('^He.*(\d{2})\s.*Demo$', content)  # 匹配到67
print(result)
print(result.group())
print(result.group(1))

运行结果如下:

<re.Match object; span=(0, 40), match='Hello 1234567 World_This is a Regex Demo'>
Hello 1234567 World_This is a Regex Demo
7

5.5 非贪婪匹配

概念与贪婪相反,尽可能少的去匹配

若要非贪婪就是使用 ?

import re
# 匹配尽可能少的字符
content = 'Hello 1234567 World_This is a Regex Demo'
result = re.match('^He.*?(\d+).*Demo$', content)

# print(result)
print(result.group())
print(result.group(1))

运行结果如下:

Hello 1234567 World_This is a Regex Demo
1234567

注意:贪婪模式与非贪婪模式

  1. 贪婪模式:在整个表达式匹配成功的前提下,尽可能多的匹配 ( * );
  2. 非贪婪模式:在整个表达式匹配成功的前提下,尽可能少的匹配 ( ? );
  3. Python里数量词默认是贪婪的。
  • 使用贪婪的数量词的正则表达式:
    .*
  • 匹配结果:
    test1
    bb
    test2

这里采用的是贪婪模式。在匹配到第一个"

“时已经可以使整个表达式匹配成功,但是由于采用的是贪婪模式,所以仍然要向右尝试匹配,查看是否还有更长的可以成功匹配的子串。匹配到第二个”
“后,向右再没有可以成功匹配的子串,匹配结束,匹配结果为”
test1
bb
test2
"

  • 使用非贪婪的数量词的正则表达式:
    .*?
  • 匹配结果:
    test1

正则表达式二采用的是非贪婪模式,在匹配到第一个"

“时使整个表达式匹配成功,由于采用的是非贪婪模式,所以结束匹配,不再向右尝试,匹配结果为”
test1
"。

5.6 匹配模式

Python全栈开发-Python爬虫-03 正则表达式详解_第2张图片

import re
# re.S 作用:匹配包括换行在内的所有字符
content = '''Hello 1234567 World_This
is a Regex Demo
'''
result = re.match('^He.*?(\d+).*Demo$', content,re.S)
print(result.group())
print(result.group(1))

运行结果如下:

Hello 1234567 World_This
is a Regex Demo
1234567

5.7 转义

import re

# 一对一匹配写法在这不适用,原因:
# $和 .是正则里的特殊匹配符号 遇到这种情况要讲特殊符号转义
content = 'price is $5.00' 
result = re.match('price is $5.00', content)
print(result)

运行结果如下:

None
import re

# 在特殊符合前加\转义 ,表示它不是正则里的匹配符号,就只是普通文本
content = 'price is $5.00'
result = re.match('price is \$5\.00', content)
print(result)
print(result.group())

运行结果如下:

<re.Match object; span=(0, 14), match='price is $5.00'>
price is $5.00

总结:尽量使用泛匹配、使用括号得到匹配目标、尽量使用非贪婪模式、有换行符就用re.S

六. re.search()方法的使用

re.search() 扫描整个字符串并返回第一个成功的匹配。

  1. 不用从字符串开头开始匹配,不需要写字符串结尾
  2. 但同样需要告诉它前一个字符的特征和后一个字符的特征,给了范围才能精准匹配到
import re

content = 'Extra stings Hello 1234567 World_This is a Regex Demo Extra stings'

result = re.match('He.*?(\d+).*?Wor', content)  # 因为没从起始位置开始匹配
# result = re.match('Ex.*?(\d+).*?Wor', content)  # 从起始位置开始匹配  加$就报错
print(result)

运行结果如下:

None
import re

content = 'Extroa stings Hello 1234567 World_This is a 66666666 RDemogex Demo Extra stings'
result = re.search('He.*?(\d+).*?Wor', content)
print(result)
print(result.group(1))

运行结果如下:

<re.Match object; span=(14, 31), match='Hello 1234567 Wor'>
1234567

总结:为匹配方便,能用search()就不用match()

七. 匹配演练

例一:

import re

html = '''

经典老歌

经典老歌列表

'''
# 文本里面有引号,所以一一对应 # 规律:如果要取目标值 一定要拿到它前后的特征字符 result = re.search('(.*?).*?',html,re.S) # result = re.search('(.*?).*?',html,re.S) #beyond 光辉岁月 # result = re.search('(.*?).*?', html, re.S) # 陈慧琳 记事本 # 可以写的更精简一些 只要保证拿到目标值的前后特征字符就行 # result = re.search('/6\.mp3.*?="(.*?)".*?(.*?)',html,re.S) # 邓丽君 但愿人长久 # print(result) # print(result.group()) # for i in result: # print(i) print(result.group(1)) print(result.group(2))

运行结果如下:

齐秦
往事随风

例二:

html = '''

经典老歌

经典老歌列表

'''
import re # 只能匹配到当前第一个 result = re.search('(.*?).*?',html,re.S) print(result.group(1)) print(result.group(2))

运行结果如下:

齐秦
往事随风

八. re.findall()

前面的match()以及search()都只能匹配到第一个

搜索字符串,以列表形式返回全部能匹配的子串。

import re

html = '''

经典老歌

经典老歌列表

'''
pe = '(.*?).*?' # 精简写法 # pe='href="(.*?)".*?singer="(.*?)">(.*?)' # 歌手 歌曲 res = re.findall(pe,html,re.S) # 能拿到满足该正则表达式的所有数据 print(res) for i in res: # print(i) with open('abc.txt','a') as f: f.write('链接:'+i[0]+'\n') f.write('歌手:'+i[1]+'\n') f.write('歌曲:'+i[2]+'\n') f.close()

运行结果如下:

[('/2.mp3', '任贤齐', '沧海一声笑'), ('/3.mp3', '齐秦', '往事随风'), ('/4.mp3', 'beyond', '光辉岁月'), ('/5.mp3', '陈慧琳', '记事本'), ('/6.mp3', '邓丽君', '但愿人长久')]

九. re.sub()

替换字符串中每一个匹配的子串后返回替换后的字符串。

例一:

import re

content = 'Extra stings Hello 1234567 World_This is a Regex Demo Extra stings'
# 第一个参数 正则表达式
# 要替换的新字符
# 原字符串
content = re.sub('s', '7', content) # 所有s都替换成了7
print(content)

运行结果如下:

Extra 7ting7 Hello 1234567 World_Thi7 i7 a Regex Demo Extra 7ting7

例二:

import re

content = 'Extra stings Hello 1234567 World_This is a Regex Demo Extra stings'
# 第一个参数 正则表达式
# 要替换的新字符
# 原字符串
content = re.sub('\d+', '6666666', content)
print(content)

运行结果如下:

Extra stings Hello 6666666 World_This is a Regex Demo Extra stings

例三:

import re

content = 'Extra stings Hello 1234567 World_This is a Regex Demo Extra stings'
# 要替换的内容包含原字符串本身 追加  
# \1表示保留原始字符串 # \1表示保留原始字符串 r表追加 空格后面写要追加的内容
content = re.sub('(\d+)',r'\1 3333', content)
print(content)

运行结果如下:

Extra stings Hello 1234567 3333 World_This is a Regex Demo Extra stings

例四:

import re

html = '''

经典老歌

经典老歌列表

'''
# | 表示或 html = re.sub('|', '', html) print(html) # a标签里的链接和歌手名都被替换掉了 results = re.findall('(.*?)', html, re.S) # print(results) for result in results: print(result.strip()) #.strip()去掉前后的空白字符

运行结果如下:

<div id="songs-list">
    <h2 class="title">经典老歌</h2>
    <p class="introduction">
        经典老歌列表
    </p>
    <ul id="list" class="list-group">
        <li data-view="2">一路上有你</li>
        <li data-view="7">
            沧海一声笑
        </li>
        <li data-view="4" class="active">
            往事随风
        </li>
        <li data-view="6">光辉岁月</li>
        <li data-view="5">记事本</li>
        <li data-view="5">
            但愿人长久
        </li>
    </ul>
</div>
一路上有你
沧海一声笑
往事随风
光辉岁月
记事本
但愿人长久

十. re.compile

将正则字符串编译成正则表达式对象

将一个正则表达式串编译成正则对象,以便于复用该匹配模式 相当于函数的意义,可以多次调用

import re

content = '''Hello 1234567 World_This
is a Regex Demo'''

pattern = re.compile('Hello.*Demo', re.S)  # 正则表达式对象
# print(pattern)   # 方便复用  如果需要多次用到这个正则表达式 那就可以这样写 

result = re.match(pattern, content) 
print(result)

运行结果如下:

<re.Match object; span=(0, 40), match='Hello 1234567 World_This\nis a Regex Demo'>

案例:豆瓣新书速递¶

import requests
import re

url = 'https://book.douban.com/latest?icn=index-latestbook-all'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36'
}

# 1.分析网页,发起请求
response = requests.get(url, headers=headers)

if response.status_code == 200:
    # 获取响应内容
    html = response.text
    # print(html)

    # print(response.status_code)
    # print(response.text)

    # 解析内容
    z = '(.*?).*?(.*?)

'
\ '.*?(.*?)

.*?
' result = re.findall(z, html, re.S) # print(result) for i in result: # print(i) name = i[1] # 书籍名称 book_url = i[0] # 链接 auth = i[2] # 作者 detail = i[3] # 简介 print(name) print(book_url) print(auth.strip()) print(detail.strip()) print("---" * 20) # 4.保存信息 with open('book.txt', 'a', encoding='utf-8')as f: f.write('书籍名称:' + name.strip() + '\n') f.write('书籍链接:' + book_url.strip() + '\n') f.write('作者:' + auth.strip() + '\n') f.write('书籍简介:' + detail.strip() + '\n') f.write('\n')

运行结果如下:
由于结果太多,这里只展示五个书籍
由于爬取的是新书速递,所以每段时间爬取结果可能会不一样,请以实际为准

空空如也
https://book.douban.com/subject/35444393/
[]松重丰 / 北京联合出版公司 / 2021-6-1
“这是身为演员的我,才能写出的故事。”《孤独的美食家》主演松重丰首部作品集。由半自传体、连作短篇小说集《愚者谵言》与随笔集《演者戏言》两部分构成。
------------------------------------------------------------
退稿图书馆
https://book.douban.com/subject/35218576/
[] 大卫·冯金诺斯 / 上海译文出版社 / 2021-6-1
“退稿图书馆”专门收藏无法出版且放弃出版指望的书稿。编辑黛尔菲和小说家弗雷德里克偶然在此发现了一部杰作,作者名叫“亨利•彼克”。谁是“亨利•彼克”?
------------------------------------------------------------
气球人
https://book.douban.com/subject/35451204/
陈浩基 / 花城出版社 / 2021-5-31
主人公“气球人”无意中发现自己身怀异能,只要接触生命体的皮肤,就可令其在指定时间内像气球一样充气膨胀,“意外”死亡。从此,“气球人”成为了一名职业杀手……
------------------------------------------------------------
愤怒的玩偶
https://book.douban.com/subject/35286975/
[阿根廷] 罗伯特·阿尔特 / 四川文艺出版社 / 2021-6
主人公阿斯铁尔被学校开除,他不惜一切代价试图摆脱贫穷,但始终未能成功,越来越陷入悲观。小说反映了 20 世纪初布宜诺斯艾利斯的混乱局面。
------------------------------------------------------------
毁灭者亚巴顿
https://book.douban.com/subject/35430544/
[阿根廷]埃内斯托·萨瓦托 / 四川文艺出版社 / 2021-6
阿根廷经典作家萨瓦托长篇小说,是其“心理小说三部曲”之终章。作品具有典型的拉美文学魅力,又有独创之处。虽则阅读门槛较高,其文学价值、重要性却是毋庸置疑。
------------------------------------------------------------


你可能感兴趣的:(python基础,python,正则表达式,python,正则表达式,爬虫)