python 爬虫（正则）

作者 ： 不良使
潜力创作新星 华为云享专家
博客记录学习的思路，项目和错误,寻找志同道合的朋友
如果觉得有帮助记得一键三连 ┗|｀O′|┛ 嗷~~

---

1、 的定位2022必看片
2、 从2022必看片中拿到子页面链接地址
3 、请求子页面地址，拿到我们想要下载的地址

获取页面请求

地址在最后面

import requests
import re

# todo 列表拿来存储子页面，为后面提取每个子页面信息做准备


child_urls=[地址]
url = ""

resp = requests.get(url)  # todo   verify=False  去掉安全认证
resp.encoding = 'gbk'
print(resp.text)

因为我们可以在开发者模式种会发现是get请求，requests.get(url)。因为这个网站的反爬不是很严重，所以不用伪装成用户了。很适合新手练手。
注意：无论是爬取什么网站，获得什么信息都是先获得html，然后解析html提取需要的数据。
resp.encoding = 'gbk’默认是utf-8,不设置会乱码。

定位2022必看片

代码展示

import requests
import re

# todo 列表拿来存储子页面，为后面提取每个子页面信息做准备
child_urls=[]
url = "地址"

resp = requests.get(url)  # todo   verify=False  去掉安全认证
resp.encoding = 'gbk'
# print(resp.text)

obj = re.compile(r'2022必看热片.*?
(?P.*?)
', re.S)
obj2 = re.compile(r",re.S)
obj3=re.compile(r' title="(?P