day11初次接触爬虫,从猫眼电影网获取数据

# 从内建模块 urllib 导入 request
from urllib import request
# 要访问https 协议的网站 要用到SSL
import ssl
ssl._create_default_https_context = ssl._create_unverified_context

# 导入正则表达式模块
import re

# 正则表达式规则:
#    * 代表 0~无限个字符
#    . 可以匹配 1个字符('\n'除外)
#    ? 惰性匹配
r = re.compile(r'
.*?title="(.*?)".*?

(.*?)

.*?

(.*?)

', re.S) headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36" } url = "https://maoyan.com/board/4?offset=10" # 向 url 指定的地址发送请求, 先用 request.Request 创建一个 Request 对象 req = request.Request(url=url, headers=headers) # 用 request 模块的 urlopen 函数象url 地址发送请求 resp = request.urlopen(req) # 通过 resp 对象得到 url 返回来的html html = resp.read().decode() print(html) # 打印获取到的html req_list = r.findall(html) # 包爬取的数据,存入CSV 文件 with open("maoyan.csv", "a") as file: for a, b, c in req_list: file.write(a) file.write(',"') file.write(b.strip()) file.write('",') file.write(c.strip()) file.write('\n')

你可能感兴趣的:(代码片段记录)