利用requests和正则表达式抓取猫眼电影top100

前言

刚学了正则表达式,赶紧用它来练练手,以防搞忘了。这次练习的目标比较简单,就是爬取猫眼电影top100,具体包括电影排名,片名,主演,上映时间,评分等信息。最后存储为txt文件。和爬取豆瓣电影电影top250十分类似。

分析目标网页

打开目标URL:http://maoyan.com/board/4?offset=0,

利用requests和正则表达式抓取猫眼电影top100_第1张图片

点击下一页,我们会发现URL的参数offset=0变成了offset=10

利用requests和正则表达式抓取猫眼电影top100_第2张图片

多翻几页,会发现offset是以10的倍数增长,从0增到90,每一页是十部电影信息,总共刚好100部。这样我们就可以通过构造参数offset来达到翻页抓取的效果。

构造正则表达式

点击右键-检查,查看网页源代码:
利用requests和正则表达式抓取猫眼电影top100_第3张图片

我们发现每部电影都分别在一个

标签中,接着往下看。
我们会发现每部电影的排名信息在标签下属性值为board-index的标签中,我们可以写正则表达式来提取排名信息:

.*?board-index.*?>(.*?)

我们会发现每部电影的电影名称在

标签下,属性值为name的标签中,我们可以这样书写正则表达式来提取电影名称信息:

.*?(.*?)

由于电影名称在

标签下的标签下中,这里为了以防匹配出错,最好还是将标签中的一个属性值boarditem-click写在正则表达式中,以提高匹配的精确度。

然后主演在

标签下属性值为star的标签中,接着写正则表达式来匹配主演信息:

.*?star.*?>(.*?)

然后电影的上映时间在

标签下属性值为releasetime的标签中,正则表达式如下:

.*?releasetime.*?>(.*?)

最后电影的评分在标签下属性值分别为integerfraction的两个标签中,正则表达式如下:

.*?integer.*?>(.*?).*?fraction.*?>(.*?)

最后完整的正则表达式如下:

.*?board-index.*?>(.*?).*?(.*?)

.*?star.*?>(.*?)

.*?releasetime.*?>(.*?)

.*?integer.*?>(.*?).*?fraction.*?>(.*?).*?

然后就可以写代码了。

完整代码:

import requests 
import re
import json
from requests.exceptions import RequestException
import time

def get_one_page(url):
"""单个网页的请求"""
    headers = {   
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) '
    }      
    # 这里要添加一个请求头,否则会访问网页失败    
    # 使用 RequestException可以捕捉所有的异常        
    try:  
        response = requests.get(url, headers = headers)        
    except RequestException:                
        return None
    return response.text
    time.sleep(2)  # 休眠2秒钟        

def parse_one_page(html):
"""解析单个网页"""
    pattern = re.compile('
.*?board-index.*?>(.*?).*?(.*?)

' + '.*?star.*?>(.*?)

.*?releasetime.*?>(.*?)

' + '.*?integer.*?>(.*?).*?fraction.*?>(.*?).*?
', re.S) # 使用re.findall方法搜索整个文档,匹配所有能够被匹配的信息 items = re.findall(pattern, html) # 这里的items是一个列表,使用for循环来遍历 for item in items: # 构造一个迭代器,按字典格式输出 yield{ '排名': item[0], '片名 ': item[1], '主演': item[2].strip()[3:], '上映时间': item[3].strip()[5:], '评分': item[4]+ item[5] # 将评分信息连接起来 } def write_file(content): """写入文件""" # 写入中文时,这里要指定参数encoding='utf-8', 否则会出现乱码 with open('猫眼电影top100.txt', 'a', encoding='utf-8') as f: # 使用json.dumps方法将字典格式的content转换为字符串格式 # 指定参数ensure_ascii=False,否则会出现中文乱码 # 末尾加一个换行符,每写入一条信息就换行一次 f.write(json.dumps(content, ensure_ascii=False) + '\n') f.close() def main(offset): """主函数,参数为offset,动态构造URL""" url = 'http://maoyan.com/board/4?offset=' + str(offset) html = get_one_page(url) # 调用请求函数 for item in parse_one_page(html): # 调用解析函数 # print(item) write_file(item) # 调用写入文件函数 if __name__ == '__main__': for i in range(10): main(i*10) # 构造参数offset,达到翻页的效果。

具体细节在注释中有相关的说明,最后我们看一下爬取结果:

爬取结果

利用requests和正则表达式抓取猫眼电影top100_第4张图片

你也可以试一试,如果遇到什么问题,欢迎共同讨论~

每天学习一点点,每天进步一点点。

你可能感兴趣的:(利用requests和正则表达式抓取猫眼电影top100)