爬虫实战（一）利用python爬取猫眼电影Top前100

 

代码详解

 1#爬虫库
 2import requests
 3#json数据格式库
 4import json
 5#requests异常
 6from requests.exceptions import RequestException
 7#正则表达式
 8import re
 9#延迟函数
10import time
11
12#定义一个读取一个url并返回相应信息的函数
13def get_one_page(url):
14    try:
15        #伪装浏览器
16        headers={
17        "User-Agent":'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
18        }
19        #读取网页
20        response=requests.get(url,headers=headers)
21        #判断是否读取成功
22        if response.status_code==200:
23            #返回读取的内容（html代码）
24            return response.text
25        return None
26    except RequestException:
27        return None
28#定义一个解析html代码的函数
29def parse_one_page(html):
30    #编译成一个正则表达式对象
31    pattern = re.compile(r'
.*?board-index.*?>(\d+).*?data-src="(.*?)".*?name">(.*?).*?star">(.*?)
.*?releasetime">(.*?)
'
33                         + '.*?integer">(.*?).*?fraction">(.*?).*?
', re.S)
34    #开始查找
35    items = re.findall(pattern, html)
36    #遍历查找到的内容
37    for item in items:
38        #使用关键字yield 类似于return 返回的是一个生成器对象
39        yield {
40            'index': item[0],
41            'image': item[1],
42            'title': item[2],
43            'actor': item[3].strip()[3:],
44            'time': item[4].strip()[5:],
45            'score': item[5] + item[6]
46        }
47#将结果写到一个txt文档中
48def write_to_file(content):
49    with open('result.txt', 'a', encoding='utf-8') as f:
50        f.write(json.dumps(content, ensure_ascii=False) + '\n')
51#图片下载
52def pic_download(url,title):
53    r=requests.get(url)
54    with open("pics/"+title+".jpg",'wb') as f:
55        f.write(r.content)
56#打开需要爬取得所有网页，并进行爬取
57def main(offset):
58    #网页链接
59    url='http://maoyan.com/board/4?offset='+str(offset)
60    #请求网页，获取html
61    html=get_one_page(url)
62    #遍历处理后的html结果
63    for item in parse_one_page(html):
64        #下载图片
65        pic_download(item['image'], item['title'])
66        #写入到文件中
67        write_to_file(item)
68if __name__ == '__main__':
69    for i in range(10):
70        main(offset=i*10)
71        #延迟1秒，避免反爬机制
72        time.sleep(1)

效果图：