爬取猫眼电影排行榜

一、主题式网络爬虫设计方案

1.主题式网络爬虫名称 爬取猫眼电影排行榜数据

2 爬取内容：爬取排行榜电影数据

 主题页面的结构特征分析

网站地址： http://maoyan.com/board/4

 

 

      可以看到页码，切换到第二页，看url会有什么变化

 

   获取网站的html信息

#!/usr/bin/env python
#-*- coding: utf-8 -*-
import re
import requests
import json

#获取页面信息
url="http://maoyan.com/board/4?offset=0"    #定义网站url
headers = {
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac Os X 10_11_4) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/52.0.2743.116 Safari/537.36 '    #定义http头部信息，这个是模拟浏览器信息，可以防止被放爬虫工具禁止。
        }
r = requests.get(url,headers=headers,timeout=10)    #向网站发出请求，并指定头部信息和超时时间。
if r.status_code == 200:
    print(r.text)                                   #返回请求结果

结果

                        class="board-index board-index-7">7
    "/films/837" title="唐伯虎点秋香" class="image-link" data-act="boarditem-click" data-val="{movieId:837}">
      "//s0.meituan.net/bs/?f=myfe/mywww:/image/loading_2.e3d934bf.png" alt="" class="poster-default" />
      "https://p0.meituan.net/movie/da64660f82b98cdc1b8a3804e69609e041108.jpg@160w_220h_1e_1c" alt="唐伯虎点秋香" class="board-img" />
    
    
class="board-item-main">
      
class="board-item-content">
              
class="movie-item-info">
        
class="name">"/films/837" title="唐伯虎点秋香" data-act="boarditem-click" data-val="{movieId:837}">唐伯虎点秋香
        
class="star">
                主演：周星驰,巩俐,郑佩佩
        
class="releasetime">上映时间：1993-07-01(中国香港)
    
    
class="movie-item-number score-num">
class="score">class="integer">9.class="fraction">2
        
    

      
    

                
                

                        class="board-index board-index-8">8
    "/films/1212" title="千与千寻" class="image-link" data-act="boarditem-click" data-val="{movieId:1212}">
      "//s0.meituan.net/bs/?f=myfe/mywww:/image/loading_2.e3d934bf.png" alt="" class="poster-default" />
      "https://p0.meituan.net/movie/b076ce63e9860ecf1ee9839badee5228329384.jpg@160w_220h_1e_1c" alt="千与千寻" class="board-img" />
    
    
class="board-item-main">
      
class="board-item-content">
              
class="movie-item-info">
        
class="name">"/films/1212" title="千与千寻" data-act="boarditem-click" data-val="{movieId:1212}">千与千寻
        
class="star">
                主演：柊瑠美,入野自由,夏木真理
        
class="releasetime">上映时间：2001-07-20(日本)
    
    
class="movie-item-number score-num">
class="score">class="integer">9.class="fraction">3
        
    

      
    
                 

每个

标签中间就是一个电影的所有信息 

匹配内容

#!/usr/bin/env python
#-*- coding: utf-8 -*-
import re
import requests
import json

#获取页面信息
url="http://maoyan.com/board/4?offset=0"    #定义网站url
headers = {
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac Os X 10_11_4) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/52.0.2743.116 Safari/537.36 '    #定义http头部信息，这个是模拟浏览器信息，可以防止被放爬虫工具禁止。
        }
r = requests.get(url,headers=headers,timeout=10)    #向网站发出请求，并指定头部信息和超时时间。

patten = re.compile('(.*?)',re.S)    #利用正则表达式筛选排名
text = re.findall(patten,r.text)
print(text)

'1', '2', '3', '4', '5', '6', '7', '8', '9', '10']

通过完整正则表达式，以从一个

节点里面筛选出排名、电影名称、出演人员、评分等数据

#!/usr/bin/env python
#-*- coding: utf-8 -*-
import re
import requests
import json

#获取页面信息
url="http://maoyan.com/board/4?offset=0"    #定义网站url
headers = {
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac Os X 10_11_4) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/52.0.2743.116 Safari/537.36 '    #定义http头部信息，这个是模拟浏览器信息，可以防止被放爬虫工具禁止。
        }
r = requests.get(url,headers=headers,timeout=10)    #向网站发出请求，并指定头部信息和超时时间。

patten = re.compile('(.*?).*?data-src="(.*?)".*?alt="(.*?)"' \
                        '.*?class="star">(.*?)
.*?class="releasetime">(.*?)
' \
                        '.*?class="integer">(.*?).*?class="fraction">(.*?)',re.S)    
text = re.findall(patten,r.text)
print(text)

返回一个数据列表，列表的每一个元素就是一个电影的所有数据，每个电影都是以元素的方式呈现

[('1', 'https://p1.meituan.net/movie/20803f59291c47e1e116c11963ce019e68711.jpg@160w_220h_1e_1c', '霸王别姬', '\n                主演：张国荣,张丰毅,巩俐\n        ', '上映时间：1993-01-01', '9.', '6'), ('2', 'https://p0.meituan.net/movie/283292171619cdfd5b240c8fd093f1eb255670.jpg@160w_220h_1e_1c', '肖申克的救赎', '\n                主演：蒂姆·罗宾斯,摩根·弗里曼,鲍勃·冈顿\n        ', '上映时间：1994-10-14(美国)', '9.', '5'), ('3', 'https://p0.meituan.net/movie/54617769d96807e4d81804284ffe2a27239007.jpg@160w_220h_1e_1c', '罗马假日', '\n                主演：格利高里·派克,奥黛丽·赫本,埃迪·艾伯特\n        ', '上映时间：1953-09-02(美国)', '9.', '1'), ('4', 'https://p0.meituan.net/movie/e55ec5d18ccc83ba7db68caae54f165f95924.jpg@160w_220h_1e_1c', '这个杀手不太冷', '\n                主演：让·雷诺,加里·奥德曼,娜塔莉·波特曼\n        ', '上映时间：1994-09-14(法国)', '9.', '5'), ('5', 'https://p1.meituan.net/movie/f5a924f362f050881f2b8f82e852747c118515.jpg@160w_220h_1e_1c', '教父', '\n                主演：马龙·白兰度,阿尔·帕西诺,詹姆斯·肯恩\n        ', '上映时间：1972-03-24(美国)', '9.', '3'), ('6', 'https://p1.meituan.net/movie/0699ac97c82cf01638aa5023562d6134351277.jpg@160w_220h_1e_1c', '泰坦尼克号', '\n                主演：莱昂纳多·迪卡普里奥,凯特·温丝莱特,比利·赞恩\n        ', '上映时间：1998-04-03', '9.', '5'), ('7', 'https://p0.meituan.net/movie/da64660f82b98cdc1b8a3804e69609e041108.jpg@160w_220h_1e_1c', '唐伯虎点秋香', '\n                主演：周星驰,巩俐,郑佩佩\n        ', '上映时间：1993-07-01(中国香港)', '9.', '2'), ('8', 'https://p0.meituan.net/movie/b076ce63e9860ecf1ee9839badee5228329384.jpg@160w_220h_1e_1c', '千与千寻', '\n                主演：柊瑠美,入野自由,夏木真理\n        ', '上映时间：2001-07-20(日本)', '9.', '3'), ('9', 'https://p0.meituan.net/movie/46c29a8b8d8424bdda7715e6fd779c66235684.jpg@160w_220h_1e_1c', '魂断蓝桥', '\n                主演：费雯·丽,罗伯特·泰勒,露塞尔·沃特森\n        ', '上映时间：1940-05-17(美国)', '9.', '2'), ('10', 'https://p0.meituan.net/movie/230e71d398e0c54730d58dc4bb6e4cca51662.jpg@160w_220h_1e_1c', '乱世佳人', '\n                主演：费雯·丽,克拉克·盖博,奥利维娅·德哈维兰\n        ', '上映时间：1939-12-15(美国)', '9.', '1')]

整理数据

#!/usr/bin/env python
#-*- coding: utf-8 -*-
import re
import requests
import json

#获取页面信息
url="http://maoyan.com/board/4?offset=0"    #定义网站url
headers = {
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac Os X 10_11_4) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/52.0.2743.116 Safari/537.36 '    #定义http头部信息，这个是模拟浏览器信息，可以防止被放爬虫工具禁止。
        }
r = requests.get(url,headers=headers,timeout=10)    #向网站发出请求，并指定头部信息和超时时间。

patten = re.compile('(.*?).*?data-src="(.*?)".*?alt="(.*?)"' \
                        '.*?class="star">(.*?)
.*?class="releasetime">(.*?)
' \
                        '.*?class="integer">(.*?).*?class="fraction">(.*?)',re.S)
items = re.findall(patten,r.text)

for item in items:
    moive = {
            'range' : item[0],
            'img' : item[1],
            'name' : item[2],
            'star' : item[3].strip()[3:],
            'time' : item[4][5:],
            'score' : item[5]+item[6]
        }
    print(moive)

数据函数化

#!/usr/bin/env python
#-*- coding: utf-8 -*-
import re
import requests
import json

#定义搜索模块
#获取页面信息
def get_page(url):
    try:
        headers = {
            'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac Os X 10_11_4) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/52.0.2743.116 Safari/537.36 '
        }
        r = requests.get(url,headers=headers,timeout=10)
    except:
        print("can not connect to url!!!")
    else:
        if r.status_code == 200:
            return r.text
        else:
            return None

#定义分析模块
#对获取到的页面信息进行正则匹配，并利用for循环对正则匹配到的信息进行优化编辑，最后通过创建生成器的方式返回for循环中的值。
def analysis_page(page):
    patten = re.compile('(.*?).*?data-src="(.*?)".*?alt="(.*?)"' \
                        '.*?class="star">(.*?)
.*?class="releasetime">(.*?)
' \
                        '.*?class="integer">(.*?).*?class="fraction">(.*?)',re.S)
    items = re.findall(patten,page)
    for item in items:
        moive = {
            'range' : item[0],
            'img' : item[1],
            'name' : item[2],
            'star' : item[3].strip()[3:],
            'time' : item[4][5:],
            'score' : item[5]+item[6]
        }
        yield moive       #yield创建生成器，他的作用是在for循环的每次迭代过程中暂停一下，并输出当前迭代的值。

#定义写入模块
#将符合json格式的数据写进文件中
def write_json_to_file(content):
    try:
        with open('./moive.txt', 'a') as f_obj:
            f_obj.write(json.dumps(content, indent=4, ensure_ascii=False) + '\n')
    except:
        print("Data isn't json!!!" )

#定义主模块
#传入偏移值，并根据偏移爬去前十页的数据
def main(offset):
    url = "http://maoyan.com/board/4?offset=" + str(offset)
    page = get_page(url)
    for item in analysis_page(page):
        write_json_to_file(item)

#执行
if __name__ == '__main__':
    for n in range(10):
        offset = n * 10
        main(offset)

最后得出文件

{
    "range": "1",
    "img": "https://p1.meituan.net/movie/20803f59291c47e1e116c11963ce019e68711.jpg@160w_220h_1e_1c",
    "name": "霸王别姬",
    "star": "张国荣,张丰毅,巩俐",
    "time": "1993-01-01",
    "score": "9.6"
}
{
    "range": "2",
    "img": "https://p0.meituan.net/movie/283292171619cdfd5b240c8fd093f1eb255670.jpg@160w_220h_1e_1c",
    "name": "肖申克的救赎",
    "star": "蒂姆·罗宾斯,摩根·弗里曼,鲍勃·冈顿",
    "time": "1994-10-14(美国)",
    "score": "9.5"
}
{
    "range": "3",
    "img": "https://p0.meituan.net/movie/54617769d96807e4d81804284ffe2a27239007.jpg@160w_220h_1e_1c",
    "name": "罗马假日",
    "star": "格利高里·派克,奥黛丽·赫本,埃迪·艾伯特",
    "time": "1953-09-02(美国)",
    "score": "9.1"
}
{
    "range": "4",
    "img": "https://p0.meituan.net/movie/e55ec5d18ccc83ba7db68caae54f165f95924.jpg@160w_220h_1e_1c",
    "name": "这个杀手不太冷",
    "star": "让·雷诺,加里·奥德曼,娜塔莉·波特曼",
    "time": "1994-09-14(法国)",
    "score": "9.5"
}

爬取数据完成

结论：通过本次分析数据能更好直观的了解电影热度排行

小结：本次作业自己还很多没做好的地方，树点结构和数据分析可视化没做好，只写出代码