【python爬虫】爬取猫眼TOP100电影

猫眼TOP100电影

---

1. 分析数据构成

1.1 分析每页内容

• 在这里使用chrome浏览器，点击f12打开开发者工具后，选择Network，查看初始的页面内容，在Name部分找到对应的页面文件
  
• 根据返回的html可以看到，排名中每一部电影内容都被一个
  元素包裹起来，因此只要解析每一个
  元素中的内容，就可以获取当页的电影信息了

1.2 分析分页

• 知道了怎么获取每页的内容，接下来看如何获取每一页的内容。点击下一页后，可以看到链接变为了https://maoyan.com/board/4?offset=10
  再次点击链接变为
  https://maoyan.com/board/4?offset=20
  而且在浏览器输入
  https://maoyan.com/board/4?offset=0
  的时候，会跳转到第一页
  因此可以知道，分页规律为在4后增加？offset=页数*10 即可

2.编写正则表达式，获取每一页的排名，图片，电影名，演员，上映时间，评分等

                        23
    
      
      
    
    

      

              

        
指环王3：王者无敌
        

                主演：伊莱贾·伍德,伊恩·麦克莱恩,丽芙·泰勒
        
上映时间：2004-03-15
    
    

9.2
        
    

      
    

                

以上为复制出来的一个

标签中所包含的内容，然后根据其中的内容编写正则表达式

.*?board-index.*?>(.*?).*?data-src="(.*?)".*?name.*?a.*?>(.*?).*?star.*?>(.*?)
.*?releasetime.*?>(.*?)
.*?integer.*?>(.*?).*?fraction.*?>(.*?)
.*?

.*?的含义为以非贪婪（即尽可能少的匹配）的方式匹配任意数量的任何字符
(.*?)其中()的作用是分组，用来获取想要得到的内容，其中也使用非贪婪的方式进行匹配

3.编写代码

• 导入要用的库

import requests #HTTP库
import re #正则表达式
import time #时间模块

• 获取每个页面的数据

def getPage(url):
    userAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36"
    headers = {
        "User-Agent": userAgent
    }
    response = requests.get(url, headers=headers)
    if response.status_code == 200:
        return response.text
    return None

• 解析页面数据

def parsePage(html):
    # 1排名 2图片 3电影名 4主演 5上映时间
    regex = '
.*?board-index.*?>(.*?).*?data-src="(.*?)".*?name.*?a.*?>(.*?).*?star.*?>(.*?)
.*?releasetime.*?>(.*?)
.*?integer.*?>(.*?).*?fraction.*?>(.*?)
.*?
'
    pattern = re.compile(regex, re.S)
    items = re.findall(pattern, html)
    for item in items:
        yield {
            "排名": item[0],
            "图片": item[1],
            "电影名": item[2],
            "演员": item[3].strip()[3:],
            "上映时间": item[4].strip()[4:],
            "评分": item[5] + item[6]
        }

• 控制分页

def main(offset):
    url = "http://maoyan.com/board/4?offset=" + str(offset)
    html = getPage(url)
    for item in parsePage(html):
        print(item)

• 调用程序

for i in range(10):
    main(i*10)
    # 间歇3秒
    time.sleep(3)

4.结果展示

学习自 https://germey.gitbooks.io/python3webspider/content/3.4-Requests与正则表达式爬取猫眼电影排行.html