Python爬取猫眼电影排行-xpath

抓取的网站如下：

一.抓取单页内容html：

利用requests请求目标站点,得到单个网页的html代码,返回结果，因为此网站没有登陆,因此在headers传入时比较简便，只用传入user_agent即可；

中间加上一个方法，即如果返回响应的状态码为200时返回html，否则返回空；

二.通过xpath来提取想要的数据

首先确定想要的数据，在这里有：电影标题，电影主演，电影上映的时间；

接着通过chrom的开发者模式对想要选中的内容copy xpath,这里注意copy的xpath为一个内容，可以通过ctrl+F对带有列表的从左到后进行删除，删除至1 of n即可；

在分页处理上，一般换页而url改变的网站的分页有两种方式:一种是改变page参数,一种是改变offset偏移量,在这里通过改变offset的偏移量，每次改变10,通过for控制外层循环即可；

三.将上述数据按照字典形式保存，最后保存为json格式

保存为json时，会出现保存的文件乱码的情况，即该保存的为二进制，只要将其转换为utf-8编码即可；

def save_json(data):
    with open('data.json','a',encoding='utf-8') as file:
        file.write(json.dumps(data,ensure_ascii=False)+'\n')

 

爬取结果如下：

完整代码如下：

import requests
import json
from requests.exceptions import RequestException
from lxml import etree
import time
from multiprocessing import Pool
from urllib.parse import urljoin
import json

num = 10
def get_one_page(url):
    try:
        headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.84 Safari/537.36'
        }
        response = requests.get(url,headers = headers)
        if response.status_code == 200:
            return response.text
        return None
    except RequestException:
        return None

def parse_one_page(html):
    html = etree.HTML(html)
    movie_title = html.xpath('//*[@id="app"]/div/div/div/dl/dd/div/div/div/p/a//text()')
    movie_people = html.xpath('//*[@id="app"]/div/div/div/dl/dd/div/div/div[1]/p[2]/text()')
    movie_time = html.xpath('//*[@id="app"]/div/div/div/dl/dd/div/div/div[1]/p[3]/text()')

    for i in range(num):
        movie = {}
        movie['title'] = movie_title[i]
        movie['people'] = movie_people[i].strip()
        movie['time'] = movie_time[i]
        yield movie

def save_json(data):
    with open('data.json','a',encoding='utf-8') as file:
        file.write(json.dumps(data,ensure_ascii=False)+'\n')

def main(offset):
    url = "http://maoyan.com/board/4?offset={}".format(offset)
    html = get_one_page(url)
    result = parse_one_page(html)
    result = list(result)
    print(result)
    save_json(result)
if __name__ == '__main__':
    for i in range(10):
        main(offset=i*10)