【爬虫成长之路】（五）【大众点评】浏览器扫码登录+油猴直接爬取数据

本系列文章共十篇：

【爬虫成长之路】（一）爬虫系列文章导读
【爬虫成长之路】（二）各篇需要用到的库和工具
【爬虫成长之路】（三）【大众点评】selenium爬虫
【爬虫成长之路】（四）【大众点评】selenium登录+requests爬取数据
【爬虫成长之路】（五）【大众点评】浏览器扫码登录+油猴直接爬取数据
【爬虫成长之路】（六）【大众点评】mitmproxy中间人代理爬虫
【爬虫成长之路】（七）【大众点评】PC微信小程序+requests爬取数据
【爬虫成长之路】（八）【大众点评】安卓APP爬虫

本文需要用到的工具：浏览器F12控制台
本文需要用到的库：无

爬取目标数据：

1. 指定城市的店铺列表及其评分数据
2. 指定店铺下的用户评论数据

一、需求分析

这一篇总共需要爬取两个页面的数据，分别是：

1. 某城市的店铺列表页面
2. 某店铺的评论列表页面

二、获取目标页面的URL

这里与前面获取的URL稍有不同，不需要用到登录的URL了，只需要编写能够匹配店铺页面和评论页面的URL即可，如下：

# 这样就能够匹配到点评的全部页面了
// @match        http://www.dianping.com/*

三、分析文档结构，使用油猴插件提取数据

这里需要简单的JS语法知识，在前端就可以将要获取的数据提取出来，后端就只进行接收操作就好了。如果不知道如何编写油猴插件的话，可以去学一下怎么写油猴插件，这个会JS的话很快就能上手了。

四、编写程序

这里由于是使用油猴插件，所以操作起来几乎和人在操作一样，服务器后台无法察觉出来，所以只要频率不太快，几乎不会存在反爬的问题，这种方式编写的爬虫能够爬取任何WEB页面，但缺点就是速度比较慢，和selenium一样，都需要浏览器的介入才能完成爬取。

在前端获取到数据后，可以传递到后台进行处理，这里就不提供后端程序的代码了，比较简单，搭建一个简单的服务就好了。

油猴插件代码：

// ==UserScript==
// @name         dianping_spider
// @namespace    http://tampermonkey.net/
// @version      0.1
// @description  爬取大众点评店铺信息和用户评论
// @author       keep1234quiet
// @match        http://www.dianping.com/*
// @match        http://www.dianping.com/shop/*
// @icon         data:image/gif;base64,R0lGODlhAQABAAAAACH5BAEKAAEALAAAAAABAAEAAAICTAEAOw==
// @require       https://cdn.staticfile.org/jquery/1.10.2/jquery.min.js
// @run-at       document-idle
// @grant        GM_xmlhttpRequest
// ==/UserScript==

(function() {
    'use strict';

    console.log("点评爬虫插件启动成功！");
    var shop_page = document.getElementsByClassName("txt");
    var review_page = $(".review-list-main");
    var page,data,score;

    if(shop_page.length != 0){  // 判断是否是店铺详情页
        console.log("当前页面：店铺列表页");
        page = "shop";
        var shop_list = [];
        for (var i = shop_page.length - 1; i >= 0; i--) {
            var shop = shop_page[i];
            var shopname = shop.getElementsByTagName("h4")[0].innerText;
            score = shop.getElementsByClassName("star_score")[0].innerText;
            shop_list.push({'name': shopname, 'score': score});
        }
        data = {"page": page, "data":shop_list};
        console.log(shop_list);

    }
    else if(review_page){   // 判断是否是评论页
        console.log("当前页面：评论页");
        page = "comment";
        var comment_list = [];  // 存放当前页提取的的评论信息
        var userlist = $(".reviews-items>ul>li");
        for (var i = userlist.length - 1; i >= 0; i--) {
            var user = userlist[i];
            var username = user.getElementsByClassName("dper-info")[0].innerText;
            var item_list = user.getElementsByClassName("score")[0].getElementsByClassName("item");
            score = [];
            for (var j = item_list.length - 1; j >= 0; j--) {
                score.push(item_list[j].innerText);
            }
            var content = user.getElementsByClassName("review-words")[0].innerText.trim();
            comment_list.push({'username':username, 'score': score, 'content': content});
        }
        data = {"page": page, "data": comment_list};
        console.log("comment_list=",comment_list);
    }
    else{
        page = "unkown";
        console.log("unkown page");
    }

    //setInterval(refresh, 1000*30);//30s 刷新一次

    function refresh()
    {
        window.location.reload();
    }

    var sleep = function(time) {
        var startTime = new Date().getTime() + parseInt(time, 10);
        while(new Date().getTime() < startTime) {}
    };

    GM_xmlhttpRequest({
        method:'POST',
        url:"http://127.0.0.1:8000/index/?name=spider",
        data:JSON.stringify(data),
        dataType:"json",
        headers:{
            "Content-Type":"application/json"
        },
        onload:function(response){
            var next_url = response.responseText;
            sleep(3000);
            //window.location.href = next_url;
            //window.location.reload(next_url);
        }
    });
    console.log("刷新成功");

})();

五、程序运行结果

安装好油猴插件，并将代码写入脚本中，浏览器打开店铺列表页面和用户评论页面就会自动爬取了，如果要做批量爬取，需要自己再修改下程序。

以下是程序运行结果：

油猴插件获取到的店铺数据

油猴插件获取到的评论数据

六、优缺点分析

序号	优点	缺点
1	程序编写简单	运行速度慢
2	几乎没有反爬问题，不用构造参数	-

注：

1. 如果您不希望我在文章提及您文章的链接，或是对您的服务器造成了损害，请联系我对文章进行修改；
2. 本文仅爬取公开数据，不涉及到用户隐私；