【爬虫成长之路】（三）【大众点评】selenium爬虫

本系列文章共十篇：

【爬虫成长之路】（一）爬虫系列文章导读
【爬虫成长之路】（二）各篇需要用到的库和工具
【爬虫成长之路】（三）【大众点评】selenium爬虫
【爬虫成长之路】（四）【大众点评】selenium登录+requests爬取数据
【爬虫成长之路】（五）【大众点评】浏览器扫码登录+油猴直接爬取数据
【爬虫成长之路】（六）【大众点评】mitmproxy中间人代理爬虫
【爬虫成长之路】（七）【大众点评】PC微信小程序+requests爬取数据
【爬虫成长之路】（八）【大众点评】安卓APP爬虫

本文需要用到的工具：浏览器F12控制台
本文需要用到的库：selenium、bs4

爬取目标数据：

1. 指定城市的店铺列表及其评分数据
2. 指定店铺下的用户评论数据

一、需求分析

这一篇总共需要爬取两个页面的数据，分别是：

1. 某城市的店铺列表页面
2. 某店铺的评论列表页面

但在爬取的过程中，我们只要多爬几页，网站就会要求登录，所以我们这里还要处理一个登录的页面，即先完成登录，再去爬取。

二、URL提取

浏览器F12 切换到Network选项卡下，再使用到Doc过滤器，打卡登录页面，刷新一次就可以看到URL链接了，后面Web端的URL也是这样获取，就不在重复了。

1. 获取登录URL

# 登录URL
https://account.dianping.com/login?redir=http%3A%2F%2Fwww.dianping.com%2F

F12获取登录的URL

2. 店铺列表URL

# 店铺列表URL
http://www.dianping.com/guangzhou/ch10/p2

3. 评论详情URL

# 评论详情URL
http://www.dianping.com/shop/G8Ieq52Y02jBiXP8/review_all/p2

三、分析文档结构，定位元素位置

在模拟请求之前，就可以先分析文档结构，这一步没什么太大的技术含量，方法也多种多样，一般就是用bs4或正则来提取。定位元素时多是依靠元素的属性来定位，如果元素属性太少了，不足以定位元素，可以考虑使用正则。

如果你不了解bs4这个库，可以参考下面链接：

1. Beautiful Soup 4.2.0 文档

根据文档结构定位元素

四、编写程序

这里我将测试通过的代码放在下面，基于selenium的爬虫相对来说没那么容易失效，如果文档结构发生了变化，则需要对提取数据部分进行修改，接口则是相对稳定的，往往不那么容易发生变动。

注：

这里需要注意的是，直接使用selenium是会被识别为爬虫的，哪怕是手动操作也不行。这是因为大众点评用JS做了检测，需要绕过这个检测有两种方法（这里采用的是第一种）：

1. 修改浏览器参数
2. 拦截并修改JS

检测webdriver的JS代码

# -*- coding: utf-8 -*-
# @Time    : 2021/4/20 11:14
# @Author  : keep1234quiet
# @FileName: 03.seleniumSpider.py
# @Software: PyCharm
# @Blog    : https://www.jianshu.com/u/2fc23add985d

import random
from selenium import webdriver
from time import sleep
from bs4 import BeautifulSoup as BS


options = webdriver.ChromeOptions()
UA = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.128 Safari/537.36'
options.add_argument(f'user-agent={UA}')

options.add_experimental_option("excludeSwitches", ["enable-automation"])
options.add_experimental_option('useAutomationExtension', False)

# 没有配置环境变量的话需要填写Chromedriver的路径：webdriver.Chrome(executable_path="***")
driver = webdriver.Chrome(options=options)
driver.maximize_window()

# 去掉window.navigator.webdriver字段，防止被检测出是使用selenium
driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
  "source": """
    Object.defineProperty(navigator, 'webdriver', {
      get: () => undefined
    })
  """
})


def login():
    """
    登录函数
    """
    login_url = 'https://account.dianping.com/login?redir=http%3A%2F%2Fwww.dianping.com%2F'
    driver.get(login_url)   # 打开登录页面，手动扫码登录

    while True:
        try:
            driver.find_element_by_class_name('login-container')  # 还能找到"请登录"
            sleep(2)
        except:
            driver.find_element_by_class_name('countDown')  # 登录成功
            break

    print('登录成功')


def fetch_shoplist(page_num=1):
    """
    获取美食分区下的店铺信息
    """
    city = 'guangzhou'
    food_shop_url = f'http://www.dianping.com/{city}/ch10'  # /p1~
    shop_info = []
    for i in range(1, page_num+1):
        driver.get(food_shop_url+f'/p{i}')
        soup = BS(driver.page_source, 'lxml')
        page_shop = soup.find_all('div', class_='txt')
        for shop in page_shop:
            shop_info.append({
                'shopid': shop.a['data-shopid'],
                'name': shop.a.text.strip(),
                'score': shop.find('div', class_='nebula_star').text.strip()
            })
    return shop_info


def fetch_comment(shopid='H7fXoNAkafmesfFG', page=1):
    """
    爬取指定店铺下的用户评论
    :param shopid: 店铺ID
    :param page: 页码
    :return: 解析后的评论信息
    """
    url = f'http://www.dianping.com/shop/{shopid}/review_all'
    if page != 1:
        url += f'/p{page}'
    driver.get(url)
    soup = BS(driver.page_source, 'lxml')
    comments = soup.find_all('div', class_='main-review')
    comment_list = []
    for item in comments:   # 遍历所有评论
        username = item.find('div', class_='dper-info').text.strip()
        items = item.find_all('span', class_='item')     # 各项评分
        detail_score = []
        for _item in items:
            detail_score.append(_item.text.strip())
        content = item.find('div', class_='review-words').text.strip()  # 获取到的评论不全，做了CSS加密
        comment_list.append({'username': username, 'item': detail_score, 'content': content})
    return comment_list


if __name__ == '__main__':
    login()
    shop_info = fetch_shoplist()
    # print(shop_info)
    for _ in shop_info:
        print(_)
    shopid = shop_info[2]['shopid']     # 这里也可以用for来遍历，但要适当加延时
    comment_list = fetch_comment(shopid=shopid, page=1)
    # print(comment_list)
    for _ in comment_list:
        print(_)
    driver.quit()

五、程序运行结果

程序运行结果如下，可以和下面的页面对比看下。

---

仔细查看可以发现，获取到的用户评论是不完整的，这是因为它的字体使用了CSS加密，将文字保存在一张表里面，通过映射关系找到对应的文字，再在web端完整显示出来。

---

这里而我没有去做字体的解密，因为其他博主已经给了很详细的解密思路了，这里附上几篇参考文章：

1. 大众点评反爬虫解析
2. 破解点评网字体反爬，深入挖掘系统背后的原理
3. 大众点评美食——SVG字体加密解析（一）
4. 大众点评美食——字体字典生成（二）
5. 老司机教你用Python爬大众点评上期(2019.8.11最新版)
6. python破解大众点评的字体加密，经典的字体反爬教程
7. 大众点评字体反爬的反爬虫, 可以解密svg图形文字, woff文件自定义字体

爬取结果

店铺列表

评论列表

六、优缺点分析

序号	优点	缺点
1	程序编写简单	运行速度慢

在爬取的过程中，我们能明显感觉到太慢了，其中有一些不需要用到的请求加载很耗时，以及一些图片和CSS资源等，再加上是图形化界面，所以给人的感觉就是很慢，在数据量不大的情况下还是可以使用这种方法的，毕竟可以快速开发出一个爬虫出来。

那如果提高速度呢？用requests，但是登陆又十分复杂，需要一堆加密参数，所以我们将采用selenium和requests相结合的方式，具体见第四篇文章。

注：

1. 如果您不希望我在文章提及您文章的链接，或是对您的服务器造成了损害，请联系我对文章进行修改；
2. 本文仅爬取公开数据，不涉及到用户隐私；